Robots协议：Robots协议将告诉spider不能对页面进行爬网，因此不会对页面进行爬网和收录。
网站地图：网站地图是指网站地图。根据蜘蛛爬行的物理逻辑，蜘蛛通常先爬行网站地图，因此制作好网站地图也非常重要。
百度站长：如果网页没有收录，把网页提交给百度站长，这样不收录的网页也可以收录。
如果排除了上述三个小问题，那么无论网页是否收录在内，我们都需要考虑以下三个问题。
1、 页面内容质量低
页面内容的质量是搜索引擎蜘蛛判断该页面价值的一个重要因素
如何处理网站中未收录的网页
页面内容收录：一是模板重复；二是文章重复。收藏软件的普及使得网站的建立变得太容易了。各种“抄袭”文章的工具，CMS的收藏和自助建站功能，让很多站长一夜之间创造了上千个网页。此外，征集规则的僵化、虚假的原创和网络上的高层次重复内容太多。
百度蜘蛛不累吗？每个人都在挑选同样的东西，也许你突然被百度收录了几，但百度敦促你重新筛选。如果一切都是一样的，百度对你一见钟情。虽然很难原创，但我不建议网站完全收集大量的东西。我们可以根据文章的中心思想，把自己的东西结合起来，发表一篇叫做原创的文章，对其进行适当的收集和编辑。
2、 页面优化过度
百度对SEO网站的过度处罚越来越严重，会导致百度收录少或不收录。内容是重要的。即使你有一个强大的外部链，暂时不更新原始内容，百度也不会收录你的文章。过度的优化收录大量的关键字堆积、垃圾外链、错误的HTML编码以及不合理的JS和flash。
3、 蜘蛛抓过它们吗
一个正常的页面只要蜘蛛抓取一次，这个页面就可以收录在内。如果蜘蛛不爬上这一页，它将不收录在内。如何查看蜘蛛是否已爬过此页？我们可以分析我们的网站日志
这里还提醒一些新手朋友喜欢直接删除不收录的页面，一定不要这么做。
