robots.txt里禁止的页面出现在搜索结果中
摘要：
有的是时候，你会惊奇的发现，明明在robots.txt中禁止收录的页面，却出现在了搜索引擎结果列表中，重要原因是，搜索引擎虽然不搜录该页面，但由于有很多链接链向这个页面，因此它认为这个页面是有价值的，可能和用户在这发生的搜索行为目的有密切关系。有的时候站长希望网页真实的不被搜录，不显示在搜索结果中，本文则提供了实现的办法。同时，本文分析了这种robots.txt禁止收录对SEO带来的影响。 阅读全文
posted @ 2013-05-16 17:37 frustigor 阅读(620) 评论(0) 推荐(0) 编辑
