浅谈屏蔽搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路
摘要：
网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。 比如，你要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网... 阅读全文
posted @ 2014-10-14 11:08 hackergodness 阅读(935) 评论(0) 推荐(0) 编辑