2015年1月21日
【转】防止网页被搜索引擎、爬虫和网页采集器收录或克隆复制的方法汇总
摘要： 最常规的防止网页被搜索引擎收录的方法是使用robots.txt，但是这样做的弊端是要将所有已知的搜索引的爬虫信息都罗列进去，难免有疏漏。下面列举10种标本兼治的方法： 阅读全文
posted @ 2015-01-21 14:49 StevensFollower 阅读(1956) 评论(0) 推荐(1) 编辑