2014年7月14日
robots.txt用法
摘要： 主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓取，哪些内容不能抓取。虽然可以没有robots.txt这个文件，默认就抓取该网站的所有文件，对搜索引擎爬虫没有任何的影响，但是如果你想控制蜘蛛的检索间隔，你就必须用robots.txt来控制。robots.txt不是一种规范，是约定俗成的，主流的搜索引擎都是... 阅读全文
posted @ 2014-07-14 09:59 G-Beniot 阅读(289) 评论(0) 推荐(0) 编辑