2017年12月11日
网站的robots.txt文件
摘要： 什么是robots.txt？ robots.txt是一个纯文本文件，是爬虫抓取网站的时候要查看的第一个文件，一般位于网站的根目录下。robots.txt文件定义了爬虫在爬取该网站时存在的限制，哪些部分爬虫可以爬取，哪些不可以爬取（防君子不防小人） 更多robots.txt协议信息参考：www.rob 阅读全文
posted @ 2017-12-11 21:54 一只敲码的猫 阅读(7537) 评论(0) 推荐(1) 编辑