2019年8月14日
爬虫之robots.txt
摘要： robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确 阅读全文
posted @ 2019-08-14 15:48 奔跑中的兔子 阅读(6763) 评论(0) 推荐(1) 编辑