2018年8月17日
爬虫协议 Tobots
摘要： Robots 协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt 是搜索引擎访问网站的时候要查看的第一个文件。 阅读全文
posted @ 2018-08-17 09:58 丹枫无迹 阅读(880) 评论(0) 推荐(0) 编辑