Fork me on GitHub
2017年5月7日
Robots协议（爬虫协议、机器人协议）
摘要： Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 ____________________________________ Robots协议也称 阅读全文
posted @ 2017-05-07 12:21 stardsd 阅读(18359) 评论(0) 推荐(3) 编辑