2018年4月7日
Python网络爬虫(四)
摘要： 关于Robots协议 Robots协议也称为爬虫协议，是网络爬虫排除标准(Robots Exclusion Protocol)，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。因为我们如果无限制的使用爬虫爬取信息的话，且不说技术上能否突破某些网站上的发爬虫措施，如果毫无限制的进行爬取，再加上 阅读全文
posted @ 2018-04-07 15:47 MrYun 阅读(266) 评论(0) 推荐(0) 编辑