2018年3月28日
（参考）爬虫4-爬虫引起的问题以及robots协议
摘要： 网络爬虫引发的问题 网络爬虫的尺寸： 小规模，数据量小，爬取速度不敏感，使用Requests库，应用占比90% 中规模，数据规模较大，爬取速度敏感，Scrapy库 大规模，搜索引擎、爬取速度关键，定制开发 爬取网页 玩转网页 爬取网站 爬取系列网站 爬取全网 网络爬虫的‘骚扰’，对于web服务器有骚 阅读全文
posted @ 2018-03-28 17:52 歪胡子的日常 阅读(162) 评论(0) 推荐(0) 编辑