博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2019年11月16日

Robots协议一定放在网站根目录下

摘要： 一.网络爬虫的尺寸 1.以爬取网页，玩转网页为目的进行小规模，数据量小对爬取速度不敏感的可以使用request库实现功能（占90%） 2.以爬取网站或爬取系列网站为目的，比如说获取一个或多个旅游网站的爬虫，对数据要求规模较大，爬取速度敏感的可以使用Scrapy库 3.以爬取全网为目的，规模很大搜索引 阅读全文

posted @ 2019-11-16 15:39 jowo 阅读(794) 评论(0) 推荐(0) 编辑