2021年2月26日
scrapy框架+scrapy_redis组件的分布式爬虫：爬取某小说网站的所有小说！
摘要： 本人上一篇博客写到 使用scrapy框架 + redis数据库增量式爬虫 ：爬取某小说网站里面的所有小说！在查看小说网站的全部小说可以知道，该小说网站起码有100+本小说，每本小说起码有1000+的章节，要是使用单台电脑抓取的话是比较慢的！ 这里写下在scrapy框架里面：使用scrapy_redi 阅读全文
posted @ 2021-02-26 21:30 我是容易 阅读(108) 评论(0) 推荐(0) 编辑