摘要: 本人上一篇博客写到 使用scrapy框架 + redis数据库增量式爬虫 :爬取某小说网站里面的所有小说!在查看小说网站的全部小说可以知道,该小说网站起码有100+本小说,每本小说起码有1000+的章节,要是使用单台电脑抓取的话是比较慢的! 这里写下在scrapy框架里面:使用scrapy_redi 阅读全文
posted @ 2021-02-26 21:30 我是容易 阅读(109) 评论(0) 推荐(0) 编辑