会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
我不容易呀!!!
博客园
首页
新随笔
联系
订阅
管理
2021年2月26日
scrapy框架+scrapy_redis组件的分布式爬虫:爬取某小说网站的所有小说!
摘要: 本人上一篇博客写到 使用scrapy框架 + redis数据库增量式爬虫 :爬取某小说网站里面的所有小说!在查看小说网站的全部小说可以知道,该小说网站起码有100+本小说,每本小说起码有1000+的章节,要是使用单台电脑抓取的话是比较慢的! 这里写下在scrapy框架里面:使用scrapy_redi
阅读全文
posted @ 2021-02-26 21:30 我是容易
阅读(108)
评论(0)
推荐(0)
编辑
公告