会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
i金少
对于不可控的事情,我们要保持乐观;对于可控的事情,我们要保持谨慎。--爱比克泰德
博客园
首页
新随笔
联系
订阅
管理
2024年1月17日
从python 单机版爬虫 scrapy 到 分布式scrapy-redis 爬虫用最简单的步骤创建实例
摘要: scrapy 是很强大的模块化爬虫框架,具有很高的灵活性,使用频率很高,使用该框架能大大提高开发效率,scrapy-redis是在scrapy框架开发了组件,替换队列部分,实现多台服务器并行运行爬虫,提高爬取速度。下面是用最简单的例子从建立普通scrapy爬虫,然后数据保存mysql ,最后简单替换
阅读全文
posted @ 2024-01-17 19:25 i金少
阅读(23)
评论(0)
推荐(0)
编辑
公告