2024年1月17日
从python 单机版爬虫 scrapy 到 分布式scrapy-redis 爬虫用最简单的步骤创建实例
摘要： scrapy 是很强大的模块化爬虫框架，具有很高的灵活性，使用频率很高，使用该框架能大大提高开发效率，scrapy-redis是在scrapy框架开发了组件，替换队列部分，实现多台服务器并行运行爬虫，提高爬取速度。下面是用最简单的例子从建立普通scrapy爬虫,然后数据保存mysql ，最后简单替换 阅读全文
posted @ 2024-01-17 19:25 i金少 阅读(48) 评论(0) 推荐(0) 编辑