随笔分类 -  python

从python 单机版爬虫 scrapy 到 分布式scrapy-redis 爬虫用最简单的步骤创建实例
摘要：scrapy 是很强大的模块化爬虫框架，具有很高的灵活性，使用频率很高，使用该框架能大大提高开发效率，scrapy-redis是在scrapy框架开发了组件，替换队列部分，实现多台服务器并行运行爬虫，提高爬取速度。下面是用最简单的例子从建立普通scrapy爬虫,然后数据保存mysql ，最后简单替换 阅读全文
posted @ 2024-01-17 19:25 i金少 阅读(60) 评论(0) 推荐(0) 编辑
自动化测试、动态内容爬取、模拟打开浏览器工具selenium 的安装使用（chrome 116 , 117, 118, 119 更新的版本）
摘要：selentium 要和chrome版本一致，找了很久119版本chrome的selentium，终于找到并测试通过可以使用,更新的版本也有 1、下载chrome for testing ,这个很适合用来做自动化测试和爬虫，因为不会自动升级 https://googlechromelabs.gith 阅读全文
posted @ 2023-11-22 08:39 i金少 阅读(501) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示