scrapy-playwright scrapy 集成无头浏览器的插件

scrapy-playwright scrapy 集成无头浏览器的插件，同时我们也可以集成browserless 这类的服务
scrapy-playwright 插件文档以及提供的能力还是比较全的

说明

对于基于scrapy 进行数据处理，同时需要一些其他功能的（比如登陆，渲染的）是一个不错的选择，后边试用体验下
当然如果基于browserless browserless 也提供了直接获取content 的能力，直接可以通过api 也是一个不错的选择，可以参考
browserless 的一篇博客介绍

参考资料

https://github.com/scrapy-plugins/scrapy-playwright
https://github.com/microsoft/playwright-python
https://github.com/scrapy/scrapy
https://www.browserless.io/blog/scrapy-headless

posted on   荣锋亮  阅读(170)  评论(0)  编辑  收藏  举报

相关博文：
· scrapy + browserless 集成简单说明
· crawle web 爬虫&浏览器自动化库
· Scrapy和Headless Chrome采集动态网站数据
· Scrapy与分布式开发(2.5)：自动化工具playwright
· webui自动化框架-playwright
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2022-06-27 dremio 22 发布
2021-06-27 使用sbt-native-packager 构建通用的scala 软件包
2021-06-27 scala 扩展方法学习
2020-06-27 godns 集成coredns 的demo
2020-06-27 godns 简单dnsmasq 的dns 替换方案
2019-06-27 pgloader 学习（九） pg 2 pg 使用with 参数控制同步逻辑
2019-06-27 velero 备份、迁移 kubernetes 应用以及持久化数据卷

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示