摘要：以前简单说明过scrapy 集成s3 feed exports 的配置，以下是集成browserless 的处理，通过browserless 进行数据内容的处理（尤其适合包含了基于ajax的请求，以及延迟加载的项目） 项目准备 主要是s3以及browserless docker-compose ve 阅读全文

摘要：数据爬虫的玩法很多，框架也不少，对于实际开发我们会面临不少问题，比如存储，分析，数据使用，爬虫站点的分析处理，动态proxy 池以下是一个简单的集成 参考架构 基于自定义爬虫开发的 自己开发爬虫任务，基于调度对于任务基于容器运行，对于部分web 数据的爬取处理可以使用browserless ，数据存 阅读全文

摘要：scrapy 对于解析的item 可以直接配置后端存储，可以直接配置不同的格式写入数据到存储中，以下是关于minio的简单说明 配置 核心是feed 以及backend 配置 feed 配置 settings.py # feed 配置 FEED_EXPORT_ENCODING = "utf-8" F 阅读全文

摘要：以前说明browserless 的hooks，实际上browserless还支持webhooks 也是一个很不错的功能，可以进行统计分析 而且webhooks 的地址都是可以通过环境变量配置的 参考使用 docker 启动 docker run -d \ --restart always \ --n 阅读全文

摘要：browserless提供了hooks 能力，默认实现都为空，以下简单说明下内部处理 默认实现 如下图 内部处理 hooks.ts 定义 import { AfterResponse, BeforeRequest, BrowserHook, PageHook, } from '@browserles 阅读全文

摘要：browserless ws 的处理实际上一个proxy 对于启动的实际无头浏览器ws 服务进行了代理，同时为了安全browserless 进行了token 的处理 以下对于内部实现进行一个简单说明 参考处理 ws route 注册 browserless 模块中的start 方法 wsRoutes 阅读全文

摘要：以前说过browserless提供了不少api 能力，以下简单说明下scrape api 的处理 参考定义 如下图，browserless 对于不同浏览器进行了不同的处理（内部实现包含了公共的） 内部处理 scrape.http.ts 定义中，browserless 使用了puppeteer-cor 阅读全文

摘要：browserless 提供了不少方便的api，可以让我们基本写很好的代码就能实现一些不错的功能（pdf生成，快照） api 分类 目前api 包含了面向浏览器的以及面向管理的 浏览器api /content 获取内容的 /download 下载内容的 /function 执行自定义函数的 /pdf 阅读全文

摘要：scrapy-playwright scrapy 集成无头浏览器的插件，同时我们也可以集成browserless 这类的服务scrapy-playwright 插件文档以及提供的能力还是比较全的 说明 对于基于scrapy 进行数据处理，同时需要一些其他功能的（比如登陆，渲染的）是一个不错的选择，后 阅读全文

摘要：playwright-har是puppeteer-har 的playwright 移植，使用方法上类似，以下是一个简单试用 环境准备 docker-compose 使用了browserless version: "3" services: browser: image: ghcr.io/browse 阅读全文

摘要：browserless docker 镜像默认安装了一些字体文件，对于我们日常使用基本够用了，了解下docker 镜像的制作，可以更好的使用以及配置browserless 简单说明 browserless docker 镜像包含了基础镜像以及不同浏览器的，基础镜像主要提供基础包的安装，不同浏览器的主 阅读全文

摘要：现在基本网站都会有埋点（统计分析）或者不少有广告的，对于爬虫场景可能不太方便，社区已经提供了相关的插件 我们可以直接使用，以下是一个简单的使用说明 环境准备 基于browserless docker-compose version: "3" services: browser: image: ghc 阅读全文

摘要：playwright是与puppeteer类似的包装，但是playwright 实现的周边更加丰富，也是一个很不错的工具，值得使用下，以下是关于 playwright 连接browserless服务的简单说明 环境准备 docker-compose version: "3" services: ng 阅读全文

摘要：以下简单演示下puppeteer exposeFunction 的使用 环境准备 基于browserless docker-compose version: "3" services: nginx: image: nginx:alpine volumes: - ./index.html:/usr/s 阅读全文

摘要：browserless 实际上提供了不少配置参数，使用好这些配置参数可以提升服务的稳定性，以下是关于一些参数的简单说明 参考配置 并发请求配置 默认为5，可以结合自己的资源建议配置大一些，尤其是进行大量处理的CONCURRENT=10 队列配置 队列实际上是对于资源的一种控制，确保系统的稳定，配置  阅读全文

摘要：deequ 是aws 开源的基于spark 的数据质量框架（数据单元测试），同时也提供了python 包 deequ 提供的能力 metrics 计算 约束建议 约束校验 metrics repo 参考架构图 说明 对于希望实现数据质量的团队deequ的设计还是很值得学习参考的，只是目前是基于spa 阅读全文

摘要：以前简单介绍或dbt 的数据测试（包含了通用测试以及异常测试），通用测试可复用性比较高，是比较推荐的选择 而且通用测试的扩展能力也是比较强大的，可以直接引用模型，自定义配置 一个参考使用 version: 2 models: - name: orders columns: - name: order 阅读全文

摘要：dbt dq-tools 数据质量工具，对于数据质量 dq-tools 围绕 Accuracy，Consistency，Completeness，Timeliness，Validity，Uniqueness这6个kpi 进行处理 包含的功能 存储测试结果到表中 创建方便数据质量的数据集市 提供bi 阅读全文

摘要：以前有简单介绍过dbt的 data class里边实际上包含了relation 以及column 一些方便的api 可以直接在macro 中调用 relation 比较常用，column 直接使用的并不是特别多，以下简单说明下 内部包装 与dbt context 对象一样属于一个包装 参考定义 @c 阅读全文

摘要：unitycatalog datagrics 开源的data&ai 多模catalog 包含的特性 支持任意格式、引擎、资产的多摸接口 支持包含了delta lake，iceberg，uniform，paquert，csv。。。等格式，超越表，支持非结构化数据以及ai 资产，插件化的架构，可以支持h 阅读全文