荣锋亮 - 博客园

browserless scrape api 简单说明

摘要：以前说过browserless提供了不少api 能力，以下简单说明下scrape api 的处理参考定义如下图，browserless 对于不同浏览器进行了不同的处理（内部实现包含了公共的）内部处理 scrape.http.ts 定义中，browserless 使用了puppeteer-cor 阅读全文

posted @ 2024-06-29 08:00 荣锋亮阅读(29) 评论(0) 推荐(0) 编辑

browserless 提供的api 能力

摘要： browserless 提供了不少方便的api，可以让我们基本写很好的代码就能实现一些不错的功能（pdf生成，快照） api 分类目前api 包含了面向浏览器的以及面向管理的浏览器api /content 获取内容的 /download 下载内容的 /function 执行自定义函数的 /pdf 阅读全文

posted @ 2024-06-28 08:00 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

scrapy-playwright scrapy 集成无头浏览器的插件

摘要： scrapy-playwright scrapy 集成无头浏览器的插件，同时我们也可以集成browserless 这类的服务scrapy-playwright 插件文档以及提供的能力还是比较全的说明对于基于scrapy 进行数据处理，同时需要一些其他功能的（比如登陆，渲染的）是一个不错的选择，后阅读全文

posted @ 2024-06-27 08:00 荣锋亮阅读(90) 评论(0) 推荐(0) 编辑

playwright-har 试用

摘要： playwright-har是puppeteer-har 的playwright 移植，使用方法上类似，以下是一个简单试用环境准备 docker-compose 使用了browserless version: "3" services: browser: image: ghcr.io/browse 阅读全文

posted @ 2024-06-26 08:00 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

browserless docker 镜像简单说明

摘要： browserless docker 镜像默认安装了一些字体文件，对于我们日常使用基本够用了，了解下docker 镜像的制作，可以更好的使用以及配置browserless 简单说明 browserless docker 镜像包含了基础镜像以及不同浏览器的，基础镜像主要提供基础包的安装，不同浏览器的主阅读全文

posted @ 2024-06-25 08:00 荣锋亮阅读(44) 评论(0) 推荐(0) 编辑

playwright结合adblocker进行广告拦截

摘要：现在基本网站都会有埋点（统计分析）或者不少有广告的，对于爬虫场景可能不太方便，社区已经提供了相关的插件我们可以直接使用，以下是一个简单的使用说明环境准备基于browserless docker-compose version: "3" services: browser: image: ghc 阅读全文

posted @ 2024-06-24 08:00 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

playwright 连接browserless 服务

摘要： playwright是与puppeteer类似的包装，但是playwright 实现的周边更加丰富，也是一个很不错的工具，值得使用下，以下是关于 playwright 连接browserless服务的简单说明环境准备 docker-compose version: "3" services: ng 阅读全文

posted @ 2024-06-23 07:13 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

puppeteer exposeFunction 方法简单试用

摘要：以下简单演示下puppeteer exposeFunction 的使用环境准备基于browserless docker-compose version: "3" services: nginx: image: nginx:alpine volumes: - ./index.html:/usr/s 阅读全文

posted @ 2024-06-22 08:00 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

browserless docker服务支持的一些配置参数

摘要： browserless 实际上提供了不少配置参数，使用好这些配置参数可以提升服务的稳定性，以下是关于一些参数的简单说明参考配置并发请求配置默认为5，可以结合自己的资源建议配置大一些，尤其是进行大量处理的CONCURRENT=10 队列配置队列实际上是对于资源的一种控制，确保系统的稳定，配置阅读全文

posted @ 2024-06-21 06:53 荣锋亮阅读(21) 评论(0) 推荐(0) 编辑

deequ aws 开源的数据质量框架

摘要： deequ 是aws 开源的基于spark 的数据质量框架（数据单元测试），同时也提供了python 包 deequ 提供的能力 metrics 计算约束建议约束校验 metrics repo 参考架构图说明对于希望实现数据质量的团队deequ的设计还是很值得学习参考的，只是目前是基于spa 阅读全文

posted @ 2024-06-20 07:16 荣锋亮阅读(95) 评论(0) 推荐(0) 编辑

dbt 编写自定义通用测试

摘要：以前简单介绍或dbt 的数据测试（包含了通用测试以及异常测试），通用测试可复用性比较高，是比较推荐的选择而且通用测试的扩展能力也是比较强大的，可以直接引用模型，自定义配置一个参考使用 version: 2 models: - name: orders columns: - name: order 阅读全文

posted @ 2024-06-19 07:14 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

dbt dq-tools 数据质量工具

摘要： dbt dq-tools 数据质量工具，对于数据质量 dq-tools 围绕 Accuracy，Consistency，Completeness，Timeliness，Validity，Uniqueness这6个kpi 进行处理包含的功能存储测试结果到表中创建方便数据质量的数据集市提供bi 阅读全文

posted @ 2024-06-18 06:50 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

dbt data class column 简单说明

摘要：以前有简单介绍过dbt的 data class里边实际上包含了relation 以及column 一些方便的api 可以直接在macro 中调用 relation 比较常用，column 直接使用的并不是特别多，以下简单说明下内部包装与dbt context 对象一样属于一个包装参考定义 @c 阅读全文

posted @ 2024-06-17 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

unitycatalog datagrics 开源的data&ai 多模catalog

摘要： unitycatalog datagrics 开源的data&ai 多模catalog 包含的特性支持任意格式、引擎、资产的多摸接口支持包含了delta lake，iceberg，uniform，paquert，csv。。。等格式，超越表，支持非结构化数据以及ai 资产，插件化的架构，可以支持h 阅读全文

posted @ 2024-06-16 10:15 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

dbt_artifacts 包内部实现简单说明

摘要：以前对于dbt_artifacts 有过简单的介绍，以下从设计以及源码上分析下，方便学习使用使用 dbt_artifacts 提供了不少macro 同时也提供了不少模型，比如stg 类型的以及dim，fact 类型的, 对于使用 dbt_artifacts 推荐的方法是是使用了dbt 的on-ru 阅读全文

posted @ 2024-06-16 07:05 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

maven maven.config 简单说明

摘要： maven 从3.3.1+ 开始支持基于maven.config 模式的命令行参数处理，以下简单说明下配置位置 .mvn/maven.config 参考配置注意从3.9 开始参数应该是每行一个 -Pconsume-incrementals -Pmight-produce-incremental 阅读全文

posted @ 2024-06-15 08:00 荣锋亮阅读(471) 评论(0) 推荐(0) 编辑

dbt 部分macro 中namespace的使用简单说明

摘要：比如在dbt adapter 中的snapshot_check_all_get_existing_columns 中就使用了namepace 这个对象，以下简单说明下 namespace 对象的作用实际上就是进行跨scope 的数据共享，因为jinja2 每个block 中的设置的变量是不能跨范围阅读全文

posted @ 2024-06-14 06:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dbt yaml selector 简单说明

摘要： dbt 基于yaml 的selector 实际上就是一个yaml 格式文件，我们在运行的时候可以指定一个配置好的selector 文件，这样实际运行的时候就比较方便了主要作用清晰方便版本控制可重用参考使用配置 selectors.yml selectors: - name: night 阅读全文

posted @ 2024-06-13 06:15 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

dbt seed 配置简单说明

摘要： dbt 的seed是进行一些初始化数据建模的，可以方便测试，或者在一些场景提供基础数据，dbt 对于seed 支持不少配置，比如seed 的schema 位置，csv 分隔符处理，seed 中数据类型定义，当然还有一些dbt 的通用配置（比如tag，meta，tests）,我以前简单说明过seed 阅读全文

posted @ 2024-06-12 05:38 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

dbt select支持的方法简单说明

摘要：对于一个大型的dbt 项目，我进行按需选择模型还是很重要的，dbt 基于select 可以支持多样的选择方法支持的模式 tag 模式 dbt run --select "tag:nightly" source 模式 dbt run --select "source:snowplow+" 资源类型模阅读全文

posted @ 2024-06-11 06:10 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

ollama gpu 集成测试qwen2 7b 模型

摘要：昨天测试了下基于ollama cpu 模式运行的qwen2 对于小参数0.5b 以及1.5b 的速度还行，但是你的cpu 核数以及内存还是需要大一些今天测试下基于gpu 的qwen2 7b 模型，以下简单说明下安装ollama 如果我们申请的机器包含了GPU，ollama 的安装cli 还是比较阅读全文

posted @ 2024-06-10 08:24 荣锋亮阅读(740) 评论(0) 推荐(0) 编辑

ollama qwen2 运行&openai 兼容api 测试

摘要： qwen2 模型已经发布了，各种新闻都说很不错，所以通过ollama 测试下安装ollama cli curl -fsSL https://ollama.com/install.sh | sh 启动服务 ollama serve 拉取qwen2:1.5b 模型使用了api 模式 cli curl 阅读全文

posted @ 2024-06-10 08:24 荣锋亮阅读(1649) 评论(0) 推荐(0) 编辑

dbt macro kwargs 参考的使用

摘要：从机制上实际上属于jinja2 的功能，可以实现灵活的扩展能力 jinja2 macro 提供的几个变量 varargs 就类似python 的var 变量 kwargs 是实现了keywords 参数的变量，可以获取传递的keyword 信息（实际上就是一个字典） caller 是在使用call 阅读全文

posted @ 2024-06-10 07:13 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dbt exceptions 简单说明二

摘要：以前对于dbt 提供的exceptions namespace 方法进行了说明，实际是dbt 对于exceptions 细化的还是比较明确的，以前没详细说明当前包含的exceptions 信息 exceptions_jinja.py CONTEXT_EXPORTS = { fn.__name__: 阅读全文

posted @ 2024-06-09 07:07 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

luax 基于lua 5.4 的解释器&支持通过lua script 构建可执行文件

摘要： luax 基于lua 5.4 的解释器&支持通过lua script 构建可执行文件，内部luax 使用了不少技术，比如使用了ezig，Lpeg，luasocket，LZ4，dkjson 说明对于luax 复用了不少现有的包，内置到里边了，还是比较全的，后边体验下参考资料 https://git 阅读全文

posted @ 2024-06-08 12:32 荣锋亮阅读(50) 评论(0) 推荐(0) 编辑

通过site 包加载egg 或者whl pcakge 包并动态调用模块方法

摘要：以前简单说过通过sys.path 进行egg 文件模块的加载，实际上我们可以结合site 以及.pth 能力，实现灵活的加载处理，同时通过 importlib 进行动态加载，以下是一个简单说明加载配置通过site 包，添加自定义目录，目录里边包含 .pth 配置目录结构 .pth 内容使用阅读全文

posted @ 2024-06-08 12:32 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dbt graph 上下文变量简单说明

摘要： dbt graph 上下文变量，包含了dbt 项目相关的nodes 信息（比如model，source，metrics，macros，tests，snapshots）因为dbt 包含了不同的处理阶段，实际如果希望获取graph context 中的一些nodes 信息，注意执行的阶段，一般建议的玩阅读全文

posted @ 2024-06-08 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

dbterd 基于dbt artifacts 生成ERD 代码的工具

摘要： dbterd 基于dbt artifacts 生成ERD 代码的工具，内部是通过dbt-artifacts-parser 对于dbt 项目的元数据进行解析当然看到部分可能会使用dbt-core 的cli 包含的一些特性支持多种模型格式的target 包含了dbml，mermaid，plant目录，阅读全文

posted @ 2024-06-07 08:00 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

ibis python dataframe 库

摘要： ibis是一个 python dataframe 库包含的特性对 20 多个后端使用相同的 API 具有嵌入式 DuckDB（默认）、Polars 或 DataFusion 的快速本地数据帧修改一行代码即可本地迭代、远程部署编写 SQL 和 Python 数据框代码，弥合数据工程和数据科学之阅读全文

posted @ 2024-06-06 08:00 荣锋亮阅读(65) 评论(0) 推荐(0) 编辑

python 生成uber egg 的几个工具

摘要：有些时候我们为了方便python 模块的分发，会有类似java uber jar的需求，社区已经有一些不错的可选工具，以下说明下 uberegg 这个工具scrapy-client 中的deploy 就使用了此工具，对于依赖的构建我们制定配置就可以了python setup.py bdist_ube 阅读全文

posted @ 2024-06-05 21:47 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

python 直接加载egg 文件的模块

摘要：主要作为一个简单记录参考示例文件模式 import sys import os egg_path = os.path.join(os.path.dirname(__file__), 'dist', 'mydalong-0.1-py3.11.egg') sys.path.append(egg_pa 阅读全文

posted @ 2024-06-05 21:45 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

mvn 运行java 应用

摘要：一般我们可能都是使用的idea 工具，但是有时ide 工具可能不那么方便，可能就需要直接使用基于maven exec 插件的，以下是一个使用的简单说明 exec 插件参考配置项目结构直接运行 mvn compile exec:java -Dexec.mainClass="com.dalong. 阅读全文

posted @ 2024-06-05 11:06 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

dremio 队列类型判断处理简单说明

摘要：使用过dremio 的基本都支持dremio 包含了一个队列的概念,以下简单说明下dremio 对于队列判断的处理目前定义的队列类型 public enum QueueType { // TODO figure out split between capacities for below queu 阅读全文

posted @ 2024-06-05 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

从源码看dbt-loom 是如何开发dbt plugin的

摘要：以前简单介绍过dbt plugin 有一套明确的格式，实际上与dbt adapter 套路是类似的，以下从源码角度看看dbt-loom 的设计 dbt-loom 参考架构从此图可以看出，dbt-loom 可以从其他地方获取dbt 的元数据（dbt cloud，本地文件，对象存储），之后基于此插件结阅读全文

posted @ 2024-06-04 07:32 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

dremio FormatPlugin 设计上的一些限制-基于easy format 框架

摘要：对于FormatPlugin 我以前也零碎的介绍过一些，会和FormatCreator， FormatMatcher 存储插件等都有一些关系，核心主要还是对于文件系统的格式处理，今天我在基于easy format 框架自定义开发jsonline 格式化插件的时候发现目前dremio 对于支持的文阅读全文

posted @ 2024-06-03 06:41 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

dbt adapter dispatch 处理简单说明

摘要：以前是结合使用对于adapter 的dispatch 有过简单说明，以下结合源码分析下内部参考处理参考处理 def dispatch( self, macro_name: str, macro_namespace: Optional[str] = None, packages: Optional 阅读全文

posted @ 2024-06-02 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

dbt dbt-audit-helper 包compare_relation_columns 处理简单说明

摘要： dbt dbt-audit-helper 包在进行compare_relation_columns处理的时候进行数据表列字段创建顺序的判断参考使用我按照test 处理的，同时进行的测试异常进行存储使用 {{ audit_helper.compare_relation_columns( a_re 阅读全文

posted @ 2024-06-01 07:35 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

dbt dbt_utils 包中的pivot简单说明

摘要： dbt-utils 中的pivot macro 实际上就是实现了我们平时会碰到的一些sql 行转列问题 dbt-utils pivot实现处理行转列的方法很多有基于case 判断的，也有直接使用数据库提供的pivot 函数的，dbt 使用了case 模式参考实现 {% macro pivot(c 阅读全文

posted @ 2024-05-31 08:00 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

dremio 系统内部插件

摘要： dremio 不少处理都是基于插件开发的，以前我也简单说明过，以下是结合启动日志列一个相对完整的内部存储插件名称目前系统内部插件目前包含了如下几个，可以通过启动日志看出来系统存储插件 INFORMATION_SCHEMA __jobResultsStore __logs __support _ 阅读全文

posted @ 2024-05-30 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dremio DatasetListingService 服务简单说明二

摘要：以前简单介绍过DatasetListingService，以下再说明下创建是通过DACDaemonModule 创建的参考处理 final DatasetListingService localListing; if (isDistributedMaster) { // 默认实现是依赖Name 阅读全文

posted @ 2024-05-29 04:38 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

导航

公告