荣锋亮 - 博客园

jinjat 基于dbt 构建低代码数据应用

摘要： jinjat 的设计还是比较有意思的，直接利用了dbt，同时利用了一个analyses配置,analyses 在dbt 中更多属于一个基于现有的模型进行编译，但是不进行执行，jinjat 就利用了功能，但是扩展了下参考使用模型 analysis/my_first_api.sql {%- set 阅读全文

posted @ 2023-08-06 11:39 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

dbt-duckdb dbt duckdb 强大的adapter

摘要： dbt-duckdb 是一个dbt 扩展，功能很强大，同时社区也有相关的文章，使用duckdb 替换spark 处理一些数据的pipeline因为duckdb 具有很不错的olap 性能，同时支持不少外部数据集成（比如s3，http，parquet，pg。。。。）dbt-duckdb扩展使用起来很方阅读全文

posted @ 2023-08-06 11:13 荣锋亮阅读(279) 评论(0) 推荐(0) 编辑

dbt adapter 开发一些资料

摘要： dbt 演变以及周边工具是越来月多了，而且有不少db 已经支持dbt 的集成玩法了，官方提供了一些相关开发文档，一些不是很清晰对于我们实际需要开发的，就可以自己摸索，现在new sql 是越来越多了，但是并不是都能更好的支持dbt 内置的一些功能，连接管理部分这个部分官方有完整的信息，文档有提供阅读全文

posted @ 2023-08-06 11:05 荣锋亮阅读(63) 评论(0) 推荐(0) 编辑

automate-dv 基于dbt 的data vault 2.0 落地工具

摘要： automate-dv 基于dbt 的data vault 2.0 落地工具，包装了不少方便的宏，可以方便我们呢进行data vault 2.0 数据仓库建模理论的实际落地功能企业级保障支持data vault 的hub，links，satelintes以及一些扩展（方便使用）元数据驱动的代阅读全文

posted @ 2023-08-04 23:10 荣锋亮阅读(48) 评论(0) 推荐(0) 编辑

sqlfluff sql linter 以及自动格式化工具

摘要： sqlfluff sql linter 以及自动格式化工具 ,支持多数据库方言，以及模版代码，比较适合ELT 类型的数据分析应用，同时对于dbt 也是比较友好的特性多种数据库方言支持支持模版（jinja，dbt）可以很好的集成ci/cd dbt 参考效果因为dbt 使用了jinja 模版引阅读全文

posted @ 2023-08-04 22:56 荣锋亮阅读(427) 评论(0) 推荐(0) 编辑

dbt pacakge 模型引用

摘要： dbt 的package 能力可以方便的实现模型的共享，以下是一个简单的示例，实际上我以前写过（很早了，目前dbt 变化还是很大的）外部模型引用使用说明实际上是通过ref宏，明确声明包名以及模型,格式{{ref(<project or package name>,<model name>)} 示阅读全文

posted @ 2023-08-04 22:11 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

oracle 轻量级python连接驱动

摘要：实际上oracle python 驱动自从去年5月左右就提供了thin 模式，对于通过python 连接oracle 的同学是特别的，轻量方便新版本oracle 驱动支持模式从下图也可以看出来，支持可选的oracle client 模式参考使用 oracle 部署(docker-compose 阅读全文

posted @ 2023-08-01 08:26 荣锋亮阅读(165) 评论(0) 推荐(0) 编辑

oracle docker 运行

摘要：对于需要进行oracle 数据库测试场景，基于容器运行一个是很不错的选择，同时官方也提供了docker镜像，可以快速拿来使用运行 docker-compose 文件实际需要注意的是sid 以及用户密码，详细可以参考以下链接 version: '3' services: oracle: image 阅读全文

posted @ 2023-08-01 08:10 荣锋亮阅读(71) 评论(0) 推荐(0) 编辑

dbt class 简单说明

摘要： dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用在不少开源同时也包括官方core 中都有使用到主要包含的功能 Relation 对象创建参考(对于在宏中使用 api.Relation.create创建) {% set re 阅读全文

posted @ 2023-07-31 22:11 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

dbt-server 简单说明

摘要： dbt-server 是dbt 团队对于dbt-rpc 调整之后开源的dbt api 服务，内部基于了dbt-core 提供的cli 编程调用能力使用到的一些框架 fastapi 提供api 能力 dbt core 进行dbt 任务的执行 celery 基于celery 的任务调度（代码中的wor 阅读全文

posted @ 2023-07-31 17:43 荣锋亮阅读(116) 评论(0) 推荐(0) 编辑

citus 12 新特性

摘要：就在最近citus 发布了12 版本主要包含的新特性基于schema 的分片（对于一些saas ，面向微服务以及垂直拆分场景比较有用）基于租户的监控，核心还是对于schema 拆分场景的 merge 支持基于磁盘大小的rebalance 说明基于schema 的分片是一个很不错的功能，但是阅读全文

posted @ 2023-07-30 17:51 荣锋亮阅读(203) 评论(0) 推荐(0) 编辑

dolphinscheduler docker-compose 运行简单说明

摘要：因为官方提供的dolphinscheduler 有一些问题，所以自己调整环境变量的配置，方便直接运行运行 docker-compose 文件 version: "3" services: dolphinscheduler-postgresql: image: bitnami/postgresql: 阅读全文

posted @ 2023-07-30 10:41 荣锋亮阅读(241) 评论(0) 推荐(0) 编辑

dolphinscheduler 调度spark on k8s

摘要： dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置，当然也可以直接通过k8s 集成通过容器镜像模式运行，两种方式各有利弊，但是完全基于k8s模式会比较方便些集成玩法说明 spark 任务模式此模式我们需要配置SPARK_HOME 给每个dolphinsc 阅读全文

posted @ 2023-07-30 10:27 荣锋亮阅读(921) 评论(0) 推荐(0) 编辑

vite-plugin-federation vite&rollup 模块联邦插件

摘要： vite-plugin-federation vite&rollup 模块联邦插件，和webpack 的模块联邦插件兼容模块联邦是一个很不错的前端模块化机制，对于微前端领域是一个很不错的选择，而且vite-plugin-federation 可以直接与webpack 的构建兼容，对于使用不同构建工具阅读全文

posted @ 2023-07-10 11:02 荣锋亮阅读(509) 评论(0) 推荐(0) 编辑

OpenFeature 特性flag 标准协议

摘要： OpenFeature 属于cncf 一个沙箱项目 OpenFeature 特性社区驱动的标准协议一个sdk 可以支持各种后端目前包含了不少支持工具（包含了开源的以及商业工具）支持不少客户端（目前支持了js，java，golang，c#，php）核心概念 OpenFeature 提供了一些阅读全文

posted @ 2023-07-10 10:14 荣锋亮阅读(267) 评论(0) 推荐(0) 编辑

gain 基于io_uring 的golang 网络框架

摘要： io_uring 是linux kernel 从5.1开始支持的新的io 操作模式，性能很不错，gain 是一个golang 实现参考使用 main.go package main import ( "fmt" "log" "net" "os" "sync/atomic" "time" "gith 阅读全文

posted @ 2023-07-10 09:58 荣锋亮阅读(145) 评论(0) 推荐(0) 编辑

bpftune oracle linux 试用体验

摘要：今天有测试bpftune 与Rocky linux 的集成，发现构建是可以成功的，但是运行会有问题(提示不支持，应该用过修改可以解决)，为了更好的测试，自己跑了一个oracle linux 虚拟机跑下环境搭建通过utm+oracle linux 8.8 ，还是比较简单的 ios 下载地址: 链阅读全文

posted @ 2023-07-03 22:08 荣锋亮阅读(90) 评论(0) 推荐(0) 编辑

bpftune oracle 开源的基于bpf 的系统linux 系统优化工具

摘要： bpftune oracle 开源的基于bpf 的系统linux 系统优化工具, 同时对于oracle linux 官方已经提供了支持，可以直接安装使用但是注意非oracle linux 当前测试构建木有成功参考使用为了简单基于了docker 版本的oracle linux 启动 docker 阅读全文

posted @ 2023-07-03 00:38 荣锋亮阅读(63) 评论(0) 推荐(0) 编辑

mutagen 快速文件同步&网络转发工具

摘要： mutagen 快速文件同步&网络转发工具，可以快速实现基于云的本地开发环境构建，提供了灵活的传输协议，支持本地，server 以及容器基础设施（实际上就是本地，ssh，以及dokcer 容器）参考使用（同步模式） mutagen 会有一个daemon 进程，这个是自动启动的，当然也有控制命令，阅读全文

posted @ 2023-07-02 18:46 荣锋亮阅读(161) 评论(0) 推荐(0) 编辑

kubeskoop 阿里开源的k8s 网络分析工具

摘要： kubeskoop 是阿里开源的k8s 网络分析工具，提供了一个完整的k8s 网络分析工具集，可以快速帮助我们分析容器网络问题，支持不少cni 插件参考图说明 kubeskoop 技术上利用了ebpf，功能还是很强大的，同时提供了可视化ui 工具，是一个很不错的k8s网络分析工具，很值得使用下阅读全文

posted @ 2023-07-01 08:52 荣锋亮阅读(282) 评论(0) 推荐(0) 编辑

aws 开源的微前端发现实现 frontend-discovery

摘要：实际上此协议已经开放一段时间了（一年左右），里边一些实践还是很不错的，对于微前端实现的同学可以参考学习同时官方也提供了一个基于aws 服务的参考实践，作者的一些演讲也是值得学习的参考格式如下图，可以看到包含了一些不错的设计，以及对于实际的部署维护，包含了元数据，多版本，fallback，一致性阅读全文

posted @ 2023-07-01 08:45 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

长亭waf-ce 版本嵌入模式集成说明

摘要：就在最近的ce 版本中，支持直接集成waf 能力到外部openresty （nginx 服务中），这样waf 能力就类似一个外部服务了，对于openresty 来说就是在不同阶段使用waf-ce 提供的方法，详细安装暂时就不说了，官方已经提供了，我只说明关于集成的一些问题集成问题玩法参考图注阅读全文

posted @ 2023-07-01 08:30 荣锋亮阅读(253) 评论(0) 推荐(0) 编辑

lakefs 提供的数据工程现状图

摘要：此图很不错，整理了不少数据处理周边的工具，可以参考学习参考图参考资料 https://lakefs.io/blog/the-state-of-data-engineering-2023/ 阅读全文

posted @ 2023-06-26 23:44 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

长亭waf-ce 版本试用

摘要：最近长亭提供了ce 版本的waf ，部分开源了（部分管理UI，t1k 部分，部分语义分析自动机引擎）运行离线下载docker 镜像以下地址http://demo.waf-ce.chaitin.cn/image.tar.gz 加载镜像cat image.tar.gz | gzip -d | do 阅读全文

posted @ 2023-06-26 22:56 荣锋亮阅读(290) 评论(0) 推荐(0) 编辑

spring boot graalvm native 试用

摘要：核心是体验下新版本支持情况同时体验下企业特性（g1 gc）参考示例就是基于spring start 提供的web，添加了graalvm native 构建支持，graalvm oracle 发行版直接可以官方下载 pom.xml 核心信息 <?xml version="1.0" encoding 阅读全文

posted @ 2023-06-25 23:39 荣锋亮阅读(230) 评论(0) 推荐(0) 编辑

squawk pg linter 工具

摘要： squawk 是一个pg linter 工具，主要作用是对于数据迁移的处理，基于rust 开发说明同时官方还提供了一个方便安全迁移的指南，很值得学习参考资料 https://github.com/sbdchd/squawkhttps://squawkhq.com/https://benchli 阅读全文

posted @ 2023-06-25 14:36 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

graalvm native-image jfr 试用

摘要： graalvm 最近license 许可模型的修改，对于我们使用graalvm 增加了不少信心，尤其是以前需要企业订阅的一些特性以下是一个简单的jfr 试用代码&构建代码来自官方文档，主要是试用下,对于graalvm直接可以免费下载企业版了, 同时需要安装visualvm 代码 JFRDemo 阅读全文

posted @ 2023-06-24 22:34 荣锋亮阅读(65) 评论(0) 推荐(0) 编辑

graalvm 新的免费许可协议

摘要：就在最近oracle 发布了一个新的graalvm 发行版（oracle graalvm），同时也调整了许可模型，大致上是除非你收费基于graalvm 开发的应用，基本上oraclegraalvm 分发版本的可以免费使用，包含了不少新特性当前版本的特性 profile 指南优化，提供了更多的编译优阅读全文

posted @ 2023-06-23 10:29 荣锋亮阅读(342) 评论(0) 推荐(0) 编辑

find-my-way nodejs 快速的http 路由框架

摘要： find-my-way 基于了radix tree 开发的路由框架，支持路由参数，通配符，同时语言无关fastify 以及restify 都使用了路由框架，同时也受echo启发说明了解find-my-way 的使用以及内部机制对于学习fastify 是比较有用的，fastify 不少有意思的插件阅读全文

posted @ 2023-06-21 12:21 荣锋亮阅读(48) 评论(0) 推荐(0) 编辑

langchain 基于大模型构建应用的框架

摘要： langchain 包装了对于大模型应用开发，常用的一些东西（prompts，language models，output parser）可以方便我们基于大模型应用的开发，同时langchain 也提供了js 版本的说明对于有基于大模型进行应用开发的langchain 是一个值得试用的框架，同时阅读全文

posted @ 2023-06-21 08:42 荣锋亮阅读(164) 评论(0) 推荐(0) 编辑

junodb paypal 开源的key value 存储

摘要： junodb paypal 开源的key value 存储，下图是关于整体架构的参考架构简单说明:junodb 是基于proxy 的架构设计，可以方便的水平扩展，junodb 核心包含了三部分，client，proxy，storage server，当然junodb 还依赖一个etcdproxy 阅读全文

posted @ 2023-06-21 08:18 荣锋亮阅读(97) 评论(0) 推荐(0) 编辑

pgcat 基于rust 开发类似pgbouncer 的数据库链接池以及proxy 工具

摘要： pgcat 是postgresml 团队开源的，pg链接池以及proxy 工具，包含了不少特性特性事物pool，类似pgbouncer ，对于异常客户端以及遗弃事物处理做了提升 session pool 类似pgbouncer 多线程运行时读查询负载均衡，对于primary 以及replica 阅读全文

posted @ 2023-06-21 07:56 荣锋亮阅读(222) 评论(0) 推荐(0) 编辑

nginx 1.25.1 发布

摘要： nginx 1.25.1 有一个很不错的特性，就是支持了http2 指令，以前这个指令主要是也listen 配置使用的（ssl+http2 场景）独立指令之后就有了很方便的功能了，比如有些业务希望使用http0.9-1.1 协议，有些需要使用http2，当然目前也是支持了 http3的，可以做到分阅读全文

posted @ 2023-06-19 19:28 荣锋亮阅读(551) 评论(0) 推荐(0) 编辑

dremio 24.1 Nessie 支持插件

摘要：以前也简单说过24.1 支持基于Nessie 进行查询了，相关代码名称比较怪异（此代码开源了），名称为dataplane 参考代码信息说明因为dremio 云版本支持基于Nessie的元数据管理，此功能代码还是值得学习参考的，整体开发上也是一个标准的存储扩展参考资料 https://docs. 阅读全文

posted @ 2023-06-18 17:16 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

dremio 24.1 udf 表函数支持

摘要：此功能比较方便，我们可以方便的扩展一些函数，直接可以返回表数据，方便分析处理，以前要处理需要通过关联，或者自定义vds 参考使用参考资料 https://docs.dremio.com/software/sql-reference/sql-commands/functions/ 阅读全文

posted @ 2023-06-18 17:06 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

dremio 24.1 vacuum 一些新特性

摘要：实际上此功能，我以前介绍过，现在官方文档直接说明了，同时最新版本支持删除过期文件了，24版本我在测试的时候发现是有些问题新版本是否解决还得测试，具体使用可以参考以下链接参考资料 https://docs.dremio.com/software/release-notes/240-release/h 阅读全文

posted @ 2023-06-18 17:01 荣锋亮阅读(25) 评论(0) 推荐(0) 编辑

dremio 24.1 zstd 支持的的处理

摘要：以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩，目前官方24.1 直接支持了，通过查看源码实际上处理思路以及方法与我介绍的是一致的，具体可以参考我写过的博客一些差异 dremio 自己编译了hadoop lib 库 dremio 支持了level 配置参考资料 https:// 阅读全文

posted @ 2023-06-18 12:56 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

dremio 24.1.0 发布

摘要： dremio 就在昨天dremio 发布了24.1.0 版本（间隔时间还是比较长的），包含了不少特性，上午的时候简单看了下，但是因为目前文档页面打不开了我只简单说以下我看到的几个不错的一些新特性内置支持zstd 压缩了 Nessie 数据源支持，可以更好的使用Nessie 作为catalog 服阅读全文

posted @ 2023-06-16 22:00 荣锋亮阅读(36) 评论(0) 推荐(0) 编辑

nginx-clojure debug构建简单说明

摘要：实际上参考了官方的构建参数，提供一个debug 模式的文件原始配置 configure arguments: --prefix= --sbin-path=nginx --conf-path=conf/nginx.conf --error-log-path=logs/error.log --http 阅读全文

posted @ 2023-06-12 11:31 荣锋亮阅读(114) 评论(2) 推荐(0) 编辑

postgresml 基于postgres 的ai 应用数据库

摘要： postgresml 基于postgres 的ai 应用数据库，我们可以基于sql 使用开源模型进行训练，实际上如果了解pg 的化pg 实际也有一个开源的madlib 也属于机器学习领域的不错选择说明如果测试使用的，注意postgresml docker 镜像很大，同时需要自己构建会比较慢，后边阅读全文

posted @ 2023-06-11 22:42 荣锋亮阅读(240) 评论(0) 推荐(0) 编辑

导航

公告