上一页 1 ··· 14 15 16 17 18 19 20 21 22 ··· 121 下一页

2023年8月4日

automate-dv 基于dbt 的data vault 2.0 落地工具

摘要： automate-dv 基于dbt 的data vault 2.0 落地工具，包装了不少方便的宏，可以方便我们呢进行data vault 2.0 数据仓库建模理论的实际落地 功能 企业级保障 支持data vault 的hub，links，satelintes以及一些扩展（方便使用） 元数据驱动的代 阅读全文

posted @ 2023-08-04 23:10 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

sqlfluff sql linter 以及自动格式化工具

摘要： sqlfluff sql linter 以及自动格式化工具 ,支持多数据库方言，以及模版代码，比较适合ELT 类型的数据分析应用，同时对于dbt 也是比较友好的 特性 多种数据库方言支持 支持模版（jinja，dbt） 可以很好的集成ci/cd dbt 参考效果 因为dbt 使用了jinja 模版引 阅读全文

posted @ 2023-08-04 22:56 荣锋亮 阅读(288) 评论(0) 推荐(0) 编辑

dbt pacakge 模型引用

摘要： dbt 的package 能力可以方便的实现模型的共享，以下是一个简单的示例，实际上我以前写过（很早了，目前dbt 变化还是很大的） 外部模型引用使用说明 实际上是通过ref宏，明确声明包名以及模型,格式{{ref(<project or package name>,<model name>)} 示 阅读全文

posted @ 2023-08-04 22:11 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

2023年8月1日

oracle 轻量级python连接驱动

摘要： 实际上oracle python 驱动自从去年5月左右就提供了thin 模式，对于通过python 连接oracle 的同学是特别的，轻量方便 新版本oracle 驱动支持模式 从下图也可以看出来，支持可选的oracle client 模式 参考使用 oracle 部署(docker-compose 阅读全文

posted @ 2023-08-01 08:26 荣锋亮 阅读(139) 评论(0) 推荐(0) 编辑

oracle docker 运行

摘要： 对于需要进行oracle 数据库测试场景，基于容器运行一个是很不错的选择，同时官方也提供了docker镜像，可以快速拿来使用 运行 docker-compose 文件 实际需要注意的是sid 以及用户密码，详细可以参考以下链接 version: '3' services: oracle: image 阅读全文

posted @ 2023-08-01 08:10 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

2023年7月31日

dbt class 简单说明

摘要： dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re 阅读全文

posted @ 2023-07-31 22:11 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

dbt-server 简单说明

摘要： dbt-server 是dbt 团队对于dbt-rpc 调整之后开源的dbt api 服务，内部基于了dbt-core 提供的cli 编程调用能力 使用到的一些框架 fastapi 提供api 能力 dbt core 进行dbt 任务的执行 celery 基于celery 的任务调度（代码中的wor 阅读全文

posted @ 2023-07-31 17:43 荣锋亮 阅读(102) 评论(0) 推荐(0) 编辑

2023年7月30日

citus 12 新特性

摘要： 就在最近citus 发布了12 版本 主要包含的新特性 基于schema 的分片（对于一些saas ，面向微服务以及垂直拆分场景比较有用） 基于租户的监控，核心还是对于schema 拆分场景的 merge 支持 基于磁盘大小的rebalance 说明 基于schema 的分片是一个很不错的功能，但是 阅读全文

posted @ 2023-07-30 17:51 荣锋亮 阅读(162) 评论(0) 推荐(0) 编辑

dolphinscheduler docker-compose 运行简单说明

摘要： 因为官方提供的dolphinscheduler 有一些问题，所以自己调整环境变量的配置，方便直接运行 运行 docker-compose 文件 version: "3" services: dolphinscheduler-postgresql: image: bitnami/postgresql: 阅读全文

posted @ 2023-07-30 10:41 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑

dolphinscheduler 调度spark on k8s

摘要： dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置，当然也可以直接通过k8s 集成通过容器镜像模式运行，两种方式各有利弊，但是完全基于k8s模式会比较方便些 集成玩法说明 spark 任务模式 此模式我们需要配置SPARK_HOME 给每个dolphinsc 阅读全文

posted @ 2023-07-30 10:27 荣锋亮 阅读(731) 评论(0) 推荐(0) 编辑

2023年7月10日

vite-plugin-federation vite&rollup 模块联邦插件

摘要： vite-plugin-federation vite&rollup 模块联邦插件，和webpack 的模块联邦插件兼容模块联邦是一个很不错的前端模块化机制，对于微前端领域是一个很不错的选择，而且vite-plugin-federation 可以直接与webpack 的构建兼容，对于使用不同构建工具 阅读全文

posted @ 2023-07-10 11:02 荣锋亮 阅读(423) 评论(0) 推荐(0) 编辑

OpenFeature 特性flag 标准协议

摘要： OpenFeature 属于cncf 一个沙箱项目 OpenFeature 特性 社区驱动的标准协议 一个sdk 可以支持各种后端 目前包含了不少支持工具（包含了开源的以及商业工具） 支持不少客户端（目前支持了js，java，golang，c#，php） 核心概念 OpenFeature 提供了一些 阅读全文

posted @ 2023-07-10 10:14 荣锋亮 阅读(222) 评论(0) 推荐(0) 编辑

gain 基于io_uring 的golang 网络框架

摘要： io_uring 是linux kernel 从5.1开始支持的新的io 操作模式，性能很不错，gain 是一个golang 实现 参考使用 main.go package main import ( "fmt" "log" "net" "os" "sync/atomic" "time" "gith 阅读全文

posted @ 2023-07-10 09:58 荣锋亮 阅读(130) 评论(0) 推荐(0) 编辑

2023年7月3日

bpftune oracle linux 试用体验

摘要： 今天有测试bpftune 与Rocky linux 的集成，发现构建是可以成功的，但是运行会有问题(提示不支持，应该用过修改可以解决)，为了 更好的测试，自己跑了一个oracle linux 虚拟机跑下 环境搭建 通过utm+oracle linux 8.8 ，还是比较简单的 ios 下载地址: 链 阅读全文

posted @ 2023-07-03 22:08 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

bpftune oracle 开源的基于bpf 的系统linux 系统优化工具

摘要： bpftune oracle 开源的基于bpf 的系统linux 系统优化工具, 同时对于oracle linux 官方已经提供了支持，可以直接安装使用 但是注意非oracle linux 当前测试构建木有成功 参考使用 为了简单基于了docker 版本的oracle linux 启动 docker 阅读全文

posted @ 2023-07-03 00:38 荣锋亮 阅读(52) 评论(0) 推荐(0) 编辑

2023年7月2日

mutagen 快速文件同步&网络转发工具

摘要： mutagen 快速文件同步&网络转发工具，可以快速实现基于云的本地开发环境构建，提供了灵活的 传输协议，支持本地，server 以及容器基础设施（实际上就是本地，ssh，以及dokcer 容器） 参考使用（同步模式） mutagen 会有一个daemon 进程，这个是自动启动的，当然也有控制命令， 阅读全文

posted @ 2023-07-02 18:46 荣锋亮 阅读(125) 评论(0) 推荐(0) 编辑

2023年7月1日

kubeskoop 阿里开源的k8s 网络分析工具

摘要： kubeskoop 是阿里开源的k8s 网络分析工具，提供了一个完整的k8s 网络分析工具集，可以快速帮助我们分析容器网络问题，支持不少cni 插件 参考图 说明 kubeskoop 技术上利用了ebpf，功能还是很强大的，同时提供了可视化ui 工具，是一个很不错的k8s网络分析工具，很值得使用下 阅读全文

posted @ 2023-07-01 08:52 荣锋亮 阅读(193) 评论(0) 推荐(0) 编辑

aws 开源的微前端发现实现 frontend-discovery

摘要： 实际上此协议已经开放一段时间了（一年左右），里边一些实践还是很不错的，对于微前端实现的同学可以参考学习 同时官方也提供了一个基于aws 服务的参考实践，作者的一些演讲也是值得学习的 参考格式 如下图，可以看到包含了一些不错的设计，以及对于实际的部署维护，包含了元数据，多版本，fallback，一致性 阅读全文

posted @ 2023-07-01 08:45 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

长亭waf-ce 版本嵌入模式集成说明

摘要： 就在最近的ce 版本中，支持直接集成waf 能力到外部openresty （nginx 服务中），这样waf 能力就类似一个外部服务了，对于openresty 来说 就是在不同阶段使用waf-ce 提供的方法，详细安装暂时就不说了，官方已经提供了，我只说明关于集成的一些问题 集成问题 玩法参考图 注 阅读全文

posted @ 2023-07-01 08:30 荣锋亮 阅读(227) 评论(0) 推荐(0) 编辑

2023年6月26日

lakefs 提供的数据工程现状图

摘要： 此图很不错，整理了不少数据处理周边的工具，可以参考学习 参考图 参考资料 https://lakefs.io/blog/the-state-of-data-engineering-2023/ 阅读全文

posted @ 2023-06-26 23:44 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

长亭waf-ce 版本试用

摘要： 最近长亭提供了ce 版本的waf ，部分开源了（部分管理UI，t1k 部分，部分语义分析自动机引擎） 运行 离线下载docker 镜像 以下地址http://demo.waf-ce.chaitin.cn/image.tar.gz 加载镜像cat image.tar.gz | gzip -d | do 阅读全文

posted @ 2023-06-26 22:56 荣锋亮 阅读(274) 评论(0) 推荐(0) 编辑

2023年6月25日

spring boot graalvm native 试用

摘要： 核心是体验下新版本支持情况同时体验下企业特性（g1 gc） 参考示例 就是基于spring start 提供的web，添加了graalvm native 构建支持，graalvm oracle 发行版直接可以官方下载 pom.xml 核心信息 <?xml version="1.0" encoding 阅读全文

posted @ 2023-06-25 23:39 荣锋亮 阅读(213) 评论(0) 推荐(0) 编辑

squawk pg linter 工具

摘要： squawk 是一个pg linter 工具，主要作用是对于数据迁移的处理，基于rust 开发 说明 同时官方还提供了一个方便安全迁移的指南，很值得学习 参考资料 https://github.com/sbdchd/squawkhttps://squawkhq.com/https://benchli 阅读全文

posted @ 2023-06-25 14:36 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

2023年6月24日

graalvm native-image jfr 试用

摘要： graalvm 最近license 许可模型的修改，对于我们使用graalvm 增加了不少信心，尤其是以前需要企业订阅的一些特性 以下是一个简单的jfr 试用 代码&构建 代码来自官方文档，主要是试用下,对于graalvm直接可以免费下载企业版了, 同时需要安装visualvm 代码 JFRDemo 阅读全文

posted @ 2023-06-24 22:34 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

2023年6月23日

graalvm 新的免费许可协议

摘要： 就在最近oracle 发布了一个新的graalvm 发行版（oracle graalvm），同时也调整了许可模型，大致上是除非你收费基于graalvm 开发的应用，基本上oraclegraalvm 分发版本的可以免费使用，包含了不少新特性 当前版本的特性 profile 指南优化，提供了更多的编译优 阅读全文

posted @ 2023-06-23 10:29 荣锋亮 阅读(269) 评论(0) 推荐(0) 编辑

2023年6月21日

find-my-way nodejs 快速的http 路由框架

摘要： find-my-way 基于了radix tree 开发的路由框架，支持路由参数，通配符，同时语言无关fastify 以及restify 都使用了路由框架，同时也受echo启发 说明 了解find-my-way 的使用以及内部机制对于学习fastify 是比较有用的，fastify 不少有意思的插件 阅读全文

posted @ 2023-06-21 12:21 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

langchain 基于大模型构建应用的框架

摘要： langchain 包装了对于大模型应用开发，常用的一些东西（prompts，language models，output parser）可以方便我们基于大模型应用的开发，同时langchain 也提供了js 版本的 说明 对于有基于大模型进行应用开发的langchain 是一个值得试用的框架，同时 阅读全文

posted @ 2023-06-21 08:42 荣锋亮 阅读(155) 评论(0) 推荐(0) 编辑

junodb paypal 开源的key value 存储

摘要： junodb paypal 开源的key value 存储，下图是关于整体架构的 参考架构 简单说明:junodb 是基于proxy 的架构设计，可以方便的水平扩展，junodb 核心包含了三部分，client，proxy，storage server，当然junodb 还依赖一个etcdproxy 阅读全文

posted @ 2023-06-21 08:18 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

pgcat 基于rust 开发类似pgbouncer 的数据库链接池以及proxy 工具

摘要： pgcat 是postgresml 团队开源的，pg链接池以及proxy 工具，包含了不少特性 特性 事物pool，类似pgbouncer ，对于异常客户端以及遗弃事物处理做了提升 session pool 类似pgbouncer 多线程运行时 读查询负载均衡，对于primary 以及replica 阅读全文

posted @ 2023-06-21 07:56 荣锋亮 阅读(181) 评论(0) 推荐(0) 编辑

2023年6月19日

nginx 1.25.1 发布

摘要： nginx 1.25.1 有一个很不错的特性，就是支持了http2 指令，以前这个指令主要是也listen 配置使用的（ssl+http2 场景） 独立指令之后就有了很方便的功能了，比如有些业务希望使用http0.9-1.1 协议，有些需要使用http2，当然目前也是支持了 http3的，可以做到分 阅读全文

posted @ 2023-06-19 19:28 荣锋亮 阅读(513) 评论(0) 推荐(0) 编辑

2023年6月18日

dremio 24.1 Nessie 支持插件

摘要： 以前也简单说过24.1 支持基于Nessie 进行查询了，相关代码名称比较怪异（此代码开源了），名称为dataplane 参考代码信息 说明 因为dremio 云版本支持基于Nessie的元数据管理，此功能代码还是值得学习参考的，整体开发上也是一个标准的存储扩展 参考资料 https://docs. 阅读全文

posted @ 2023-06-18 17:16 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

dremio 24.1 udf 表函数支持

摘要： 此功能比较方便，我们可以方便的扩展一些函数，直接可以返回表数据，方便分析处理，以前要处理需要通过关联，或者自定义vds 参考使用 参考资料 https://docs.dremio.com/software/sql-reference/sql-commands/functions/ 阅读全文

posted @ 2023-06-18 17:06 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

dremio 24.1 vacuum 一些新特性

摘要： 实际上此功能，我以前介绍过，现在官方文档直接说明了，同时最新版本支持删除过期文件了，24版本我在测试的时候发现是有些问题新版本是否解决还得测试，具体使用可以参考以下链接 参考资料 https://docs.dremio.com/software/release-notes/240-release/h 阅读全文

posted @ 2023-06-18 17:01 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

dremio 24.1 zstd 支持的的处理

摘要： 以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩，目前官方24.1 直接支持了，通过查看源码实际上处理思路以及方法与我介绍的是一致的，具体可以参考我写过的博客 一些差异 dremio 自己编译了hadoop lib 库 dremio 支持了level 配置 参考资料 https:// 阅读全文

posted @ 2023-06-18 12:56 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2023年6月16日

dremio 24.1.0 发布

摘要： dremio 就在昨天dremio 发布了24.1.0 版本（间隔时间还是比较长的），包含了不少特性，上午的时候简单看了下，但是因为目前文档页面打不开了我只简单说以下我看到的几个不错的 一些新特性 内置支持zstd 压缩了 Nessie 数据源支持，可以更好的使用Nessie 作为catalog 服 阅读全文

posted @ 2023-06-16 22:00 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

2023年6月12日

nginx-clojure debug构建简单说明

摘要： 实际上参考了官方的构建参数，提供一个debug 模式的文件 原始配置 configure arguments: --prefix= --sbin-path=nginx --conf-path=conf/nginx.conf --error-log-path=logs/error.log --http 阅读全文

posted @ 2023-06-12 11:31 荣锋亮 阅读(112) 评论(2) 推荐(0) 编辑

2023年6月11日

postgresml 基于postgres 的ai 应用数据库

摘要： postgresml 基于postgres 的ai 应用数据库，我们可以基于sql 使用开源模型进行训练，实际上如果了解pg 的化pg 实际也有一个开源的madlib 也属于机器学习领域的不错选择 说明 如果测试使用的，注意postgresml docker 镜像很大，同时需要自己构建会比较慢，后边 阅读全文

posted @ 2023-06-11 22:42 荣锋亮 阅读(218) 评论(0) 推荐(0) 编辑

lilo java 快速 graphql stitching 包

摘要： lilo 是一个快速的graphql stitching 包，可以实现合并多个graphql 服务的合并（schema，以及调用）比较适合的业务场景是gateway 说明 同时在springone 官方中也有介绍到，内部使用到了graphql-java 进行处理 参考资料 https://githu 阅读全文

posted @ 2023-06-11 09:37 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

coredb 使用pg all-in-one 解决方案

摘要： coredb 认为可以使用pg 干任何事情，自己基于rust 开发了不少pg 的扩展，当然也包含了不少社区现有的扩展同时coredb 还开发了一个pg 扩展仓库（实际上以前社区也有一个） 说明 目前coredb 还在开发中，核心技术栈基于了rust，一些理念还是值得学习参考的 参考资料 https: 阅读全文

posted @ 2023-06-11 09:07 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

2023年6月10日

nginx-clojure-0.6.0 集成nginx 1.25.0 构建的解决方法

摘要： 今天也说过关于nginx-clojure-0.6.0 集成nginx 1.2.50 构建是有问题的，以下是解决方法 实际问题 static declaration of ‘ngx_http_close_request’ follows non-static declaration 原因 nginx- 阅读全文

posted @ 2023-06-10 22:00 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

上一页 1 ··· 14 15 16 17 18 19 20 21 22 ··· 121 下一页

导航