07 2023 档案

dbt class 简单说明
摘要:dbt class 可以用来创建数据仓库中的一些对象(比如关系,列)当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re 阅读全文

posted @ 2023-07-31 22:11 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

dbt-server 简单说明
摘要:dbt-server 是dbt 团队对于dbt-rpc 调整之后开源的dbt api 服务,内部基于了dbt-core 提供的cli 编程调用能力 使用到的一些框架 fastapi 提供api 能力 dbt core 进行dbt 任务的执行 celery 基于celery 的任务调度(代码中的wor 阅读全文

posted @ 2023-07-31 17:43 荣锋亮 阅读(116) 评论(0) 推荐(0) 编辑

citus 12 新特性
摘要:就在最近citus 发布了12 版本 主要包含的新特性 基于schema 的分片(对于一些saas ,面向微服务以及垂直拆分场景比较有用) 基于租户的监控,核心还是对于schema 拆分场景的 merge 支持 基于磁盘大小的rebalance 说明 基于schema 的分片是一个很不错的功能,但是 阅读全文

posted @ 2023-07-30 17:51 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

dolphinscheduler docker-compose 运行简单说明
摘要:因为官方提供的dolphinscheduler 有一些问题,所以自己调整环境变量的配置,方便直接运行 运行 docker-compose 文件 version: "3" services: dolphinscheduler-postgresql: image: bitnami/postgresql: 阅读全文

posted @ 2023-07-30 10:41 荣锋亮 阅读(241) 评论(0) 推荐(0) 编辑

dolphinscheduler 调度spark on k8s
摘要:dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置,当然也可以直接通过k8s 集成通过容器镜像模式运行,两种方式各有利弊,但是完全基于k8s模式会比较方便些 集成玩法说明 spark 任务模式 此模式我们需要配置SPARK_HOME 给每个dolphinsc 阅读全文

posted @ 2023-07-30 10:27 荣锋亮 阅读(923) 评论(0) 推荐(0) 编辑

vite-plugin-federation vite&rollup 模块联邦插件
摘要:vite-plugin-federation vite&rollup 模块联邦插件,和webpack 的模块联邦插件兼容模块联邦是一个很不错的前端模块化机制,对于微前端领域是一个很不错的选择,而且vite-plugin-federation 可以直接与webpack 的构建兼容,对于使用不同构建工具 阅读全文

posted @ 2023-07-10 11:02 荣锋亮 阅读(509) 评论(0) 推荐(0) 编辑

OpenFeature 特性flag 标准协议
摘要:OpenFeature 属于cncf 一个沙箱项目 OpenFeature 特性 社区驱动的标准协议 一个sdk 可以支持各种后端 目前包含了不少支持工具(包含了开源的以及商业工具) 支持不少客户端(目前支持了js,java,golang,c#,php) 核心概念 OpenFeature 提供了一些 阅读全文

posted @ 2023-07-10 10:14 荣锋亮 阅读(267) 评论(0) 推荐(0) 编辑

gain 基于io_uring 的golang 网络框架
摘要:io_uring 是linux kernel 从5.1开始支持的新的io 操作模式,性能很不错,gain 是一个golang 实现 参考使用 main.go package main import ( "fmt" "log" "net" "os" "sync/atomic" "time" "gith 阅读全文

posted @ 2023-07-10 09:58 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑

bpftune oracle linux 试用体验
摘要:今天有测试bpftune 与Rocky linux 的集成,发现构建是可以成功的,但是运行会有问题(提示不支持,应该用过修改可以解决),为了 更好的测试,自己跑了一个oracle linux 虚拟机跑下 环境搭建 通过utm+oracle linux 8.8 ,还是比较简单的 ios 下载地址: 链 阅读全文

posted @ 2023-07-03 22:08 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

bpftune oracle 开源的基于bpf 的系统linux 系统优化工具
摘要:bpftune oracle 开源的基于bpf 的系统linux 系统优化工具, 同时对于oracle linux 官方已经提供了支持,可以直接安装使用 但是注意非oracle linux 当前测试构建木有成功 参考使用 为了简单基于了docker 版本的oracle linux 启动 docker 阅读全文

posted @ 2023-07-03 00:38 荣锋亮 阅读(63) 评论(0) 推荐(0) 编辑

mutagen 快速文件同步&网络转发工具
摘要:mutagen 快速文件同步&网络转发工具,可以快速实现基于云的本地开发环境构建,提供了灵活的 传输协议,支持本地,server 以及容器基础设施(实际上就是本地,ssh,以及dokcer 容器) 参考使用(同步模式) mutagen 会有一个daemon 进程,这个是自动启动的,当然也有控制命令, 阅读全文

posted @ 2023-07-02 18:46 荣锋亮 阅读(161) 评论(0) 推荐(0) 编辑

kubeskoop 阿里开源的k8s 网络分析工具
摘要:kubeskoop 是阿里开源的k8s 网络分析工具,提供了一个完整的k8s 网络分析工具集,可以快速帮助我们分析容器网络问题,支持不少cni 插件 参考图 说明 kubeskoop 技术上利用了ebpf,功能还是很强大的,同时提供了可视化ui 工具,是一个很不错的k8s网络分析工具,很值得使用下 阅读全文

posted @ 2023-07-01 08:52 荣锋亮 阅读(283) 评论(0) 推荐(0) 编辑

aws 开源的微前端发现实现 frontend-discovery
摘要:实际上此协议已经开放一段时间了(一年左右),里边一些实践还是很不错的,对于微前端实现的同学可以参考学习 同时官方也提供了一个基于aws 服务的参考实践,作者的一些演讲也是值得学习的 参考格式 如下图,可以看到包含了一些不错的设计,以及对于实际的部署维护,包含了元数据,多版本,fallback,一致性 阅读全文

posted @ 2023-07-01 08:45 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

长亭waf-ce 版本嵌入模式集成说明
摘要:就在最近的ce 版本中,支持直接集成waf 能力到外部openresty (nginx 服务中),这样waf 能力就类似一个外部服务了,对于openresty 来说 就是在不同阶段使用waf-ce 提供的方法,详细安装暂时就不说了,官方已经提供了,我只说明关于集成的一些问题 集成问题 玩法参考图 注 阅读全文

posted @ 2023-07-01 08:30 荣锋亮 阅读(253) 评论(0) 推荐(0) 编辑

导航