荣锋亮 - 博客园

docker init 简单使用

摘要：这次说的docker init 并不是init 进程，而是docker 提供了cli init 命令，与npm init 等类似的方便创建docker 项目的命令参考使用提供的能力 docker help init Usage: docker init [OPTIONS] Creates Doc 阅读全文

posted @ 2024-02-02 08:00 荣锋亮阅读(422) 评论(0) 推荐(0) 编辑

dremio vectorized Parquet Reader v2 支持

摘要： dremio 从24.3 开始支持parquet v2 writer 同时性能提升还是很明显的对于读官方在TPC-DS测试中，最低有22% 左右的，最高97%，平均77% 左右写入同样也是TPC-DS 中，存储降低24%左右，写入提升1.5% 左右，如果开启了c3 读性能提升6.4% 开启阅读全文

posted @ 2024-02-01 11:56 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

nginx-go-crossplane nginx 配置解析包试用

摘要：以下是一个简单试用，学习下nginx-go-crossplane 的使用参考代码 nginx.conf worker_processes 1; events { worker_connections 1024; } http { default_type application/octet-str 阅读全文

posted @ 2024-02-01 08:05 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

nginx-go-crossplane crossplane golang 版本的nginx 配置解析包

摘要： nginx-go-crossplane 属于python 版本crossplane nginx 配置解析包的golang 移植可以实现nginx 配置解析转换为json 格式的数据，当然也支持将json 转换为nginx 配置格式说明对于希望基于nginx 搞自己的流量统一平台，同时希望基于ap 阅读全文

posted @ 2024-01-31 08:35 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

dremio 24.3.2发布

摘要：就在最近dremio 提供了24.3.2社区版的下载，同时oss 源码也发布了，核心是一些fix,详细的可以参考官方的release notes 说明大概看了下git commit 一些变动，此版本开始，一些本来为false 的参数直接设置为了true了比如codedremio.unlimited 阅读全文

posted @ 2024-01-30 12:27 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

java 几种系统信号处理方法

摘要：主要是一个记录，jvm 提供了一些系统信号处理的辅助函数，包含了基于ShutdownHook的以及自定义SignalHandler的 ShutdownHook 模式的相当于提供了一些直接内置的能力，我们不需要太多关注，主要处理的自己一些业务逻辑参考使用 Runtime.getRuntime(). 阅读全文

posted @ 2024-01-30 08:00 荣锋亮阅读(48) 评论(0) 推荐(0) 编辑

ccm Cassandra 集群管理工具

摘要： ccm是一个Cassandra 集群管理工具，此工具也是Cassandra 权威指南书中推荐的一个工具，对于希望快速部署生产可用的Cassandra 集群是一个很值得尝试下参考资料 https://github.com/riptano/ccm 阅读全文

posted @ 2024-01-29 08:02 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

dremio yarn 测试环境部署

摘要：以前我简单写过关于dremio yarn 运行的说明（开发上基于了Twill框架，当创建基于yarn 的引擎的时候会进行dremio executor 的打包，放到hfds 中，之后基于yarn 的调度运行）,以下是一个简单的基于docker 的部署环境，方便学习环境 docker-compose 阅读全文

posted @ 2024-01-29 08:02 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

typespec 简单试用

摘要： typespec 是一个强大的api 描述框架，以下是一个简单的试用安装typespec 可以安装为全局cli 命令 npm install -g @typespec/compiler 使用创建项目 tsp init // 后续按照提示操作，可以选择http 安装依赖 tsp install 项阅读全文

posted @ 2024-01-28 08:08 荣锋亮阅读(113) 评论(0) 推荐(0) 编辑

typespec 描述api 的框架工具

摘要： typespec 是微软开源的api 描述工具，我们可以直接使用与typescript 类似的语言就能描述api，可以方便的生成rest，graphql，openapi，grpc 一些其他协议代码包含的特性 api 优先轻量级api 定义语言（基于typescript）与现有工具链可以方便的集阅读全文

posted @ 2024-01-27 08:00 荣锋亮阅读(59) 评论(0) 推荐(0) 编辑

使用dataspell 进行dbt 项目开发

摘要： dataspell 是jetbrains 的数据开发工具，是一个很不错的数据开发ide，同时也支持对于dbt 项目的开发我们可以使用类似idea 的开发模式进行dbt 项目开发参考效果项目结构数据管理注意需要自己配置数据源（可以使用遗留模式的jdbc，或者基于arrow flight jdb 阅读全文

posted @ 2024-01-26 09:20 荣锋亮阅读(43) 评论(0) 推荐(0) 编辑

ash用于构建 Elixir 应用程序的声明性和可扩展框架

摘要： ash 是一个Elixir 框架包含的特性面向资源通过plug 以及play 构建复杂的应用 graphql 支持基于absinthe 的graphql 支持 json api 支持认证&授权支持多租户支持统一数据层灵活扩展可观测性支持 phoenix ecto 框架兼容说明 a 阅读全文

posted @ 2024-01-26 08:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

dremio random 函数造成dremio crash 问题

摘要：以前没注意使用random，在看社区问题的时候测试了下发现的确有类似的问题，官方的解决方法是通过配置禁用gandiva 优化参考配置支持key格式 exec.disabled.gandiva-functions: <function>;<function> 参考配置参考禁用处理 sabot/ 阅读全文

posted @ 2024-01-25 10:30 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

minio 支持基于yaml 的配置参数

摘要： minio 23 年底的一个版本中，支持了基于yaml 的配置参数，以前基于环境变量的模式还是支持的，只是yaml 成为一个首选模式参考配置 yaml 配置 version: v1 address: ':9000' rootUser: 'minioadmin' rootPassword: 'pBU 阅读全文

posted @ 2024-01-24 09:19 荣锋亮阅读(180) 评论(0) 推荐(0) 编辑

dbt-language-server fivetran 提供的dbt 语言工具

摘要： dbt-language-server fivetran 提供的dbt 语言工具包含的特性查询预览 sql to ref 的转换异常高光自动完成函数签名帮助跳转定义 dbt 状态创建dbt 项目安装dbt 包说明对于基于dbt进行是数据建模的，dbt-language-serve 阅读全文

posted @ 2024-01-23 13:12 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

socketioxide 基于rust 的socket.io server 实现

摘要： socketioxide 是基于rust 的socket.io server 实现包含的特性类似axum 的API 完全兼容官方socket.io client 支持v4 协议状态管理 namespaces rooms 消息确认 polling 以及websocket 支持说明目前sock 阅读全文

posted @ 2024-01-22 12:14 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

astronomer-cosmosy一个方便dbt 在apache airflow 运行的工具

摘要： dbt 在国外比较火，同时社区也提供了不少调度运行模式（core 部分没提供），研究apache airflow 是一个不错的选择，但是原生script 模式的调用比较简单，astronomer-cosmosy 提供了方便dbt 在apache airflow 通过dag 以及task groups 阅读全文

posted @ 2024-01-21 10:13 荣锋亮阅读(68) 评论(0) 推荐(0) 编辑

spring boot 文件下载最好设置nosniff

摘要：实际上就是添加X-Content-Type-Options nosniff 规避浏览器嗅探，规避一些问题参考代码以下是一个部分参考代码 @GetMapping("/{filename:.+}") public ResponseEntity<Resource> downloadFile(@Path 阅读全文

posted @ 2024-01-20 18:32 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

dremio + grafana/tempo opentelemetry监控集成

摘要：昨天我写过一个基于signoz的dremio opentelemetry 集成，实际上grafana/tempo 也是一个很不错的选择，主要是部署简单，以下是一个简单测试环境准备 docker-compose 文件 version: "3" services: tempo: image: graf 阅读全文

posted @ 2024-01-20 17:53 荣锋亮阅读(109) 评论(0) 推荐(0) 编辑

dremio opentelemetry监控试用

摘要：标准的系统监控应该包含metrics，trace，log 这个三大类，metrics 部分，包含了一个promethues 的扩展，当然官方也支持jmx以及slf4j的 opentelemetry 是一个直接内置的trace 功能，很不错，以下是一个简单的测试环境准备 dremio 默认就支持op 阅读全文

posted @ 2024-01-19 17:15 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具

摘要： postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具，比较有意思使用到的一些包 runtime v86的一个模拟器 buildroot 脚本，方便构建一个在v86 中运行的cpu 以及内存快照 websockproxy 网络工具说明官方也提供了一阅读全文

posted @ 2024-01-19 14:41 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

dremio ui 数据源插件加载处理简单说明

摘要： dremio 开发数据源扩展，基本包含了数据库，元数据类的，对象存储的，以及catalog 的，实际上开发扩展不算太难默认开发的扩展直接放jars 文件夹就可以了，但是目前新版本我们会发现隐藏了一个opensearch 的插件，这个插件需要通过配置开启，plugins.jdbc.opensear 阅读全文

posted @ 2024-01-19 13:57 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio 基于Options注解的配置技巧

摘要：以前简单写过一个dremio 配置相关的介绍，以下是一个简单的使用原理 dremio 自己定义了一个Options 的注解，包含此注解的类会被启动的时候进行类扫描加载，Options 的会存储起来（分为不用类型的）有session 级别的，系统级别的。。。。简单使用 pom.xml <?xml 阅读全文

posted @ 2024-01-19 10:24 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

snaplet 一个强大的类似产品数据的生成工具

摘要：以前简单介绍过一个数据生成工具synth，snaplet 是一个类似的工具，但是设计上比较有意思，synth 是基于了schemasnaplet 使用了快照，以及基于ai 的数据生成模式，当然还包含了一种种子数据生成的模式包含的特性种子数据对于现有的数据库使用快照模式生成数据恢复对于clo 阅读全文

posted @ 2024-01-18 11:19 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

spring boot 3.2.1 dremio jdbc jprofiler 集成

摘要： jprofiler 可以直接与idea 集成，对于分析一些实际需要debug 但是不好复现的问题还是比较方便的，以下是一个简单的与 dremio 集成的，spring boot 使用了3.2 （jdk 需要17）同时也会包含一些启动说明安装idea 插件直接plugins 的市场中搜索安装就可以阅读全文

posted @ 2024-01-18 10:35 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

dremio nessie 版本持久化配置简单说明

摘要： dremio 对于nessie 的使用就是一个插件配置，默认基于docker运行的nessie 是没有进行版本持久化的，以下是一个简单说明配置参考我基于了pg，实际支持的存储引擎还是很多的 docker-compose version: "3" services: mysql2: image: 阅读全文

posted @ 2024-01-17 15:09 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

dremio jdbc 访问最好使用链接池工具

摘要：昨天在碰到一个dremio jdbc 比较奇怪的问题，按照了标准的jdbc 操作（建立链接，创建Statement，处理数据，关闭Statement，关闭连接）当进行多次执行（多次建立连接操作）发现dremio 有一个操作异常，造成数据表创建有问题（事务不完整）参考代码 private stat 阅读全文

posted @ 2024-01-17 10:43 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

dremio 测试特性api 的开启&外部profile查看

摘要：以前简单说过基于代码修改开启test 的外部profile 能力，实际上官方是由配置参数的，可以在启动的时候添加到配置中配置添加 dremio.conf 文件 debug { allowTestApis: true } 检查选项时候开启的一个技巧使用arthas 命令使用了arthas的vmt 阅读全文

posted @ 2024-01-16 15:27 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

arthas 查看变量值的几种方式

摘要：很多时候我们包含了一些变量，需要check 变量的值，arthas 提供了几种方法通过ognl ognl 是一个强大的功能，可以看一些变量信息，比如静态类，静态字段的参考使用 ognl '@java.lang.System@out.println("hello")' 通过vmtool vmtoo 阅读全文

posted @ 2024-01-16 15:24 荣锋亮阅读(1658) 评论(0) 推荐(0) 编辑

synth 简单试用

摘要：以下是一个简单的试用，主要是体验下synth 的功能安装我使用的mac 系统，其他系统按照官方文档操作 curl --proto '=https' --tlsv1.2 -sSL https://getsynth.com/install | sh 项目创建创建文件夹 mkdir first 创建阅读全文

posted @ 2024-01-16 11:53 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

synth 声明式数据生成工具

摘要： synth 是由shuttle 团队开发的一个基于rust 编写的声明式数据生成工具应用场景数据隐藏隐藏敏感的产品数据，帮助我们生成比较符合生成场景的数据种子数据初始化基于ci 的测试，开发环境数据生成，方便持续集成基于自定义的规范，生成逼真的数据可以基于约束，关系，生成逼真的数据说阅读全文

posted @ 2024-01-16 11:07 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

cachex elixir 强大的缓存框架

摘要： cachex 是一个强大的elixir cache 库，提供了事务，fallback，以及过期等基本能力包含的特性 TTL 最大大小限制 pre、post 执行hooks 事务以及row 锁异步写操作分布式同步本地文件系统 streaming cache 批量写用户命令调用统计信息参考阅读全文

posted @ 2024-01-16 09:50 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

elixir before_compile && on_definition 简单使用

摘要： elixir 提供了一些方便的模块属性，可以让我们方便的进行elixir 的扩展（尤其是进行元编程的时候）比如elixir_agent 就使用到了before_compile以及on_definition ，方便进行trace 的处理 on_definition 的简单使用参考demo 内容来自阅读全文

posted @ 2024-01-15 10:28 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

sqlglot python sql 解析以及翻译工具

摘要： sqlglot 实际上是由和sqlmesh一个团队开发的就用python 的sql 解析以及翻译工具，功能还是比较强大的支持20多种sql 方言的格式化以及翻译，sqlmesh 就使用了此工具包，当然相比其他一些工具，性能也是很不错的参考资料 https://github.com/tobymao/ 阅读全文

posted @ 2024-01-15 09:22 荣锋亮阅读(684) 评论(0) 推荐(0) 编辑

sqlmesh 类似dbt 的工具

摘要： sqlmesh 是一个类似dbt 的工具，目前没有dbt 热度高，但是也提供了一些不错的周边一些比较不错的功能点 open sosurce ui 列级别的血缘 native notebook 支持多仓库支持 sql 转译开源ci/cd bot 虚拟数据环境原生airflow 集成 data 阅读全文

posted @ 2024-01-15 09:13 荣锋亮阅读(73) 评论(0) 推荐(0) 编辑

dremio dbt + nessie 集成profile 简单说明

摘要：我最近写了一个简单的关于dremio 集成nessie 以及dbt 玩法的说明，以下简单说明下dbt 如何配置配置说明对于配置实际上与以前一些介绍类似，集成nessie 的使用与其他是类似的，只是集成nessie 之后我们的数据开发模型上就有了实际的版本了（dbt 集成git 之后也会包含版本，阅读全文

posted @ 2024-01-13 23:07 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

openresty 1.25.3.1 发布了

摘要：就在最近openresty 发布了1.25.3.1 版本，基于了当前nginx 最新版本（1.25.3）核心特性 nginx 基于了当前最新版本支持pcre2 支持http3 说明目前来看openresty 更新迭代还是很不错的，一直在持续更新参考资料 https://openresty.o 阅读全文

posted @ 2024-01-13 13:33 荣锋亮阅读(107) 评论(0) 推荐(0) 编辑

dremio jdbc 插件时间增量处理的一些问题

摘要： dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的）对于时间类型阅读全文

posted @ 2024-01-12 14:39 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio 反射刷新时间的一些简单说明

摘要： dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明几个方便观测反射效果的sql 以下是提供的几个系统表可以方便阅读全文

posted @ 2024-01-11 20:14 荣锋亮阅读(25) 评论(0) 推荐(0) 编辑

dremio+nessie+dbt+ cube.js 实现简单数据服务

摘要：以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能阅读全文

posted @ 2024-01-11 15:22 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

导航

公告