荣锋亮 - 博客园

PebbleTemplates 模版引擎使用

摘要： PebbleTemplates 是一个类似jinja 的java 模版引擎（受twig启发）支持的能力还是很多的，而且扩展性很不错，比如模版资源加载，模版缓存自定义扩展。。。。，是一个值得使用的模版引擎一个s3 loader 参考代码基于了minio client 通过配置指定 public 阅读全文

posted @ 2023-03-16 13:06 荣锋亮阅读(155) 评论(0) 推荐(0) 编辑

sbom +dependencytrack 进行软件组件安全性分析

摘要：随着安全越来越重要，日常中我们对于自己开发的软件进行安全扫描同时作为一个常规化的任务是比较重要的，对于依赖组件基于sbom+ dependencytrack 是一个很不错的选择，而且成本比较低，管理上比较强大，我们需要做的就是基于ci 工具，或者通过cli 生成sbom，然后基于dependency 阅读全文

posted @ 2023-03-14 19:58 荣锋亮阅读(528) 评论(2) 推荐(0) 编辑

fdb-record-layer 基于foundationdb 的record存储

摘要： fdb-record-layer 是在foundationdb上包装的一层工具层，可以简化日常的开发包含的特性结构化类型，基于了protobuf index 索引支持复杂类型支持 list，嵌套record 查询，提供了查询api 可以方便使用基于多record 存储共享schema 非常轻阅读全文

posted @ 2023-03-12 23:08 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

tigris 基于foundationdb 开发的数据平台

摘要： tigris 是基于foundationdb 开发的数据平台，基于golang 开发，官方的介绍是mongo atlas 的可选替换工具参考架构参考资料 https://github.com/tigrisdata/tigrishttps://www.tigrisdata.com/blog/bui 阅读全文

posted @ 2023-03-12 22:40 荣锋亮阅读(43) 评论(0) 推荐(0) 编辑

keydb redis 兼容协议服务

摘要： keydb 是完全兼容redis 协议的服务，同时支持了不少其他特性，比如多主，多复制，对于我们的集群环境部署简化了不少而且还有一个不错的优势是性能（利用了多线程提供了不错的性能）官方也有明确的比较说明说明目前dragonfly 是另外一个热度比较高的redis 兼容协议，但是不像keydb 基阅读全文

posted @ 2023-03-12 20:01 荣锋亮阅读(82) 评论(0) 推荐(0) 编辑

snowflake 元数据存储一些参考资料

摘要：今天在写完关于使用一个开源kv 系统替换dremio 的kv 服务的之后，搜了下发现snowflake 的元数据系统就是基于foundationdb的，同时官方也有不少介绍可以参考学习参考资料 https://medium.com/snowflake/part-2-migrating-snowfl 阅读全文

posted @ 2023-03-07 22:58 荣锋亮阅读(84) 评论(0) 推荐(0) 编辑

dremio 替换kv 服务的一些思路

摘要：我以前简单介绍过dremio 内部协调服务（基于了zk）以及数据存储的说明（实际上是基于了kv存储rocksdb）同时dremio 入口会创建DACDaemonModule （此类可以通过配置修改），如果需要修改修改就可以从此处下手，以下只是一个简单的说明，后续等有时间了实现下当前方案可以看出对阅读全文

posted @ 2023-03-07 19:08 荣锋亮阅读(51) 评论(0) 推荐(0) 编辑

napi 简单使用

摘要：内容来自官方文档，主要是体验下napi 的使用安装cli npm install -g @napi-rs/cli 创建按照提示操作，比如我的package名称为@dalongrong/napi-demo napi new 构建 cd <dir name> yarn build 使用添加link 阅读全文

posted @ 2023-03-05 20:32 荣锋亮阅读(104) 评论(0) 推荐(0) 编辑

napi 基于rust 开发nodejs addons 的框架

摘要：目前基于rust 开发nodejs addons 的框架是很多了，而且都不错，同时对于安装会基于跨平台构建+github release 模式进行安装（对于企业内部不是很友好）napi 是一个新的基于rust 的开发框架，同时官方也与neon进行了对比介绍，而且从目前来说napi社区相比neon 更阅读全文

posted @ 2023-03-05 19:54 荣锋亮阅读(150) 评论(0) 推荐(0) 编辑

cube.js dremio-odbc-cubejs-driver TypeError: Do not know how to serialize a BigInt 问题

摘要：因为cube.js cache 部分使用了json 进行key 的存储，但是因为odbc 部分数据类型会有bigint，cube.js 会报错解决方法通过hack 的模式 const CubejsServer = require('@cubejs-backend/server'); const 阅读全文

posted @ 2023-03-02 19:47 荣锋亮阅读(305) 评论(0) 推荐(0) 编辑

基于odbc 开发一个高性能的dremio cube.js driver

摘要：我以前简单写过，基于odbc 的cube.js driver 开发简单说明，一直没有实现，最近研究下了，发现实现起来还是很简单的所以就写了一个，方便使用，对比下来性能提升是很大的参考开发核心是基于odbc 对于query以及testConnection 的实现，部分借鉴了http 协议的实现阅读全文

posted @ 2023-03-02 19:37 荣锋亮阅读(53) 评论(0) 推荐(0) 编辑

iframe sandbox 造成附件下载问题解决

摘要：问题场景，iframe 通过src 加载三方website，同时三方website 调用api 生成 web 页面，页面中会包含click 链接（打开新页面）之后会包含文件下载参考图如下问题对于通过api 生成的web page ，click 打开是另外一个web page （那怕是新打开浏览阅读全文

posted @ 2023-03-02 08:40 荣锋亮阅读(141) 评论(0) 推荐(0) 编辑

haproxy 2.x 请求头安全问题

摘要：就在最近haproxy 官方发布了一个通知关于安全漏洞的，包含了2.0 以及最新版本的，对于使用了2.x 版本的用户最好升级下临时解决方案 frontend myfrontend http-request deny if { fc_http_major 1 } !{ req.body_size 0 阅读全文

posted @ 2023-03-01 21:01 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

cube.js 自定义驱动 static dialectClass 方法说明

摘要：实际上官方文档有过描述关于此方法的作用，可以进行自动query 方言的转换处理，同时官方不少插件也使用了此功能以下做一个简单的说明作用主要是对于dbtype 可以方便的找到数据库查询方言参考开发 export class OceanBaseDriver extends BaseDriver 阅读全文

posted @ 2023-03-01 00:00 荣锋亮阅读(25) 评论(0) 推荐(0) 编辑

npm unpublish一个注意项

摘要：主要是自己发布了一个npm包，但是发现对应版本有些问题，想删除重新publish，但是提示了必须24小时之后才能重试在看了官方文档之后发现如果unpublish 了完整的包就只能等24小时之后了，应该是为了安全考虑吧，所以发布npm还是多注意些参考资料 https://docs.npmjs.com 阅读全文

posted @ 2023-02-28 23:52 荣锋亮阅读(109) 评论(0) 推荐(0) 编辑

cube.js 官方提供的driver 开发包

摘要： cube.js 从0.30.69 开始提供了独立的driver 开发包，可以简化driver 的开发目前提供的driver 定义标准driver （数据访问）基本上driver 都是实现基础driver 接口的 cache driver 缓存处理的比如cube store driver que 阅读全文

posted @ 2023-02-26 22:56 荣锋亮阅读(54) 评论(0) 推荐(0) 编辑

开发一个 cube.js oceanbase driver

摘要： cube.js 去年提供了一个独立的包，方便driver 的开发，尽管oceanbase 是mysql 兼容的，但是在使用一个链接池工具的时候有些问题所以独立包装了一个oceanbase 的driver 开发说明基于了官方的mysql driver 对于链接池部分进行了调整，同时进行了重新命名，阅读全文

posted @ 2023-02-26 22:40 荣锋亮阅读(51) 评论(0) 推荐(0) 编辑

dremio S3StoragePlugin 简单说明

摘要： S3StoragePlugin 核心是进行s3 的数据处理，从能力上来说主要是一个文件系统的存储插件，以前我简单介绍过关于存储扩展的开发，一般需要包含一个存储插件配置类以及存储插件的实现（会有基于文件系统的s3，nas。。。。，基于底层基础类的jdbc 存储插件）配置类主要是S3PluginC 阅读全文

posted @ 2023-02-24 12:05 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

基于tmpfs 的nginx cache 优化

摘要：昨天简单说明了下基于tmpfs 的nginx proxy_cache 优化，今天整体说明下参考图流程说明修改之前的对于nginx 使用了多级处理，ingress （也是基于nignx，openresty），对于服务的ib 也是就有nginx （openresty），同时lb 也包含一部分静态阅读全文

posted @ 2023-02-23 21:46 荣锋亮阅读(51) 评论(0) 推荐(0) 编辑

使用tmpfs 进行nginx proxy_cache 加速

摘要：实际碰到的一个问题，使用的虚拟机，发现压测效果不是很好，静态资源请求有时都会存在问题（超时，加载比较慢）但是因为实际没有太好的虚拟机存储可以挂载，同时请求的静态资源比较多（图片，css，js，小文件），tmpfs 是一个基于内存的文件系统，可以很好的支持文件操作，同时可以提高nginx cach 阅读全文

posted @ 2023-02-22 23:40 荣锋亮阅读(44) 评论(0) 推荐(0) 编辑

nodejs error:03000086:digital envelope routines::initialization error 问题

摘要：今天碰到的一个node 应用构建问题，记录下主要原因还是node 调整了openssl 版本解决方法降级node 版本降级到node 16 添加环境变量 export NODE_OPTIONS openssl-legacy-provider 参考资料 https://stackoverfl 阅读全文

posted @ 2023-02-22 23:25 荣锋亮阅读(1273) 评论(0) 推荐(0) 编辑

tsup 简单快速的typescript库打包工具

摘要： tsup 是一个很不错的工具，可以方便的进行typescript 应用打包以及构建，支持了灵活的资源加载处理 tsx 也是一个不错的工具，可以进行dev 模式的处理 tsup 参考配置 tsup.config.js import { defineConfig } from 'tsup' export 阅读全文

posted @ 2023-02-19 12:53 荣锋亮阅读(488) 评论(0) 推荐(0) 编辑

pgspider v0.20 之后的一些变动

摘要：很久没太关注pgspider ，发现v0.20 之后不像以前版本那样了（patch 模式），v0.20 之后包含了自己的一个pg 分支，同时端口进行了一些调整（pgspider 自己的进程名称以及端口）支持的特性多租户支持数据的修改并行处理 pushdown 参考资料 https://gi 阅读全文

posted @ 2023-02-19 12:35 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

pgspider 发布v0.3.0 了

摘要：很久没太关注pgspid了，就在最近发布了v0.3.0 不少bug fix 新特性支持pg 15.0 支持多租户表的修改支持multi tenant 命令添加性能评估函数支持 join where美剧和以及order by limit offset 等的查询下推说明同时官方也对于开源的不阅读全文

posted @ 2023-02-19 11:51 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

juicefs 1.0.3 集成 oceanbase 4.0 测试

摘要：以前我写过oceanbase ce 3.x 版本的，当时处理需要自己hack，目前测试的版本是juicefs 1.0.3 ，oceanbase ce 4.0 容器版环境说明 oceanbase ce 4.0 基于docker-compose部署，juicefs 部署在linux 以及mac 机器中阅读全文

posted @ 2023-02-16 19:42 荣锋亮阅读(78) 评论(0) 推荐(0) 编辑

dremio 24 版本一个隐藏的Vacuum功能

摘要： dremio 24 版本支持对于apache iceberg 的 Vacuum，只是这个功能官方文档没有说明，但是通过源码我们可以看处理功能开启需要通过配置支持项处理使用官方支持的命令还是比较全的，只是目前官方文档暂时还是没写整体的能力（通过测试方法看到的）参考使用 dremio 内部处阅读全文

posted @ 2023-02-14 12:56 荣锋亮阅读(43) 评论(0) 推荐(0) 编辑

zoonavigator 基于web 的zookeeper 可视化管理工具

摘要： zoonavigator 是一个面向web 的zk 可视化工具管理，很方便，对于我们学习查看dremio 对于zk 的使用比较方便比如执行节点，锁，数据源处理运行推荐基于docker docker run \ -d \ -p 9000:9000 \ -e HTTP_PORT=9000 \ -- 阅读全文

posted @ 2023-02-13 21:17 荣锋亮阅读(358) 评论(0) 推荐(0) 编辑

dremio几个rel 术语名词简单说明

摘要： dremio 实际上集成子apache drill 部分术语具有共性 Crel 结尾的实际上是原始 apache calcite RelNode Drel 结尾的是drill RelNode（drill 相关的），在dremio 中可以理解为dremio RelNode Prel 结尾的 Phy 阅读全文

posted @ 2023-02-12 21:30 荣锋亮阅读(30) 评论(0) 推荐(0) 编辑

dremio24 版本copy into from 简单说明

摘要： copy into from 是dremio 24 版本很不错的一个新功能，可以提升数据加载处理的速度（以前对于iceberg 数据的处理有insert into 以及通过ctas 模式）简单机制说明目前看到copy into from 并不象其他sql 命令基于sql SimpleDirect 阅读全文

posted @ 2023-02-12 20:04 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dremio 24 版本对于表优化的处理

摘要： dremio 24 版本开始支持表优化，主要是对于iceberg的表优化机制简单说明 dremio 认为256M 是一个很不错的优选大小，其他的认为就是过小后者过大参考图额外的能力支持基于路由的job处理，当然对于社区版是不行的，需要自己扩展一些限制一次只能运行一个任务当前不支持del 阅读全文

posted @ 2023-02-12 19:28 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

flannel 低版本glog flag redefined error 问题解决

摘要：最近在构建一个老版本的flannel的时候碰到了此问题，记录下，方便使用解决方法 glide install --strip-vendor --strip-vcs 参考资料 https://stackoverflow.com/questions/37284423/glog-flag-redefin 阅读全文

posted @ 2023-02-11 23:12 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

flannel vni 一些说明

摘要： flannel 不同版本配置部分代码的处理是不一样的，以下做一个简单的说明概述 vni 主要是进行网络隔离的，只有相同vni 的网络可以通信 flannel 最新版本的配置处理比较清晰，老版本（目前测试的0.7.1）配置分散在多处 flannel 默认只能创建一个vni，而且默认是1 v0.7.1 阅读全文

posted @ 2023-02-11 23:07 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

go: cannot find main module, but found glide.lock 问题解决

摘要：解决方法 export GO111MODULE=auto 说明此问题主要是老golang 项目构建可能会出现的，新的一般不对有此问题（都基于go mod 了）参考资料 https://github.com/golang/go/issues/31997 阅读全文

posted @ 2023-02-11 22:56 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dremio 24 新特性简单说明

摘要：新发布的dremio 24 版本包含了一些新特性，同时也一大部分是关于性能以及iceberg 支持的新特性表优化（iceberg）回滚表（iceberg） copy into 强大快速的数据集成sql 能力（支持基于外部存储的数据倒入操作，可以解决不少输入进的问题） broadcast hin 阅读全文

posted @ 2023-02-11 22:54 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

dremio 24 发布了

摘要：就在几个小时之前dremio 24 发布了，有一些新功能以及变动，有不少不错的特性，同时源码以及社区版docker镜像官方也都已经提供了，可以参考试用说明大概看了介绍还是有不少特性值得学习研究的，后边详细介绍下参考资料 https://github.com/dremio/dremio-oss/ 阅读全文

posted @ 2023-02-11 10:26 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

dnSpy 强大的dotnet 调试以及反编译编辑器

摘要： dnSpy 强大的dotnet 调试以及反编译编辑器支持的功能调试.net 以及unity 应用编辑.net 以及unity 应用轻量级以及暗黑模式反编译支持的能力所有的元数据都可以编译编辑方法以及类支持自动提示（真的很方便）其他功能也是比较强大的说明 dnSpy 是一个很不错的d 阅读全文

posted @ 2023-02-08 19:37 荣锋亮阅读(208) 评论(0) 推荐(0) 编辑

支持配置版本的flannel 服务

摘要：我已经介绍了一个修改版本的flannel （主要是0.7.1 版本的），当时是修改了一个固定版本，不方便如果我们的节点需要运行更多的flannel 服务基于配置的就比较方便了参考修改核心是支持配置，通过配置解析以及进行参数传递主要包含的文件main,go pkg/subnet/config. 阅读全文

posted @ 2023-02-07 22:33 荣锋亮阅读(69) 评论(0) 推荐(0) 编辑

编译flannel 支持VNI 扩展

摘要：实际上属于一个业务问题，有几个k8s 环境，有一个外部服务需要通过rpc 访问k8s 内部的服务，以前是通过部署了与一个环境一样的flannel 服务，可以保证外部服务与k8s pod 是可以通的，但是现在需要与另外一套环境的k8s pod 也可以通参考图问题我们实际是希望可以在vm中可以阅读全文

posted @ 2023-02-07 13:11 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

dremio DacDaemonYarnApplication 简单说明

摘要： DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义，核心是实现了标准的TwillApplication接口前边有简单说过twill 的运行，一个是通过实现TwillRunnable 接口的，还有一个就是实现TwillApplicatio 阅读全文

posted @ 2023-02-05 11:04 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

apache twill 开发参考流程

摘要：尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持参考开发流程 TwillRunnable 接口类似多线程开发，我们实现此接口的服务主要就是任务的处理 public class EchoServer imple 阅读全文

posted @ 2023-02-05 10:51 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

导航

公告