rongfengliang-荣锋亮

摘要：主要是自己发布了一个npm包，但是发现对应版本有些问题，想删除重新publish，但是提示了必须24小时之后才能重试在看了官方文档之后发现如果unpublish 了完整的包就只能等24小时之后了，应该是为了安全考虑吧，所以发布npm还是多注意些 参考资料 https://docs.npmjs.com 阅读全文

摘要：cube.js 从0.30.69 开始提供了独立的driver 开发包，可以简化driver 的开发 目前提供的driver 定义 标准driver （数据访问）基本上driver 都是实现基础driver 接口的 cache driver 缓存处理的 比如cube store driver que 阅读全文

摘要：cube.js 去年提供了一个独立的包，方便driver 的开发，尽管oceanbase 是mysql 兼容的，但是在使用一个链接池工具的时候有些问题 所以独立包装了一个oceanbase 的driver 开发说明 基于了官方的mysql driver 对于链接池部分进行了调整，同时进行了重新命名， 阅读全文

摘要：S3StoragePlugin 核心是进行s3 的数据处理，从能力上来说主要是一个文件系统的存储插件，以前我简单介绍过关于存储扩展 的开发，一般需要包含一个存储插件配置类以及存储插件的实现（会有基于文件系统的s3，nas。。。。，基于底层基础类的jdbc 存储插件） 配置类 主要是S3PluginC 阅读全文

摘要：昨天简单说明了下基于tmpfs 的nginx proxy_cache 优化，今天整体说明下 参考图 流程说明 修改之前的 对于nginx 使用了多级处理，ingress （也是基于nignx，openresty），对于服务的ib 也是就有nginx （openresty），同时lb 也包含一部分静态 阅读全文

摘要：实际碰到的一个问题，使用的虚拟机，发现压测效果不是很好，静态资源请求有时都会存在问题（超时，加载比较慢） 但是因为实际没有太好的虚拟机存储可以挂载，同时请求的静态资源比较多（图片，css，js，小文件），tmpfs 是一个 基于内存的文件系统，可以很好的支持文件操作，同时可以提高nginx cach 阅读全文

摘要：今天碰到的一个node 应用构建问题，记录下 主要原因 还是node 调整了openssl 版本 解决方法 降级node 版本 降级到node 16 添加环境变量 export NODE_OPTIONS openssl-legacy-provider 参考资料 https://stackoverfl 阅读全文

摘要：tsup 是一个很不错的工具，可以方便的进行typescript 应用打包以及构建，支持了灵活的资源加载处理 tsx 也是一个不错的工具，可以进行dev 模式的处理 tsup 参考配置 tsup.config.js import { defineConfig } from 'tsup' export 阅读全文

摘要：很久没太关注pgspider ，发现v0.20 之后不像以前版本那样了（patch 模式），v0.20 之后 包含了自己的一个pg 分支，同时端口进行了一些调整（pgspider 自己的进程名称以及端口） 支持的特性 多租户 支持数据的修改 并行处理 pushdown 参考资料 https://gi 阅读全文

摘要：很久没太关注pgspid了，就在最近发布了v0.3.0 不少bug fix 新特性 支持pg 15.0 支持多租户表的修改 支持multi tenant 命令 添加性能评估函数 支持 join where美剧和以及order by limit offset 等的查询下推 说明 同时官方也对于开源的不 阅读全文

摘要：以前我写过oceanbase ce 3.x 版本的，当时处理需要自己hack，目前测试的版本是juicefs 1.0.3 ，oceanbase ce 4.0 容器版 环境说明 oceanbase ce 4.0 基于docker-compose部署，juicefs 部署在linux 以及mac 机器中 阅读全文

摘要：dremio 24 版本支持对于apache iceberg 的 Vacuum，只是这个功能官方文档没有说明，但是通过源码我们可以看处理 功能开启 需要通过配置支持项处理 使用 官方支持的命令还是比较全的，只是目前官方文档暂时还是没写 整体的能力（通过测试方法看到的） 参考使用 dremio 内部处 阅读全文

摘要：zoonavigator 是一个面向web 的zk 可视化工具管理，很方便，对于我们学习查看dremio 对于zk 的使用比较方便 比如执行节点，锁，数据源处理 运行 推荐基于docker docker run \ -d \ -p 9000:9000 \ -e HTTP_PORT=9000 \ -- 阅读全文

摘要：dremio 实际上集成子apache drill 部分术语具有共性 Crel 结尾的 实际上是原始 apache calcite RelNode Drel 结尾的 是drill RelNode（drill 相关的），在dremio 中可以理解为dremio RelNode Prel 结尾的 Phy 阅读全文

摘要：copy into from 是dremio 24 版本很不错的一个新功能，可以提升数据加载处理的速度（以前对于iceberg 数据的处理有insert into 以及通过ctas 模式） 简单机制说明 目前看到copy into from 并不象其他sql 命令基于sql SimpleDirect 阅读全文

摘要：dremio 24 版本开始支持表优化，主要是对于iceberg的表优化 机制简单说明 dremio 认为256M 是一个很不错的优选大小，其他的认为就是过小后者过大 参考图 额外的能力 支持基于路由的job处理，当然对于社区版是不行的，需要自己扩展 一些限制 一次只能运行一个任务 当前不支持del 阅读全文

摘要：最近在构建一个老版本的flannel的时候碰到了此问题，记录下，方便使用 解决方法 glide install --strip-vendor --strip-vcs 参考资料 https://stackoverflow.com/questions/37284423/glog-flag-redefin 阅读全文

摘要：flannel 不同版本配置部分代码的处理是不一样的，以下做一个简单的说明 概述 vni 主要是进行网络隔离的，只有相同vni 的网络可以通信 flannel 最新版本的配置处理比较清晰，老版本（目前测试的0.7.1）配置分散在多处 flannel 默认只能创建一个vni，而且默认是1 v0.7.1 阅读全文

摘要：解决方法 export GO111MODULE=auto 说明 此问题主要是老golang 项目构建可能会出现的，新的一般不对有此问题（都基于go mod 了） 参考资料 https://github.com/golang/go/issues/31997 阅读全文

摘要：新发布的dremio 24 版本包含了一些新特性，同时也一大部分是关于性能以及iceberg 支持的 新特性 表优化（iceberg） 回滚表（iceberg） copy into 强大快速的数据集成sql 能力（支持基于外部存储的数据倒入操作，可以解决不少输入进的问题） broadcast hin 阅读全文

摘要：就在几个小时之前dremio 24 发布了，有一些新功能以及变动，有不少不错的特性，同时源码以及社区版docker镜像官方也都已经提供了，可以参考试用 说明 大概看了介绍还是有不少特性值得学习研究的，后边详细介绍下 参考资料 https://github.com/dremio/dremio-oss/ 阅读全文

摘要：dnSpy 强大的dotnet 调试以及反编译编辑器 支持的功能 调试.net 以及unity 应用 编辑.net 以及unity 应用 轻量级以及暗黑模式 反编译支持的能力 所有的元数据都可以编译 编辑方法以及类支持自动提示（真的很方便） 其他功能也是比较强大的 说明 dnSpy 是一个很不错的d 阅读全文

摘要：我已经介绍了一个修改版本的flannel （主要是0.7.1 版本的），当时是修改了一个固定版本，不方便 如果我们的节点需要运行更多的flannel 服务基于配置的就比较方便了 参考修改 核心是支持配置，通过配置解析以及进行参数传递 主要包含的文件main,go pkg/subnet/config. 阅读全文

摘要：实际上属于一个业务问题，有几个k8s 环境，有一个外部服务需要通过rpc 访问k8s 内部的服务，以前是通过 部署了与一个环境一样的flannel 服务，可以保证外部服务与k8s pod 是可以通的，但是现在需要与另外一套环境 的k8s pod 也可以通 参考图 问题 我们实际是希望可以在vm中可以 阅读全文

摘要：DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义，核心是实现了标准的TwillApplication接口 前边有简单说过twill 的运行，一个是通过实现TwillRunnable 接口的，还有一个就是实现TwillApplicatio 阅读全文

摘要：尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持 参考开发流程 TwillRunnable 接口 类似多线程开发，我们实现此接口的服务主要就是任务的处理 public class EchoServer imple 阅读全文

摘要：tracetest 是基于OpenTelemetry 工具，设计上还是很有意思的，可以使用此工具进行分布式系统的测试 支持的特性 可以直接使用现有的OpenTelemetry周边工具，包含了jaeger， 以及grafana tempo 支持多种测试，比如http，grpc，以及postman 的c 阅读全文

摘要：AppBundleRunner 的作用 运行通过AppBundleGenerator 生成的jar 加载上边jar 相关依赖到类加载器中 初始化实例，并调用main 方法 同时还包含运行实例的停止 参考处理说明 类加载处理 实际上是load 方法，通过解析jar 元数据信息，同时也会进行jar 的解 阅读全文

摘要：AppBundleGenerator 的目的是方便yarn 应用的运行，dremio 自己开发了一个方便软件打包的服务，可以简化 参考处理 默认生成的jar 包名称dremio-bundle.jar public Path generateBundle() throws IOException { 阅读全文

摘要：YarnDaemon 与DremioDaemon 基本类似，都是启动dremio 服务，只是YarnDaemon 更多是关于执行器节点的运行模式与 DremioDaemon 差异比较大，DremioDaemon 就是一个long running 任务，但是YarnDaemon 实际上是一个由线程调度 阅读全文

摘要：mtools 是一个专门用来分析mongo 日志的工具基于python 编写，功能还是很强大的 包含的工具集 mlaunch 快速构建mongo 环境的工具，比较方便进行功能测试 mlogfilter 进行日志过滤的，很强大，支持的功能不少，几个比较有用的： 基于时间过滤，慢查询过滤，特定操作过滤， 阅读全文

摘要：我以前介绍过使用git+api 模式的nginx 配置管理，同时还介绍过一个基于graylog 的日志收集方案，nginx agent 是nginx 官方提供的nginx 配置以及metrics 监控解决方案 包含的特性 配置管理 nginx 以及操作系统metrics收集 nginx 通知事件 g 阅读全文