荣锋亮 - 博客园

dremio 社区版JdbcStoragePlugin 简单说明

摘要：目前来说dremio JdbcStoragePlugin 是没有开源的如果需要学习就需要通过反编译的手段，目前来说参考类图从下图可以看出jdbcstorageplugin 也是依赖storageplugin开发的，扩展了SupportsListingDatasets以及SupportsExter 阅读全文

posted @ 2022-03-03 21:12 荣锋亮阅读(98) 评论(0) 推荐(0) 编辑

dremio 社区版本scheduler 任务池加载处理机制简单说明

摘要： dremio 当前发行版本包含了已给社区版本的调度，此包的加载还是比较有意思的参考处理机制 TaskPoolInitializer start 中会进行taskpool 的创建 @Override public void start() throws Exception { final TaskP 阅读全文

posted @ 2022-03-03 00:17 荣锋亮阅读(54) 评论(0) 推荐(0) 编辑

dremio 社区版目前依赖的一些闭源包

摘要： dremio 并不是100%开源的，其中就包含一些以dremio-ce 开头的包，目前这些包是在构建阶段打包进去的但是这些包还是比较重要的，比如jdbc，es，kernel 以及scheduler 参考清单基于20.1.0 版本的 dremio-ce-elasticsearch-plugin-2 阅读全文

posted @ 2022-03-02 20:51 荣锋亮阅读(239) 评论(0) 推荐(0) 编辑

dremio 源码分析学习的几个方便工具

摘要：很多时候我们需要开发自己的dremio 扩展（jdbc arp 扩展，存储扩展，格式扩展），dremio 代码相对是比较多的学习起来还是不好弄的，但是我们可以结合一些工具简化我们代码的问题可选工具 arthas 使用此工具可以很好的了解调用链（方便对于调用链分析） jprofiler 很多时候我们阅读全文

posted @ 2022-03-02 18:18 荣锋亮阅读(221) 评论(0) 推荐(0) 编辑

dremio CTAS 以及DROP 功能简单说明

摘要： dremio 对于文件系统以及文件存储相关的是支持CTAS 以及DROP操作的，而且这个功能很好扩展可修改存储扩展接口定义从下图可以看出，对于可变存储，也是继承自StoragePlugin，只是扩展了自己的方法，包含了不少数据修改的操作，对于CTAS 以及DROP 就是基于此能力提供的 s3 阅读全文

posted @ 2022-03-02 13:15 荣锋亮阅读(100) 评论(0) 推荐(0) 编辑

dremio 社区flight 格式化扩展说明

摘要：实际上代码来自一个老项目，现在dremio 的变动还是很大的，项目是运行不起来的，但是还是很值得学习参考的开发说明 formation 是基于dremio 3.0 版本，特别老的，，此版本对于reader 以及writer的处理还是很复杂的，代码量很大，详细的可以参考代码，开发机制相对有点复杂，阅读全文

posted @ 2022-03-02 13:11 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

minio 支持移除server pool

摘要：从minio 2022-01-25 版本开始，官方就支持了一种server pool 的退役操作，主要的常见是服务器资源过了生命周期（当然对于扩容，也是可以凑合使用的，只是迁移时间可能会比较长）说明 server pool 的退役操作是永久的不能回退必须注意，后边可以测试下,很久没太关注minio 阅读全文

posted @ 2022-03-01 23:27 荣锋亮阅读(291) 评论(0) 推荐(0) 编辑

Metriql 无头bi 工具

摘要： Metriql 无头bi 工具,核心是基于dbt 的能力进行聚合处理参考图 Metriql 的玩法集成dbt 进行数据模式管理中心化管理metrics 基于rest api，bi 工具（bi 工具上复用了trino 、presto 驱动）说明 Metriql 的设计还是很巧妙的，直接利用了阅读全文

posted @ 2022-03-01 20:15 荣锋亮阅读(292) 评论(0) 推荐(0) 编辑

dremio arrow flight 协议server实现——DremioFlightProducer代码简单介绍

摘要： DremioFlightProducer 包含了dremio 关于arrow flight 实现的核心部分 FlightProducer 接口定义对于producer 的实现主要是实现 FlightProducer，包含的方法如下方法代表的意义 dremio 对于FlightProducer的实阅读全文

posted @ 2022-03-01 18:44 荣锋亮阅读(300) 评论(0) 推荐(0) 编辑

dremio arrow flight 协议实现——简单说明

摘要： dremio是一直在推广arrow flight 的，很早dremio 就已经直接支持了，以下是简单的说明下具体的参考实现 arrow flight 协议实现要求 dremio 参考集成（此图属于客户端的rpc 访问关系）代码结构 dremio 对于arrow flight 的实现是开发了一个标阅读全文

posted @ 2022-03-01 11:56 荣锋亮阅读(445) 评论(0) 推荐(0) 编辑

haproxy dataplaneapi 2.5 发布

摘要： haproxy dataplaneapi 2.5 就在几天前已经发布了，支持了不少新特性，总的来说还是稳定性提升，相对来说越来越稳定，提供官方文档也提供了一个做金融云公司的集成玩法，还是值得学习的参考资料 https://github.com/haproxytech/dataplaneapi/re 阅读全文

posted @ 2022-03-01 11:54 荣锋亮阅读(69) 评论(0) 推荐(0) 编辑

flightsql apache arrow sql 扩展

摘要： flightsql 可以极大的提示列式数据库的查询性能，目前dremio 已经支持了flight rpc 了，目前稳定版本0.7 发布官方已经包含了一些代码示例了，还是值得学习的参考玩法集成参考流程说明 dremio 同时提供了不少介绍，同时性能对比图，性能提升是很明显的，预计越来越多的sq 阅读全文

posted @ 2022-02-28 22:55 荣锋亮阅读(303) 评论(0) 推荐(0) 编辑

maven 发布test jar

摘要：很多时候我们自己开发了一个框架（比如查询引擎），框架自身测试比较复杂（依赖不少核心，而且组件比较多）同时我们也是暴露core 让别的开发者可以很好的测试，此时我们可能就需要暴露一个test jar 了（比如dremio等一些重量级的平台工具）实际上暴露test jar 以及发布test jar 的方阅读全文

posted @ 2022-02-28 21:32 荣锋亮阅读(1398) 评论(0) 推荐(0) 编辑

几款开源的maven 私服

摘要：以下整理几个开源的maven 私服，可以研究学习，内容来自 maven官方文档，而且很多轻量工具也是一个很不错的选择参考资料 https://archiva.apache.org/https://maven.apache.org/repository-management.htmlhttps:// 阅读全文

posted @ 2022-02-28 21:31 荣锋亮阅读(518) 评论(0) 推荐(0) 编辑

docker s6-overlay + containerpilot 对比

摘要：参考对比 containerpilot containerpilot 实际上也是一个init 进程管理，只是提供了更多的特性，对于进程在不同状态的处理更加完备，同时集成了consul （服务发现）同时containerpilot 使用基于配置，而且更加齐全 s6-overlay s6-overla 阅读全文

posted @ 2022-02-27 22:09 荣锋亮阅读(353) 评论(0) 推荐(0) 编辑

linux s6 docker 集成参考

摘要：基于s6-overlay 工具环境准备 Dockerfile FROM ubuntu ARG S6_OVERLAY_VERSION=3.0.0.2-2 RUN apt-get update && apt-get install -y nginx xz-utils RUN echo "daemon 阅读全文

posted @ 2022-02-27 21:17 荣锋亮阅读(432) 评论(0) 推荐(0) 编辑

linux s6 管理工具

摘要： s6 是一个管理服务进程的工具，功能还是很强大的，比如gos 就使用s6做为服务进程的管理，没有使用类似supervisor 的工具同时社区也提供了一个让容器更好支持s6 的扩展，对于希望进行容器运行多服务的场景还是值得使用的参考资料 https://github.com/skarnet/s6-l 阅读全文

posted @ 2022-02-27 20:32 荣锋亮阅读(415) 评论(0) 推荐(0) 编辑

nfs-ganesha linux 用户态文件nfs服务

摘要： nfs-ganesha 是在用户态的一个nfs 服务服务，支持nfsv3，v4，v41，v4.2协议参考架构说明从官方介绍，以及社区的活跃程度，nfs-ganesha 还是一个不错的选择参考资料 https://github.com/nfs-ganesha/nfs-ganeshahttps: 阅读全文

posted @ 2022-02-27 00:35 荣锋亮阅读(464) 评论(0) 推荐(0) 编辑

apache pinot 学习

摘要： apache pinot 是一个很不错的olap 服务，功能强大，低延迟，包含了实时以及离线处理支持的特性非常快（支持离线以及实时处理）水平扩展（基于了apache helix 框架）插件化索引，包含sorted index，bitmap index,invertes index, star 阅读全文

posted @ 2022-02-26 22:34 荣锋亮阅读(597) 评论(0) 推荐(0) 编辑

pinot jdbc 连接池工具使用说明

摘要： apache pinot 是一个很不错高性能的实时分析工具，同时提供了sql 查询能力，官方的jdbc 就是基于rest 包装的sql 查询目前的问题官方是基于sql +rest api （java client）进行的jdbc 驱动开发，对于一些不支持的特性直接会跑出异常，这些很容易造成好阅读全文

posted @ 2022-02-26 18:30 荣锋亮阅读(220) 评论(0) 推荐(0) 编辑

dremio job 处理流程参考

摘要：内容来自官方文档，可以了解dremio对于job 的处理参考图流程图说明上图还是比较有意义的，可以了解dremio内部的一些处理机制，以及状态转换，同时官方文档也包含了job的性能参数参考资料 https://docs.dremio.com/cloud/querying-data/jobs 阅读全文

posted @ 2022-02-26 14:51 荣锋亮阅读(59) 评论(0) 推荐(0) 编辑

dremio cloud 分层datasets 实践

摘要：内容来自官方文档，主要是一种玩法流程底层或者第一层，主要包含物理数据集第二层是虚拟数据集，属于一个基于上层进行了简单的数据加工处理（类型转换，字段重明），同时提供一些安全控制第三层，用户进行数据的join 以及其他昂贵操作，此层属于数据密集操作，一般会包含数据反射的添加（原始反射以及聚合反射阅读全文

posted @ 2022-02-26 14:33 荣锋亮阅读(52) 评论(0) 推荐(0) 编辑

dremio cloud 参考说明

摘要：最近dremio 官方网站调整了，ui 看着舒服多了，同时也提供了cloud的介绍参考架构从机制上与snowflake 比较类似 dremio cloud 包含的对象一个tree ，维护dremio 的基础数据以及vds，datasource 说明 dremio cloud 看着还是很强大的，阅读全文

posted @ 2022-02-26 14:21 荣锋亮阅读(59) 评论(0) 推荐(0) 编辑

dremio yarn 资源调度配置简单说明

摘要：以前简单说过一些关于yarn 运行的，对于在yarn 资源调度框架运行，dremio 需要的配置还是比较多的## 配置简单说明配置需要三大步骤，hadoop配置，dremio runtime 配置，yarn 调度资源配置，以下主要说明关于dremio 相关的协调节点 services: { co 阅读全文

posted @ 2022-02-26 11:44 荣锋亮阅读(61) 评论(0) 推荐(0) 编辑

dremio yarn 资源调度

摘要： dremio 是支持基于yarn 进行资源调度管理的，还是比较强大的参考架构部署简单说明协调节点部署在边缘，对于执行节点通过节点进行配置yarn 资源的处理，dremio 会依赖hadoop 的数据卷进行cahce 以及split 处理同时dremio 实现了watchdog 进行资源的清理（阅读全文

posted @ 2022-02-25 21:12 荣锋亮阅读(68) 评论(0) 推荐(0) 编辑

dremio 查询sql 执行参考流程

摘要：以下只列出部分关于sql 处理的调用链，方便学习以及开发自己的扩展 sql 查询流程这个是一个关于后台反射的处理过程 schema 获取的参考开发处理比如我们需要自己开发一个支持jdbc 驱动的arp 扩展，参考流程（以下几个函数是我们需要实现的）很多时候不见得就必须通过informatio 阅读全文

posted @ 2022-02-24 19:49 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

git rest api 操作代码的简单说明

摘要：对于基于rest api 进行git 操作相比使用git 自带工具实现起来考虑的东西就比较多了，codefever 目前暂时是不支持的 gogs web 操作处理（但是目前没提供rest api) 简单原理 gogs 对于web 文件编辑操作是基于了临时clone +添加文件本地提交+push 的阅读全文

posted @ 2022-02-24 13:05 荣锋亮阅读(413) 评论(0) 推荐(0) 编辑

基于golang cgi 实现一个简单的git http server

摘要：昨天基于openssh 实现了一个简单的git ssh 协议实现，现在基于git 的cgi 服务实现一个http 协议支持此方法实际上应该在好多开源git 项目系统中,直接使用了git 内置的http-backend （cgi） golang， nginx，apache，都是直接支持cgi 的阅读全文

posted @ 2022-02-23 20:12 荣锋亮阅读(444) 评论(0) 推荐(0) 编辑

几款开源git server ssh 协议forced command 参考格式

摘要： git over ssh authorized_keys 的force command 处理是比较重要也是核心的里边包含了权限处理，内部api 调用，git 上传下载处理 gitlab command="/opt/gitlab/embedded/service/gitlab-shell/bin/g 阅读全文

posted @ 2022-02-22 21:07 荣锋亮阅读(112) 评论(0) 推荐(0) 编辑

基于golang+openssh 服务实现一个简单的git over ssh 服务

摘要：昨天看了开源的codefever 以及以前简单学习过gogs，刚才学习下git over ssh 的实现机制基于openssh + golang （golang 部分参考了gogs 处理）实现了一个简单的git server （ssh 协议的）原理说明核心还是我们的openssh server 阅读全文

posted @ 2022-02-22 20:23 荣锋亮阅读(279) 评论(0) 推荐(0) 编辑

codefever git 协议处理简单说明

摘要： codefever关于git ssh 协议的处理与gitlab 的是大同小异的，都是基于了ssh 的command restriction （ forced command）当然gitlab 也支持了基于的AuthorizedKeysCommand，而且目前gitlab 也基于golang 开发了一阅读全文

posted @ 2022-02-21 23:05 荣锋亮阅读(116) 评论(0) 推荐(0) 编辑

openresty net::ERR_HTTP2_SERVER_REFUSED_STREAM 问题参考解决方法-续

摘要：主要还是今天碰到的关于nginx net::ERR_HTTP2_SERVER_REFUSED_STREAM 的问题事情的起因实际上以前应该问题是不大的，只是最近升级了openresty 到1.19.9 问题就在当前ga 版本的openresty 依赖的nginxcore 是基于1.19.9 的阅读全文

posted @ 2022-02-21 22:40 荣锋亮阅读(553) 评论(0) 推荐(0) 编辑

codefever蒲公英团队开源的git server

摘要： codefever是蒲公英团队开源的git server，核心基于php开发，同时也包含了部分基于golang 开发的工具参考运行环境准备 docker-compose 文件 version: '3' services: git: image: pgyer/codefever-community 阅读全文

posted @ 2022-02-21 21:47 荣锋亮阅读(513) 评论(0) 推荐(0) 编辑

dremio 连接gitbase

摘要： dremio 官方自带的驱动是不能直接连接gitbase的（因为使用了mariadb mysql 驱动的问题），以前我基于官方arp 开发了一个基于mysql 驱动的arp 扩展，对于doris 以及oceanbase 的支持都是比较好的，今天刚好测试了下gitbase的发现也是可以的，理论上do 阅读全文

posted @ 2022-02-21 20:03 荣锋亮阅读(49) 评论(0) 推荐(0) 编辑

openresty net::ERR_HTTP2_SERVER_REFUSED_STREAM 问题参考解决方法

摘要：实际上造成此问题的核心还是请求并发太大（实际的场景也是这样的，有一个大量的图片请求服务）环境说明一般大家部署nginx （openresty）的时候都会开启keepalive_timeout的，当前版本默认是75s，我们使用了65s 可选的优化方法禁用http2 如果搜索相关问题，会看到禁用h 阅读全文

posted @ 2022-02-21 18:22 荣锋亮阅读(1593) 评论(0) 推荐(0) 编辑

tapestry-pipeline 开源data pipeline 调度工具

摘要： tapestry-pipeline 是一个开源data pipeline 调度工具，内置的功能不少（date ingestion，tranformation，reverse ETL）参考架构说明目前来说tapestry-pipeline github start 并不是很多，但是设计还是很不错阅读全文

posted @ 2022-02-20 23:01 荣锋亮阅读(729) 评论(0) 推荐(0) 编辑

openmetadata 0.8 发布了

摘要：就在最近openmetadata 0.8 发布了，包含了不少新特性，主要涉及数据质量，访问控制策略，以及事件webhook同时也添加了新的connector 参考资料 https://docs.open-metadata.org/roadmaphttps://docs.open-metadata.o 阅读全文

posted @ 2022-02-20 14:35 荣锋亮阅读(181) 评论(0) 推荐(0) 编辑

pf4j 注入spring controller 的几种方法

摘要：核心还是基于RequestMappingHandlerMapping bean 进行controller 的创建方法一获取RequestMappingHandlerMapping bean 注册registerMapping 参考(参考伪代码) getMappingForMethod = Ref 阅读全文

posted @ 2022-02-20 14:05 荣锋亮阅读(410) 评论(0) 推荐(0) 编辑

grafana loki 2.4 简化服务部署

摘要： grafana loki 2.4 版本简化了集群部署的使用，实际上部署起来很简单了，而且系统扩容更方便了环境准备 docker-compose 文件 version: "3" networks: loki: services: read: image: grafana/loki:2.4.2 com 阅读全文

posted @ 2022-02-19 20:09 荣锋亮阅读(622) 评论(0) 推荐(0) 编辑

sbp 基于 pf4j开发的spring boot 扩展框架

摘要： sbp 是一个值得学习的，因为官方的spring 扩展不是很用，而且也有不少问题sbp 解决了不少默认spring 扩展的问题参考资料 https://github.com/hank-cp/sbp 阅读全文

posted @ 2022-02-18 22:50 荣锋亮阅读(1047) 评论(0) 推荐(0) 编辑

导航

公告