荣锋亮 - 博客园

sijms/go-ora 1.0 发布了，使用buffer提升了系统的性能

摘要：基于buffer的改进，提升了系统的查询性能，经过测试还是比较明显的对于需要使用golang 链接oracle 的话，已经是一个很不错的选择了，同时prometheus 的exporter 性能测试，提升也是很大的，可以参考https://github.com/rongfengliang/oracl 阅读全文

posted @ 2021-03-02 20:19 荣锋亮阅读(170) 评论(0) 推荐(0) 编辑

开发一个cockroachdb 的cube.js 驱动

摘要： cube.js 官方有描述关于driver 开发的说明，以下是开发一个简单的cockroachdb 驱动驱动开发说明 copy 相关项目，比如mysql 的driver 实现，命名为@cubejs-backend/-driver 不能copy changelog.md 命名驱动类以及readme. 阅读全文

posted @ 2021-02-27 22:23 荣锋亮阅读(131) 评论(0) 推荐(0) 编辑

dremio 配置文件

摘要：因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题，不然我们就需要自己配置 hosts，以下是来自官方代码仓库的一个参考配置，方便使用(注意此配置主要是核心组件的，还有其他组件自己的配置) 配置文件文件位置源码的common resources dremio-re 阅读全文

posted @ 2021-02-26 17:29 荣锋亮阅读(322) 评论(0) 推荐(0) 编辑

cratedb 将完全开源

摘要：具体可以参考cratedb 官方的一个说明，主要也和es的变更许可也有一些关系如果查看代码，或者relase 信息，也会看到2020 12 开源了企业特性，4.5 的发布会开源所有特性，到时cratedb 将会是一个完整的开源项目参考资料 https://crate.io/a/cratedb-do 阅读全文

posted @ 2021-02-26 17:28 荣锋亮阅读(250) 评论(0) 推荐(0) 编辑

jfrog 关闭开放 bintray&&jcenter&&gocenter&&chartcenter 服务

摘要：具体时间表参考链接https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/ 阅读全文

posted @ 2021-02-24 22:27 荣锋亮阅读(424) 评论(0) 推荐(0) 编辑

dremio tar 模式安装

摘要：软件包准备可以从官方文档下载准备主要是关于运行账户，推荐创建一个独立的账户配置主要是关于服务配置+内存配置+编码配置 dremio 配置 conf 目录的文件，推荐基于软链接的模式参考 sudo ln -s /opt/dremio/conf /etc/dremio 数据目录推荐配置独立阅读全文

posted @ 2021-02-24 20:37 荣锋亮阅读(236) 评论(0) 推荐(0) 编辑

dremio 部署系统要求

摘要：支持的操作系统 RHEL 以及cents 6.7+ 以及7.3+ （支持rpm以及tar）SLES 12 sp2+ （tar）ubuntu 14+ （tar）debian 7 + （tar） jdk 注意需要jdk 同时需要8 服务以及实例硬件需求 master 协调节点8核 16G内存执行节点最阅读全文

posted @ 2021-02-24 20:36 荣锋亮阅读(206) 评论(0) 推荐(0) 编辑

dremio mysql connector 对于低版本mysql 支持中文乱码问题

摘要：最近在测试dremio mysql 连接的时候发现中文乱码，经过测试发现是默认dremio 集成的mariadb 的jdbc 驱动，mariadb 对于老版本mysql 中文支持有点问题（目前测试的是mysql 5.1）解决方法:官方下载新的mariadb jdbc 驱动，放到目录为jars/3rd 阅读全文

posted @ 2021-02-24 11:51 荣锋亮阅读(195) 评论(0) 推荐(0) 编辑

dremio 自定义connector 图标

摘要： dremio 有一套自己的标准，我们基于约定就可以自己开发的图标了一些预定对于maven 项目资源文件放resources 目录图标是svg 格式的，大小为150*150 （当然无所谓大小） svg 的文件名称需要和自己定义的arp 定义metadata name 一样，推荐使用全大写参考案阅读全文

posted @ 2021-02-23 22:44 荣锋亮阅读(109) 评论(0) 推荐(0) 编辑

dremio sql server 自定义connector开发解决中文乱码问题

摘要：在通过反编译查看dremio ce 版本的jdbc 插件，发现对于sql server 的乱码是因为一个配置引起的所以以下是尝试基于官方的机制，写一个sql server 的扩展，方便集成使用项目结构 pom.xml <?xml version="1.0" encoding="UTF-8"?> 阅读全文

posted @ 2021-02-23 21:46 荣锋亮阅读(246) 评论(0) 推荐(0) 编辑

dremio sql server 查询中文的问题

摘要： dremio 对于中文的支持需要进行一些额外的配置以及处理需要的配置 dremio env 查询过滤条件的 DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcha 阅读全文

posted @ 2021-02-22 22:19 荣锋亮阅读(272) 评论(0) 推荐(0) 编辑

规避dremio数据查询限制的一些方法

摘要： dremio 对于查询的数据是有一些限制的，比如数据表字段的内容大小不能超多32k（很多时候我们使用字段存储文本内容的时候就很容易超过）以下是一些简单的解决方法 32kb 问题基于视图主要是移除数据过大的列 mongo db 参考方法(需要3.4版本) db.createView( "myde 阅读全文

posted @ 2021-02-22 21:48 荣锋亮阅读(286) 评论(0) 推荐(0) 编辑

markojs ebay开源的支持基于html+组件化web app的框架

摘要： markojs 可以使用基于html 标签的模式进行webapp开发，同时也是一个模版引擎自持stream 模式的请求处理,同时官方也提供了比较完整的生态支持（vs code plugin 方便开发）参考资料 https://tech.ebayinc.com/engineering/async- 阅读全文

posted @ 2021-02-21 20:35 荣锋亮阅读(282) 评论(0) 推荐(0) 编辑

golang 几种 filter的实现包

摘要：主要包含了bloom，cuckoo，xor filter的一些参考实现，方便学习使用参考资料 https://github.com/willf/bloom https://github.com/seiflotfy/cuckoofilter https://github.com/FastFilter 阅读全文

posted @ 2021-02-20 22:51 荣锋亮阅读(772) 评论(0) 推荐(0) 编辑

dremio 节点监控

摘要： dremio 的节点包含了执行以及协调，我们可以基于提供的prometheus metrics 进行监控，同时基于提供的jmx 也是一个不错的选择主要jmx 监控项 heap 内存以及gc 频率直接内存使用轻量级线程监控指标说明 heap 内存以及gc heap: memory.heap. 阅读全文

posted @ 2021-02-20 22:47 荣锋亮阅读(206) 评论(0) 推荐(0) 编辑

dremio 升级操作说明

摘要：以前大概说明过关于升级的操作，以下详细说明下流程备份数据，可以使用命令 backup,注意需要在master 操作下载新版本进行软连接关联注意需要使用的软连接包含了软件包，配置，以及数据目录（比较推荐使用官方建议的运行配置模式） conf 以及data 分离执行更新 upgrade 命阅读全文

posted @ 2021-02-20 22:32 荣锋亮阅读(177) 评论(0) 推荐(0) 编辑

airbyte 整体架构

摘要：内容来自官方文档，基于此图我们可以了解airbyte 的整体运行&&方便问题解决&&环境部署参考图简单说明 ui 进行配置，以及通过界面查看同步&&日志 config store 关于认证&&同步次信息存储 scheduler 存储关于调度执行情况 config api 方便ui 进行连接配置阅读全文

posted @ 2021-02-19 17:12 荣锋亮阅读(3113) 评论(0) 推荐(0) 编辑

plop 方便的micro-generator framework

摘要： plop是一个micro-generator framework，可以用来方便的生成代码参考使用安装 pacakge.json { "name": "appdemo", "version": "1.0.0", "main": "index.js", "license": "MIT", "depe 阅读全文

posted @ 2021-02-19 12:25 荣锋亮阅读(127) 评论(0) 推荐(0) 编辑

jsdelivr 工作原理

摘要：来自官方的文章，主要记录下设计参考资料 https://www.jsdelivr.com/network/infographic 阅读全文

posted @ 2021-02-19 09:27 荣锋亮阅读(258) 评论(0) 推荐(0) 编辑

集成unpkg npm包发布说明

摘要：主要在发布npm包的时候遵循了unpkg的要去，那么我们就能利用unpkg 灵活强大的npm 访问能力了以下是一个简单的说明参考流程使用umd 格式（浏览器以及node 都能使用的）添加 umd （或者dist）目录，同时添加gitignore 构建生成umd 格式（webpack,parce 阅读全文

posted @ 2021-02-18 15:44 荣锋亮阅读(1114) 评论(0) 推荐(0) 编辑

unpkg +verdaccio+ webpack 联邦实现多版本控制

摘要：参考了jherr 的webpack 联邦多版本，基于unpkg 以及verdaccio实现一个私有版本的测试环境环境准备 docker-compose version: "3" services: unpkg: image: dalongrong/unpkg:http-env environmen 阅读全文

posted @ 2021-02-18 14:58 荣锋亮阅读(536) 评论(0) 推荐(0) 编辑

unpkg docker 镜像

摘要：目的很简单，因为unpkg 的一些设计上可以解决我们web 开发中多版本的问题，而且unpkg 是开源的，所以自己制作一个docker 镜像方便使用构建 clone 代码 git clone https://github.com/mjackson/unpkg.git 修改代码主要是去掉关于cl 阅读全文

posted @ 2021-02-17 23:14 荣锋亮阅读(719) 评论(0) 推荐(0) 编辑

degit 简单项目脚手架工具

摘要： degit 是一个简单的利用了github 的项目脚手架工具（当然也支持其他git repo ），使用简单支持基于cli 以及代码模式的使用参考使用安装 npm install -g degit 使用 npx degit https://github.com/rongfengliang/dre 阅读全文

posted @ 2021-02-17 11:16 荣锋亮阅读(4393) 评论(0) 推荐(0) 编辑

dremio prometheus监控

摘要： dremio 提供了基于prometheus 的监控，同时也提供了opentracing 的支持（缺少文档说明）对于prometheus 的支持也是需要进行编译的编译扩展 clone 代码 git clone https://github.com/dremio-hub/dremio-promet 阅读全文

posted @ 2021-02-16 22:22 荣锋亮阅读(267) 评论(0) 推荐(0) 编辑

java 几个不错的编译器

摘要： janino以及javacc是不错的选择，都是好多框架的选择 janino 参考使用 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi 阅读全文

posted @ 2021-02-16 21:37 荣锋亮阅读(2748) 评论(0) 推荐(0) 编辑

blitz 全栈react 框架

摘要： blitz是一个全栈的基于next.js 开发的react 框架支持的特性基于next.js 扩展不需要开发客户端渲染api 同时支持客户端以及服务器端渲染 typescript 支持 react 并行模式支持 orm 支持（prisma 2） cli 支持 graphql 支持内置安全 r 阅读全文

posted @ 2021-02-16 12:13 荣锋亮阅读(445) 评论(0) 推荐(0) 编辑

discourse一个docker-compose 配置

摘要： bitnami 提供的一个docker-compose 运行文件，还是很方便的，直接可以拿来使用 docker-compose 文件 version: '2' services: postgresql: image: 'docker.io/bitnami/postgresql:11-debian-1 阅读全文

posted @ 2021-02-15 12:01 荣锋亮阅读(367) 评论(0) 推荐(0) 编辑

使用discourse 作为社区工具

摘要： discourse 是一个开源的社区沟通平台，开源，免费，目前好多国外的社区也都基于此构建了是一个不错的工具参考部署可以参考以下连接，使用docker 部署https://github.com/discourse/discourse/blob/master/docs/INSTALL-cloud. 阅读全文

posted @ 2021-02-15 10:52 荣锋亮阅读(429) 评论(0) 推荐(0) 编辑

dremio schema 更新的问题

摘要：默认dremio 对于添加的数据源进行cache，而且缓存的时间比较长，对于经常变动的数据源就有点不是很方便了，但是我么可以通过替他模式解决调整元数据刷新频率如下图调用sql 操作更新可以使用forget 模式，参考连接，但是没尝试过参考资料 https://docs.dremio.com 阅读全文

posted @ 2021-02-15 10:45 荣锋亮阅读(150) 评论(0) 推荐(0) 编辑

go-mysql-server 新版本发布

摘要： go-mysql-server 是在原有的基础上进行可增强，2021 q1版本实现了好多新的特性如果结合以前的版本，triger 是一个很不错的特性，优化点也是很多的，很值得学习下同时记得以前有写过与pg fdw 集成的，使用go-mysql-server或者一个基于mysql 的db 引擎，实阅读全文

posted @ 2021-02-14 23:03 荣锋亮阅读(307) 评论(0) 推荐(0) 编辑

开发一个dremio user_agent 解析函数

摘要：参考apache drill 实现一个user_agent 解析的函数项目结构 maven 项目结构 ├── pom.xml ├── src │ ├── main │ │ ├── java │ │ │ ├── com │ │ │ │ └── dalong │ │ │ │ └── udf │ │ │ 阅读全文

posted @ 2021-02-14 11:35 荣锋亮阅读(294) 评论(0) 推荐(0) 编辑

java 几个不错的user_agent 解析工具包

摘要：最近在学习dremio，需要开发一个user agent 的函数，所以整理了一些user agent 解析的包，方便使用net.sf.uadetector,nl.basjes.parse.useragent 参考资料 http://uadetector.sourceforge.net/usage.h 阅读全文

posted @ 2021-02-13 23:29 荣锋亮阅读(1791) 评论(0) 推荐(0) 编辑

几个开源的clickstream 分析工具

摘要：以下整理一些开源的分析工具，主要记录下 divolte 基于kafka, hadoop 的实现 matomo 以前是piwiki Open-Web-Analytics analytics Countly 参考资料 https://divolte.io/https://github.com/divol 阅读全文

posted @ 2021-02-12 22:36 荣锋亮阅读(401) 评论(0) 推荐(0) 编辑

partiql 学习一试用

摘要： partiql 官方提供了一个repl 实现，我们可以用来体验下载 https://github.com/partiql/partiql-lang-kotlin/releases 运行启动 ./partiql 基本查询 select * from [1,3,4,5] 加载测试数据 ./parti 阅读全文

posted @ 2021-02-12 21:17 荣锋亮阅读(251) 评论(0) 推荐(0) 编辑

partiql 亚马逊开源的基于sql 的查询语言

摘要： partiql 的目的是基于sql 可以进行各类数据的查询操作，类似的也有 apache calcite当然从功能上来说，partiql目的是支持嵌套数据查查询支持，同时数据存储实现无关的特性功能说明参考实现架构说明从以上官方的参考架构中可以看到与apache calcite还是有区别的，c 阅读全文

posted @ 2021-02-12 20:55 荣锋亮阅读(271) 评论(0) 推荐(0) 编辑

cube.js 最新版本的一些特性

摘要：一个特别好的特性就是security context 可以在playground 中使用了，当然dashboard 代码的自动生成也有了越来越多框架的支持了参考效果参考资料 https://github.com/cube-js/cube.js/releases 阅读全文

posted @ 2021-02-12 13:29 荣锋亮阅读(100) 评论(0) 推荐(0) 编辑

astronomer 企业级的airflow 框架

摘要： airflow 是一个很不错的workflow 调度工具，但是实际使用还是有一些问题的。astronomer 基于airflow 做了一些扩展，可以实现airflow安全，产品级，可靠以及可扩展一些说明 astronomer 也是基于开源的组件做了一些包装，比如graphql的，helm，ngin 阅读全文

posted @ 2021-02-12 13:20 荣锋亮阅读(402) 评论(0) 推荐(0) 编辑

neodash 构建neo4j dashboard 的工具

摘要： neodash 方便构建基于ne4j dashboard 的工具包含的特性实时图表直支持（table，图，bar，line。。。）支持neo4j 数据类型自定义配置保存以及加载为json 格式参考效果参考资料 https://nielsdejong.nl/neo4j%20project 阅读全文

posted @ 2021-02-12 12:40 荣锋亮阅读(389) 评论(0) 推荐(0) 编辑

开发自定义的dremio 函数

摘要： dremio 自定义函数的开发与drill 模式是一样的，以下是一个简单demo 预备 dremio 一些核心的功能都是在 dremio-sabot-kernel 中的，可以看看源码还是比较有用的项目结构项目主要是创建一个uuid 的函数项目结构 ├── pom.xml ├── src │ ├ 阅读全文

posted @ 2021-02-11 23:11 荣锋亮阅读(385) 评论(0) 推荐(1) 编辑

dremio sql 操作

摘要：主要介绍关于创建相关的操作（比如table，反射，虚拟表） create table 注意并不是所有存储都是支持，一般文件系统相关的会有支持（比如s3,hdfs）,同时也包含了一个隐藏的$scratch 目录参考命令注意需要开启CTAS 以及DROP 选项（文件系统的） CREATE TABLE 阅读全文

posted @ 2021-02-11 16:15 荣锋亮阅读(486) 评论(0) 推荐(0) 编辑

导航

公告