02 2021 档案

开发一个cockroachdb 的cube.js 驱动
摘要：cube.js 官方有描述关于driver 开发的说明，以下是开发一个简单的cockroachdb 驱动 驱动开发说明 copy 相关项目，比如mysql 的driver 实现，命名为@cubejs-backend/-driver 不能copy changelog.md 命名驱动类以及readme. 阅读全文

posted @ 2021-02-27 22:23 荣锋亮 阅读(131) 评论(0) 推荐(0) 编辑

dremio 配置文件
摘要：因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题，不然我们就需要自己配置 hosts，以下是来自官方代码仓库的一个参考配置，方便使用(注意此配置主要是核心组件的，还有其他组件自己的配置) 配置文件 文件位置 源码的common resources dremio-re 阅读全文

posted @ 2021-02-26 17:29 荣锋亮 阅读(328) 评论(0) 推荐(0) 编辑

cratedb 将完全开源
摘要：具体可以参考cratedb 官方的一个说明，主要也和es的变更许可也有一些关系如果查看代码，或者relase 信息，也会看到2020 12 开源了企业特性，4.5 的发布会开源所有特性，到时cratedb 将会是一个完整的开源项目 参考资料 https://crate.io/a/cratedb-do 阅读全文

posted @ 2021-02-26 17:28 荣锋亮 阅读(253) 评论(0) 推荐(0) 编辑

jfrog 关闭开放 bintray&&jcenter&&gocenter&&chartcenter 服务
摘要：具体时间表 参考链接https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/ 阅读全文

posted @ 2021-02-24 22:27 荣锋亮 阅读(424) 评论(0) 推荐(0) 编辑

dremio tar 模式安装
摘要：软件包准备 可以从官方文档下载 准备 主要是关于运行账户，推荐创建一个独立的账户 配置 主要是关于服务配置+内存配置+编码配置 dremio 配置 conf 目录的文件，推荐基于软链接的模式 参考 sudo ln -s /opt/dremio/conf /etc/dremio 数据目录 推荐配置独立 阅读全文

posted @ 2021-02-24 20:37 荣锋亮 阅读(238) 评论(0) 推荐(0) 编辑

dremio 部署系统要求
摘要：支持的操作系统 RHEL 以及cents 6.7+ 以及7.3+ （支持rpm以及tar）SLES 12 sp2+ （tar）ubuntu 14+ （tar）debian 7 + （tar） jdk 注意需要jdk 同时需要8 服务以及实例硬件需求 master 协调节点8核 16G内存 执行节点最 阅读全文

posted @ 2021-02-24 20:36 荣锋亮 阅读(216) 评论(0) 推荐(0) 编辑

dremio mysql connector 对于低版本mysql 支持中文乱码问题
摘要：最近在测试dremio mysql 连接的时候发现中文乱码，经过测试发现是默认dremio 集成的mariadb 的jdbc 驱动，mariadb 对于老版本mysql 中文支持有点问题（目前测试的是mysql 5.1）解决方法:官方下载新的mariadb jdbc 驱动，放到目录为jars/3rd 阅读全文

posted @ 2021-02-24 11:51 荣锋亮 阅读(199) 评论(0) 推荐(0) 编辑

dremio 自定义connector 图标
摘要：dremio 有一套自己的标准，我们基于约定就可以自己开发的图标了 一些预定 对于maven 项目资源文件放resources 目录 图标是svg 格式的，大小为150*150 （当然无所谓大小） svg 的文件名称需要和自己定义的arp 定义metadata name 一样，推荐使用全大写 参考案 阅读全文

posted @ 2021-02-23 22:44 荣锋亮 阅读(114) 评论(0) 推荐(0) 编辑

dremio sql server 自定义connector开发解决中文乱码问题
摘要：在通过反编译查看dremio ce 版本的jdbc 插件，发现对于sql server 的乱码是因为一个配置引起的 所以以下是尝试基于官方的机制，写一个sql server 的扩展，方便集成使用 项目结构 pom.xml <?xml version="1.0" encoding="UTF-8"?> 阅读全文

posted @ 2021-02-23 21:46 荣锋亮 阅读(250) 评论(0) 推荐(0) 编辑

dremio sql server 查询中文的问题
摘要：dremio 对于中文的支持需要进行一些额外的配置以及处理 需要的配置 dremio env 查询过滤条件的 DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcha 阅读全文

posted @ 2021-02-22 22:19 荣锋亮 阅读(278) 评论(0) 推荐(0) 编辑

规避dremio数据查询限制的一些方法
摘要：dremio 对于查询的数据是有一些限制的，比如数据表字段的内容大小不能超多32k（很多时候我们使用字段存储文本内容的时候就很容易超过） 以下是一些简单的解决方法 32kb 问题 基于视图 主要是移除数据过大的列 mongo db 参考方法(需要3.4版本) db.createView( "myde 阅读全文

posted @ 2021-02-22 21:48 荣锋亮 阅读(294) 评论(0) 推荐(0) 编辑

markojs ebay开源的支持基于html+组件化web app的框架
摘要：markojs 可以使用基于html 标签的模式进行webapp开发，同时也是一个模版引擎 自持stream 模式的请求处理,同时官方也提供了比较完整的生态支持（vs code plugin 方便开发） 参考资料 https://tech.ebayinc.com/engineering/async- 阅读全文

posted @ 2021-02-21 20:35 荣锋亮 阅读(284) 评论(0) 推荐(0) 编辑

golang 几种 filter的实现包
摘要：主要包含了bloom，cuckoo，xor filter的一些参考实现，方便学习使用 参考资料 https://github.com/willf/bloom https://github.com/seiflotfy/cuckoofilter https://github.com/FastFilter 阅读全文

posted @ 2021-02-20 22:51 荣锋亮 阅读(792) 评论(0) 推荐(0) 编辑

dremio 节点监控
摘要：dremio 的节点包含了执行以及协调，我们可以基于提供的prometheus metrics 进行监控，同时基于提供的jmx 也是一个 不错的选择 主要jmx 监控项 heap 内存以及gc 频率 直接内存使用 轻量级线程监控 指标说明 heap 内存以及gc heap: memory.heap. 阅读全文

posted @ 2021-02-20 22:47 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑

dremio 升级操作说明
摘要：以前大概说明过关于升级的操作，以下详细说明下 流程 备份 数据，可以使用命令 backup,注意需要在master 操作 下载新版本 进行软连接关联 注意需要使用的软连接包含了软件包，配置，以及数据目录（比较推荐使用官方建议的运行配置模式） conf 以及data 分离 执行更新 upgrade 命 阅读全文

posted @ 2021-02-20 22:32 荣锋亮 阅读(188) 评论(0) 推荐(0) 编辑

airbyte 整体架构
摘要：内容来自官方文档，基于此图我们可以了解airbyte 的整体运行&&方便问题解决&&环境部署 参考图 简单说明 ui 进行配置，以及通过界面查看同步&&日志 config store 关于认证&&同步次信息存储 scheduler 存储关于调度执行情况 config api 方便ui 进行连接配置 阅读全文

posted @ 2021-02-19 17:12 荣锋亮 阅读(3191) 评论(0) 推荐(0) 编辑

plop 方便的micro-generator framework
摘要：plop是一个micro-generator framework，可以用来方便的生成代码 参考使用 安装 pacakge.json { "name": "appdemo", "version": "1.0.0", "main": "index.js", "license": "MIT", "depe 阅读全文

posted @ 2021-02-19 12:25 荣锋亮 阅读(130) 评论(0) 推荐(0) 编辑

jsdelivr 工作原理
摘要：来自官方的文章，主要记录下设计 参考资料 https://www.jsdelivr.com/network/infographic 阅读全文

posted @ 2021-02-19 09:27 荣锋亮 阅读(262) 评论(0) 推荐(0) 编辑

集成unpkg npm包发布说明
摘要：主要在发布npm包的时候遵循了unpkg的要去，那么我们就能利用unpkg 灵活强大的npm 访问能力了以下是一个简单的说明 参考流程 使用umd 格式（浏览器以及node 都能使用的） 添加 umd （或者dist）目录，同时添加gitignore 构建生成umd 格式（webpack,parce 阅读全文

posted @ 2021-02-18 15:44 荣锋亮 阅读(1145) 评论(0) 推荐(0) 编辑

unpkg +verdaccio+ webpack 联邦实现多版本控制
摘要：参考了jherr 的webpack 联邦多版本，基于unpkg 以及verdaccio实现一个私有版本的测试环境 环境准备 docker-compose version: "3" services: unpkg: image: dalongrong/unpkg:http-env environmen 阅读全文

posted @ 2021-02-18 14:58 荣锋亮 阅读(553) 评论(0) 推荐(0) 编辑

unpkg docker 镜像
摘要：目的很简单，因为unpkg 的一些设计上可以解决我们web 开发中多版本的问题，而且unpkg 是开源的，所以 自己制作一个docker 镜像方便使用 构建 clone 代码 git clone https://github.com/mjackson/unpkg.git 修改代码 主要是去掉关于cl 阅读全文

posted @ 2021-02-17 23:14 荣锋亮 阅读(736) 评论(0) 推荐(0) 编辑

degit 简单项目脚手架工具
摘要：degit 是一个简单的利用了github 的项目脚手架工具（当然也支持其他git repo ），使用简单 支持基于cli 以及代码模式的使用 参考使用 安装 npm install -g degit 使用 npx degit https://github.com/rongfengliang/dre 阅读全文

posted @ 2021-02-17 11:16 荣锋亮 阅读(4489) 评论(0) 推荐(0) 编辑

dremio prometheus监控
摘要：dremio 提供了基于prometheus 的监控，同时也提供了opentracing 的支持（缺少文档说明） 对于prometheus 的支持也是需要进行编译的 编译扩展 clone 代码 git clone https://github.com/dremio-hub/dremio-promet 阅读全文

posted @ 2021-02-16 22:22 荣锋亮 阅读(271) 评论(0) 推荐(0) 编辑

java 几个不错的编译器
摘要：janino以及javacc是不错的选择，都是好多框架的选择 janino 参考使用 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi 阅读全文

posted @ 2021-02-16 21:37 荣锋亮 阅读(2757) 评论(0) 推荐(0) 编辑

blitz 全栈react 框架
摘要：blitz是一个全栈的基于next.js 开发的react 框架 支持的特性 基于next.js 扩展 不需要开发客户端渲染api 同时支持客户端以及服务器端渲染 typescript 支持 react 并行模式支持 orm 支持（prisma 2） cli 支持 graphql 支持 内置安全 r 阅读全文

posted @ 2021-02-16 12:13 荣锋亮 阅读(456) 评论(0) 推荐(0) 编辑

discourse一个docker-compose 配置
摘要：bitnami 提供的一个docker-compose 运行文件，还是很方便的，直接可以拿来使用 docker-compose 文件 version: '2' services: postgresql: image: 'docker.io/bitnami/postgresql:11-debian-1 阅读全文

posted @ 2021-02-15 12:01 荣锋亮 阅读(382) 评论(0) 推荐(0) 编辑

使用discourse 作为社区工具
摘要：discourse 是一个开源的社区沟通平台，开源，免费，目前好多国外的社区也都基于此构建了是一个不错的工具 参考部署 可以参考以下连接，使用docker 部署https://github.com/discourse/discourse/blob/master/docs/INSTALL-cloud. 阅读全文

posted @ 2021-02-15 10:52 荣锋亮 阅读(446) 评论(0) 推荐(0) 编辑

dremio schema 更新的问题
摘要：默认dremio 对于添加的数据源进行cache，而且缓存的时间比较长，对于经常变动的数据源就有点不是很方便了，但是我么可以通过替他模式解决 调整元数据刷新频率 如下图 调用sql 操作更新 可以使用forget 模式，参考连接，但是没尝试过 参考资料 https://docs.dremio.com 阅读全文

posted @ 2021-02-15 10:45 荣锋亮 阅读(158) 评论(0) 推荐(0) 编辑

go-mysql-server 新版本发布
摘要：go-mysql-server 是在原有的基础上进行可增强，2021 q1版本实现了好多新的特性 如果结合以前的版本，triger 是一个很不错的特性，优化点也是很多的，很值得学习下 同时记得以前有写过与pg fdw 集成的，使用go-mysql-server或者一个基于mysql 的db 引擎，实 阅读全文

posted @ 2021-02-14 23:03 荣锋亮 阅读(325) 评论(0) 推荐(0) 编辑

开发一个dremio user_agent 解析函数
摘要：参考apache drill 实现一个user_agent 解析的函数 项目结构 maven 项目结构 ├── pom.xml ├── src │ ├── main │ │ ├── java │ │ │ ├── com │ │ │ │ └── dalong │ │ │ │ └── udf │ │ │ 阅读全文

posted @ 2021-02-14 11:35 荣锋亮 阅读(299) 评论(0) 推荐(0) 编辑

java 几个不错的user_agent 解析工具包
摘要：最近在学习dremio，需要开发一个user agent 的函数，所以整理了一些user agent 解析的包，方便使用net.sf.uadetector,nl.basjes.parse.useragent 参考资料 http://uadetector.sourceforge.net/usage.h 阅读全文

posted @ 2021-02-13 23:29 荣锋亮 阅读(1886) 评论(0) 推荐(0) 编辑

几个开源的clickstream 分析工具
摘要：以下整理一些开源的分析工具，主要记录下 divolte 基于kafka, hadoop 的实现 matomo 以前是piwiki Open-Web-Analytics analytics Countly 参考资料 https://divolte.io/https://github.com/divol 阅读全文

posted @ 2021-02-12 22:36 荣锋亮 阅读(409) 评论(0) 推荐(0) 编辑

partiql 学习一 试用
摘要：partiql 官方提供了一个repl 实现，我们可以用来体验 下载 https://github.com/partiql/partiql-lang-kotlin/releases 运行 启动 ./partiql 基本查询 select * from [1,3,4,5] 加载测试数据 ./parti 阅读全文

posted @ 2021-02-12 21:17 荣锋亮 阅读(253) 评论(0) 推荐(0) 编辑

partiql 亚马逊开源的基于sql 的查询语言
摘要：partiql 的目的是基于sql 可以进行各类数据的查询操作，类似的也有 apache calcite当然从功能上来说，partiql目的是支持嵌套数据查查询支持，同时数据存储实现无关的特性 功能说明 参考实现架构 说明 从以上官方的参考架构中可以看到与apache calcite还是有区别的，c 阅读全文

posted @ 2021-02-12 20:55 荣锋亮 阅读(275) 评论(0) 推荐(0) 编辑

cube.js 最新版本的一些特性
摘要：一个特别好的特性就是security context 可以在playground 中使用了，当然dashboard 代码的自动生成也有了越来越多框架的支持了 参考效果 参考资料 https://github.com/cube-js/cube.js/releases 阅读全文

posted @ 2021-02-12 13:29 荣锋亮 阅读(101) 评论(0) 推荐(0) 编辑

astronomer 企业级的airflow 框架
摘要：airflow 是一个很不错的workflow 调度工具，但是实际使用还是有一些问题的。astronomer 基于airflow 做了一些扩展，可以实现airflow安全，产品级，可靠以及可扩展 一些说明 astronomer 也是基于开源的组件做了一些包装，比如graphql的，helm，ngin 阅读全文

posted @ 2021-02-12 13:20 荣锋亮 阅读(415) 评论(0) 推荐(0) 编辑

neodash 构建neo4j dashboard 的工具
摘要：neodash 方便构建基于ne4j dashboard 的工具 包含的特性 实时图表直支持（table，图，bar，line。。。） 支持neo4j 数据类型 自定义配置 保存以及加载为json 格式 参考效果 参考资料 https://nielsdejong.nl/neo4j%20project 阅读全文

posted @ 2021-02-12 12:40 荣锋亮 阅读(413) 评论(0) 推荐(0) 编辑

开发自定义的dremio 函数
摘要：dremio 自定义函数的开发与drill 模式是一样的，以下是一个简单demo 预备 dremio 一些核心的功能都是在 dremio-sabot-kernel 中的，可以看看源码还是比较有用的 项目结构 项目主要是创建一个uuid 的函数 项目结构 ├── pom.xml ├── src │ ├ 阅读全文

posted @ 2021-02-11 23:11 荣锋亮 阅读(394) 评论(0) 推荐(1) 编辑

dremio sql 操作
摘要：主要介绍关于创建相关的操作（比如table，反射，虚拟表） create table 注意并不是所有存储都是支持，一般文件系统相关的会有支持（比如s3,hdfs）,同时也包含了一个隐藏的$scratch 目录 参考命令 注意需要开启CTAS 以及DROP 选项（文件系统的） CREATE TABLE 阅读全文

posted @ 2021-02-11 16:15 荣锋亮 阅读(510) 评论(0) 推荐(0) 编辑

dremio 生产部署推荐硬件配置
摘要：以下内容参考自官方的一个参考文档 最低要求 执行节点&&协调节点 8 CPU, 16G 内存,4HDD 或者1SSD 生产推荐 执行节点 32+CPU，128G 内存，12+HDD， 或者3+SDD 协调节点 32+ CPU，128G内存，4HDD 或者SSD（RAID 10） 双工10G bond 阅读全文

posted @ 2021-02-11 15:00 荣锋亮 阅读(224) 评论(0) 推荐(0) 编辑

dremio 源码编译
摘要：dremio 是基于java 开发的，项目使用了maven进行包管理，以下是一个简单的源码构建 依赖 java8， maven （至少3.3.9） 构建 构建比较慢，需要等待 构建 git clone https://github.com/dremio/dremio-oss.git dremio c 阅读全文

posted @ 2021-02-11 10:06 荣锋亮 阅读(480) 评论(0) 推荐(0) 编辑

dremio 与apache drill 的一些区别
摘要：如果学习dremio 的话，会发现一些与drill 相似的地方，但是也有好多不同的地方，以下是一些区别，参考了网上以及一些自己的理解 dremio 基于apache arrow 更多的push down 能力 支持数据反射（加速数据访问） 提供了数据治理，数据审编，数据血缘，数据访问控制，数据虚拟化 阅读全文

posted @ 2021-02-10 18:21 荣锋亮 阅读(574) 评论(0) 推荐(0) 编辑

基于json lines 进行数据交换
摘要：csv 格式的是日常比较常见的数据交换格式，json lines 是另外一个基于json的，比csv 更加灵活，强大的格式 格式说明 utf-8 编码 每行都是一个json 内容（可以通过校验的） 每行会有\n 结束 说明 已经有好多数据交换工具都支持基于json lines 的数据处理，简单，包含 阅读全文

posted @ 2021-02-10 14:18 荣锋亮 阅读(342) 评论(0) 推荐(0) 编辑

使用idea 自带的工具反编译jar包
摘要：参考命令 mac 系统 java -cp "/Applications/IntelliJ IDEA.app/Contents/plugins/java-decompiler/lib/java-decompiler.jar" org.jetbrains.java.decompiler.main.dec 阅读全文

posted @ 2021-02-10 00:31 荣锋亮 阅读(2612) 评论(2) 推荐(0) 编辑

基于dremio arp sdk 开发一个cratedb 连接器
摘要：目的比较简单，就是学习下dremio 基于arp模式的连接器开发，目前我们可以看到一些官方的demo 但是还是自己尝试下，同时也记录下开发过程中踩的坑 环境准备 基于13 版本 maven 项目结构 为了方便jar 包的分发，使用了shade 扩展 ├── README.md ├── pom.xml 阅读全文

posted @ 2021-02-09 23:41 荣锋亮 阅读(370) 评论(0) 推荐(0) 编辑

maven 项目定义的repositories 不能工作可能的原因
摘要：主要原因是自己为了下载加速配置了maven settings 的加速，但是问题来了，镜像使用了* 现象 自己项目配置的repositories 不能工作了 参考配置 settings.xml 加速 <mirror> <id>nexus-tencentyun</id> <mirrorOf>*</mir 阅读全文

posted @ 2021-02-09 10:19 荣锋亮 阅读(898) 评论(0) 推荐(0) 编辑

dremio 学习七 开发arp 连接器
摘要：arp 是dremio 提供的一个高级关系下推框架，可以方便我们开发自定义的数据连接器 arp 开发流程 结构 (比drill 开发方便多了) 存储插件配置 [data source]Conf,java 插件arp yaml 定义文件 [data source].arp.yaml 说明 配置定义了， 阅读全文

posted @ 2021-02-09 00:12 荣锋亮 阅读(219) 评论(0) 推荐(0) 编辑

dremio 学习六 数据反射
摘要：数据反射的目的是进行数据的加速处理，dremio 包含了raw 模式、聚合处理，以及外部模式创建反射比较简单，可以给予rest api 的sql以及可视化UI 操作，同时官方也提供了一个比较好的实践文档 参考操作 查看查询效果 说明 以下参考资料值得看看，尤其是官方关于最佳实践的电子书 参考资料 h 阅读全文

posted @ 2021-02-08 23:20 荣锋亮 阅读(636) 评论(0) 推荐(0) 编辑

dremio 学习五 管理任务
摘要：主要是关于系统监控，集群监控，服务管理，log 管理，元数据管理，工作负载管理。。。dremio 提供了admin-cli 功能，我们可以方便的进行数据处理，具体操作可以参考一下连接但是注意不是所有特性都支持的，有些是企业特性 参考资料 https://docs.dremio.com/advance 阅读全文

posted @ 2021-02-08 11:46 荣锋亮 阅读(150) 评论(0) 推荐(0) 编辑

dremio 学习五 安装以及升级操作
摘要：dremio 的安装以及升级是我们生产使用比较重要的东西 安装 提供了基于rpm 以及tar 包的模式，rpm 的比较简单 tar 模式 需要自己创建用户 sudo groupadd -r dremio sudo useradd -r -g dremio -d /var/lib/dremio -s 阅读全文

posted @ 2021-02-08 11:36 荣锋亮 阅读(475) 评论(0) 推荐(0) 编辑

dremio 学习四 内存以及logs 配置
摘要：dremio 是基于java 开发的，对于jvm 以及系统内存的配置就很重要了 最大内存（推荐配置） 最大内容，可以方便dremio 自动基于节点类型进行heap 以及direct 内存的分配 参数 DREMIO_MAX_MEMORY_SIZE_MB=16384 同时我们可以自己配置heap 以及d 阅读全文

posted @ 2021-02-08 11:27 荣锋亮 阅读(295) 评论(0) 推荐(0) 编辑

dremio 学习四 服务配置说明
摘要：master coordinator services: { coordinator.enabled: true, coordinator.master.enabled: true, executor.enabled: false } secondary 注意不要运行元数据的命令在secondary 阅读全文

posted @ 2021-02-08 10:53 荣锋亮 阅读(211) 评论(0) 推荐(0) 编辑

dremio 学习三 ha 说明
摘要：前边我们基本了解了dremio 的组件构成，一下是关于ha 的一个说明dremio 的ha 使用了一个活动的master coordinator 以及多个备份的coordinator 包含的特点 ha 支持自动恢复操作 ha 模式使用了冷备模式 协调器的选举是通过zk 完成的 元数据存储（kvsto 阅读全文

posted @ 2021-02-08 10:52 荣锋亮 阅读(251) 评论(0) 推荐(0) 编辑

dremio 学习三 分布式存储
摘要：分布式存储主要是关于数据加速，表，job 结果还有上传以及下载的数据我们可以通过paths.dist 配置，但是需要注意需要时一样的 参考资料 https://docs.dremio.com/deployment/distributed-storage.html 阅读全文

posted @ 2021-02-08 10:51 荣锋亮 阅读(193) 评论(0) 推荐(0) 编辑

dremio 学习三 zk 说明
摘要：默认单机环境下dremio 支持嵌入式的zk，但是对于集群环境，必须要使用zk了 参考配置 services.coordinator.master.embedded-zookeeper.enabled: false zookeeper: "<host1>:2181,<host2>:2181" 一些说 阅读全文

posted @ 2021-02-08 10:50 荣锋亮 阅读(209) 评论(0) 推荐(0) 编辑

dremio 学习三 一些限制
摘要：了解dremio 的一些限制可以帮助我们更好的使用 参考表格 参考资料 https://docs.dremio.com/advanced-administration/limits.html 阅读全文

posted @ 2021-02-08 10:47 荣锋亮 阅读(238) 评论(0) 推荐(0) 编辑

dremio 学习三 元数据存储
摘要：元数据存储主要包含了用户，空间，数据几的配置，默认存在在${DREMIO_HOME}/data 目录，但是我们也可以进行配置，对于一个ha 的环境，我们需要使用nas 存储（nfs。。。） io 性能 元数据存储，提供的服务类型 用户查询&&数据反射的刷新直接回影响并行查询的个数 元数据刷新主要是d 阅读全文

posted @ 2021-02-08 10:45 荣锋亮 阅读(260) 评论(0) 推荐(0) 编辑

dremio 学习三 节点类型说明
摘要：dremio 的节点分为了多种类型 master主要进行查询计划，提供ui，rest api。。。 secondary主要是提升并行分布式查询（odbc，jdbc） executor执行查询 参考资料 https://docs.dremio.com/deployment/node-roles.htm 阅读全文

posted @ 2021-02-08 10:44 荣锋亮 阅读(193) 评论(0) 推荐(0) 编辑

dremio 学习三 集群部署说明
摘要：参考集群部署模式 组件说明 查询，主要进行rest，ui，odbc，jdbc 连接处理 coordinator 协调节点，一个或者多个，分为master 以及普通节点 executor 执行节点，进行实际的数据执行操作，理论上越多的节点越好，可以提高系统的性能 metadata storage 元数 阅读全文

posted @ 2021-02-08 09:20 荣锋亮 阅读(278) 评论(0) 推荐(0) 编辑

dremio 学习二 部署
摘要：dremio 支持多种部署模式 基于云的基于独立部署，生产环境不建议使用独立模式（推荐基于集群模式），云环境的模式就不说了，主要说明关于独立环境的部署 基本模式 可以基于docker，rpm，以及编译好的软件包 依赖 至少jdk8 参考容器运行 version: "3" services: drem 阅读全文

posted @ 2021-02-08 08:36 荣锋亮 阅读(269) 评论(0) 推荐(0) 编辑

dremio 学习一 简单了解
摘要：dremio 是一个数据湖引擎，包含以下特性 快速的查询 基于了apache arrow 进行数据查询 自服务的语义层 可以依托dremio 提供的数据虚拟服务层以及space 解决 基于灵活以及开源的技术 没有厂商技术的限制 强大join 支持 支持我们查询各种数据，同时进行join ，包含了商业 阅读全文

posted @ 2021-02-08 08:26 荣锋亮 阅读(1260) 评论(0) 推荐(0) 编辑

dremio 集群简单部署
摘要：一个简单的测试，不算是ha （ha 后边会介绍使用） 环境准备 docker-compose 文件 version: "3" services: zookeeper: image: zookeeper ports: - "2181:2181" - "8080:8080" dremio1: image 阅读全文

posted @ 2021-02-07 23:25 荣锋亮 阅读(580) 评论(0) 推荐(0) 编辑

idea 无法添加maven项目问题
摘要：常见问题，主要是项目使用了maven 的wrapper，但是idea 无法运行为maven 项目 参考异常信息 java.lang.RuntimeException: Cannot start maven service at org.jetbrains.idea.maven.server.Mave 阅读全文

posted @ 2021-02-06 23:48 荣锋亮 阅读(1953) 评论(0) 推荐(0) 编辑

maven几个加速地址配置
摘要：主要包含了阿里云，华为云以及腾讯云的镜像，profile 部分是可以不用的，使用镜像就可以了 参考配置文件 <?xml version="1.0" encoding="utf-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" 阅读全文

posted @ 2021-02-06 23:23 荣锋亮 阅读(559) 评论(0) 推荐(0) 编辑

dremio mongodb objectid 转换问题
摘要：dremio 默认将mongodb 的objectid 转换为varbinary，如果需要字符串格式的id，需要使用函数处理 参考函数 lower(to_hex("_id")) 参考效果 参考资料 https://docs.dremio.com/sql-reference/sql-functions 阅读全文

posted @ 2021-02-06 23:01 荣锋亮 阅读(287) 评论(0) 推荐(0) 编辑

cube.js 集成dremio
摘要：cube.js 集成dremio 是一个很不错的选择，可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发 一个参考集成方案 简单说明，cube.js 进行数据分析，dremio 进行数据湖的处理（连接+加速数据处理） 简单集成 可以基于dreami 阅读全文

posted @ 2021-02-06 20:50 荣锋亮 阅读(372) 评论(0) 推荐(0) 编辑

dremio 集群部署模式
摘要：主要说明关于标准集群模式 参考架构图 独立模式 自定义节点 注意ha 模式，需要依赖外部zk集群，外部共享存储，元数据共享存储（nas） 元数据存储，推荐的是告诉读写，低延迟，支持锁（nfs 推荐使用hard 模式） 外部存储，支持的模式也是比较多的，具体可以参考官方文档 参考资料 https:// 阅读全文

posted @ 2021-02-06 12:12 荣锋亮 阅读(340) 评论(0) 推荐(0) 编辑

timescaledb 2.0 ga了
摘要：timescaledb 2.0 ga了支持了好多新的特性，同时以前版本的企业特性也已经免费了。。。。 以下是一个简单的说明 早期企业特性可以免费使用了 多节点部署 持续聚合增强 支持用户自定义操作（方便自定义任务处理） 说明 好多新的特性还是应该体验下的，都是很不错的功能 参考资料 https:// 阅读全文

posted @ 2021-02-06 00:59 荣锋亮 阅读(348) 评论(0) 推荐(0) 编辑

dremio 数据湖平台
摘要：说明dremio 很多人是从drill 出来的，但是如果体验了dremio 会发现dremio 的很多设计是drill 没有的（权限管理 ，数据虚拟机化，数据湖支持。。。）但是apache drill 也是一个很不错的选择方案 支持的数据擦集成 说明 同时比较好的是cube.js 也是支持基于dre 阅读全文

posted @ 2021-02-06 00:24 荣锋亮 阅读(357) 评论(0) 推荐(0) 编辑

dremio 中文查询问题解决
摘要：核心并不是dremio的问题，而是依赖的calcite的问题 参考配置 基于docker-compose 的运行 version: "3" services: dremio: image: dremio/dremio-oss:13.0 environment: - DREMIO_JAVA_SERVE 阅读全文

posted @ 2021-02-05 23:13 荣锋亮 阅读(366) 评论(0) 推荐(0) 编辑

nodejs 几个不错的文件系统抽象包
摘要：主要是一个记录，主要的场景是可以方便进行基于文件的开发模式，同时可以灵活的使用各种后端存储（db,s3） 参考资料 https://github.com/tweedegolf/storage-abstraction https://github.com/Slynova-Org/flydrive ht 阅读全文

posted @ 2021-02-05 00:00 荣锋亮 阅读(116) 评论(0) 推荐(0) 编辑

cratedb 4.4 发布
摘要：主要是关于性能提升以及sql 兼容，同时支持了新的 scalar 以及window 函数，具体使用可以参考官方文档 参考资料 https://github.com/crate/crate/releases/tag/4.4.0 https://crate.io/docs/crate/reference 阅读全文

posted @ 2021-02-04 23:46 荣锋亮 阅读(146) 评论(0) 推荐(0) 编辑

cube.js driver&&query&& cube schema 关系&&简单说明
摘要：从术语上应该是没有直接关系的，但是实际运行的时候彼此是有依赖的 driver 主要进行 sql 的查询处理，同时进行连接管理的处理，query 进行 sql 生成的处理（创建实际需要的sql 查询），cube schema 主要是定义 cube 的规则，query 实际上也是对于schema 抽象语 阅读全文

posted @ 2021-02-04 23:13 荣锋亮 阅读(217) 评论(0) 推荐(0) 编辑

cube.js 关于oracle 集成的说明
摘要：cube.js 是支持oracle 连接的（基于官方oracle 驱动），但是有几个问题 目前cube.js 对于数据的分页是基于了oracle 12 所以对于低版本的不是很方便 官方目前还没解决，当然可以自己修改驱动支持，目前cube.js 对于详细的query 开发暂时还没有说明文档 需要依赖o 阅读全文

posted @ 2021-02-04 23:11 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

nodejs vm+ babel ast 实现类似cube.js schema 的处理能力
摘要：很简单主要是学习下cube.js 关于schema 的特殊处理了解下原理 以下部分代码参考了cube.js compiler 部分 参考项目 package.json { "name": "vm-scripts", "version": "1.0.0", "main": "index.js", "l 阅读全文

posted @ 2021-02-04 21:44 荣锋亮 阅读(197) 评论(0) 推荐(0) 编辑

cube.js 实现自定义驱动的方式
摘要：基本就是一个套路，开发可以参考官方的driver 需要提供的几个接口实现 BaseQuery BaseDriver 接口实现说明 BaseDriver 官方的说法是需要query 以及testConnection 同时release 也是比较重要的 同时推荐基于generic-pool 进行连接池的 阅读全文

posted @ 2021-02-03 20:47 荣锋亮 阅读(260) 评论(0) 推荐(0) 编辑

cube.js 对于sql 方言支持的处理
摘要：sql 方言主要是为了进行不通数据库sql 兼容的支持，一般我们是不需要做的，但是一些特殊情况下我们 可能需要自己开发sql 方言处理 参考方法 server 初始化 packages/cubejs-server-core/src/core/server.ts const options: Serv 阅读全文

posted @ 2021-02-03 20:23 荣锋亮 阅读(245) 评论(0) 推荐(0) 编辑

cube.js playground暴露的几个不错的功能
摘要：通过源码我们查看playground 提供的功能就会看到自己很不错的直接可以拿来使用的工具 主要代码在packages/cubejs-server-core/src/core/DevServer.ts 获取数据库schema 信息 代码如下，属于一个内部方法，可以基于driver获取数据库的sche 阅读全文

posted @ 2021-02-02 21:01 荣锋亮 阅读(182) 评论(0) 推荐(0) 编辑

cube.js 生产集成使用的几点说明
摘要：cube.js 官方已经提供了相关的生产部署说明，但是还是有点简单，有些还是我们需要关注解决 schema 存储问题 默认是基于文件系统存储的，可选的解决方法，扩展接口，支持基于s3的存储 几个问题 生产环境如何更新schema同时进行重编译，可以基于api进行控制（重启也是可以解决的。。。） 相关 阅读全文

posted @ 2021-02-02 20:48 荣锋亮 阅读(501) 评论(0) 推荐(0) 编辑

cube.js 上线文 filter 处理的原理
摘要：cube.js 支持基于上下文的filter 处理，核心是依赖了js 的proxy 参考filter 使用模式 cube(`demoapp`, { sql: ` SELECT * FROM transactions AS ts where ${SECURITY_CONTEXT.user_id.fil 阅读全文

posted @ 2021-02-02 20:46 荣锋亮 阅读(198) 评论(0) 推荐(0) 编辑

cube.js 上下文实践的一些说明
摘要：cube.js 提供了比较多的上下问支持，SECRUITY_CONTEXT,COMPILE_CONTEXT,FILTER_PARAMS,SQL_UTILS 但是在使用的时候可能会有好多问题，主要是原因是cube.js 对于编译的cache 以及不同context 的声明周期不一样 SECURITY_ 阅读全文

posted @ 2021-02-01 20:53 荣锋亮 阅读(219) 评论(0) 推荐(0) 编辑

导航