开发一个cube.js cratedb driver
摘要：核心还是参考了官方的说明以及pg，因为cratedb driver 核心就是一个关于时间处理的 核心代码 删除以下 // await client.query(`SET TIME ZONE '${this.config.storeTimezone || 'UTC'}'`); 包装处理 为了方便，自定
阅读全文
posted @ 2021-03-26 23:16
随笔分类 - 数据集成
cube.js 集成dremio
摘要：cube.js 集成dremio 是一个很不错的选择，可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发 一个参考集成方案 简单说明，cube.js 进行数据分析，dremio 进行数据湖的处理（连接+加速数据处理） 简单集成 可以基于dreami
阅读全文
posted @ 2021-02-06 20:50
cube.js 查询分页的处理
摘要：cube.js 对于查询的处理都是自动生成sql的，同样对于分页的处理也是类似的，目前官方的play ground 对于分页暂时没有可视化操作 但是查询api 是支持的 参考查询格式 cube.js 提供的 api 查询支持是支持分页处理的，包含的参数主要是limit 以及offset 参考分页处理
阅读全文
posted @ 2021-01-18 21:33
graphjin 试用
摘要：以前大概介绍过graphjin的特性，以下是一个试用 注意需要docker&&docker-compose 安装 安装 go get github.com/dosco/graphjin 创建app graphjin new app 效果 使用 注意需要注释关于resolvers 的部分（有异常） c
阅读全文
posted @ 2021-01-09 13:23
graphjin super-graph的升级版本
摘要：以前有大概介绍过super-graph 一个graphql 引擎，目前super-graph 不维护了，升级为了graphjin graphjin 更加方便灵活，支持的特性也是很多的 特性 pg，mysql8，yugabyte 复杂嵌套查询以及修改 更新的订阅 内建无限滚动 数据表结构自动学习 基于
阅读全文
posted @ 2021-01-08 22:59
vector 高性能可视化数据pipeline 平台
摘要：vector 是基于rust 编写的高性能，数据可视化平台，支持数据的聚合以及可视化 支持数据的collect，transform，route，支持logs，metrics，trace 一张参考图 参考部署模型 说明 vector 还是很轻量的，而且支持的集成模式也是很多的,同时包含了丰富的数据转换
阅读全文
posted @ 2021-01-07 18:53
salesforce 跨组织数据可见性的方案
摘要：内容来自salesforce 博客解决方案,属于work.com 的一个方案，但是并不是完整的方案，支持利用了heroku 的一些特性 参考图 参考资料 https://medium.com/salesforce-architects/multi-org-visibility-for-work-co
阅读全文
posted @ 2021-01-04 20:25
cube.js 的rest api
摘要：cube.js 同时提供了强大的rest api 支持，默认请求地址是/cubejs-api ，当然可以通过Cube.js 修改 认证授权 cube.js api 的认证授权是基于jwt 的，同时会暴露一个USER_CONTEXT 对象给数据schema 参考请求 curl -H "Authoriz
阅读全文
posted @ 2021-01-01 22:58
cube.js cache 的处理
摘要：cube.js 对于数据的cache 处理是一个很不错的亮点，同时cube.js 支持多级cache，而且支持多种模式的cache in-memory，redus，以及预聚合处理还有就是外部预聚合存储，同时cube.js 也提供了比较完备的cache 刷新策略 配置 一张参考预聚合处理图 当然以前也
阅读全文
posted @ 2021-01-01 22:57
api2html api+mustache 模式的website 生成
摘要：api2html 是基于mustache +api 模式生成website 的一个工具，还是比较强大的 项目是由devopsfaith团队开发的，但是随着目前的jamstack模式的开发，目前此 项目不在维护了，但是模式是比较值得学习的 一个参考玩法 参考资料 https://api2html.co
阅读全文
posted @ 2020-12-25 21:50
sftpgo 多功能高度可配置的sftp server
摘要：sftpgo 是一个很不错的多功能特性的sftp server 同时支持s3，webdav，gcs，本地文件系统 是一个很不错的mock server，同时也提供了强大的用户管理以及权限配置，同时源码也是很 值得学习的，有空了可以试用了 参考资料 https://github.com/drakkan
阅读全文
posted @ 2020-10-23 19:37
apache ignite docker集群运行试用
摘要：apache ignite 是一个很不错的内存计算平台 常见参考使用场景 应用缓存加速 数据集成hub 基于容器的集群环境部署 环境准备 说明为了方便基于静态ip发现的模式进行集群的搭建，关于静态ip配置，核心如下 <bean class="org.apache.ignite.spi.discove
阅读全文
posted @ 2020-10-14 19:18
cratedb 4.2 发布了
摘要：cratedb 4.2 已经发布了，从changelogs 可以看到还是有比较多的更新的，比如pg 协议更好的兼容（更好的支持bi以及数据分析工具） 同时提供了更好的pg内部结构的暴露（还是方便数据分析工具的使用），同时替换nashorn 为graalvm 的js 引擎（更好的js 特性支持） 同时
阅读全文
posted @ 2020-08-26 09:01
hazelcast-jet 开源分布式流以及批处理框架
摘要：hazelcast-jet 是hazelcast 团队开源的分布式流以及批处理框架，相比一些其他流以及批处理框架来说，只需要依赖jar包（Siddhi 也是不错的选择） 当然hazelcast-jet 同时支持流处理以及批处理，其他的一些stream 处理的平台（工具）streamsets，apac
阅读全文
posted @ 2020-07-15 15:21
pgspider clickhouse fdw v2 版本
摘要：此版本是基于clickhouse 的http 以及binary 协议更灵活高效 环境准备 dockefile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y li
阅读全文
posted @ 2020-06-11 23:27
microgateway-core 简单试用
摘要：microgateway-core 是microgateway 的一个组件，主要是基于配置以及插件处理端口转发逻辑，以下是 一个简单的学习 环境准备 nodejs 环境 yarn init -y yarn add config debug microgateway-core npm script {
阅读全文
posted @ 2020-05-30 12:29
Data liberation pattern using the Debezium engine
摘要：转自:https://medium.com/@samuel_vdc/data-liberation-pattern-using-debezium-engine-4fd32b92d826 Data liberation tries to answer; “How do you get data out
阅读全文
posted @ 2020-05-29 08:48
一些开源的数据查询语言
摘要：以下主要记录一些不错的查询语言（数据操作的，聚合处理以及单一处理） graphql 一种基于图的api 查询模式，graphql目前已经很稳定了，而且已经有好多公司在实践了，尽管不是很完美（schema stich。。）但是生态是越来越好了 参考资料：https://graphql.org/ res
阅读全文
posted @ 2020-05-21 10:33
