荣锋亮 - 博客园

ClickHouse 简单试用

摘要： ClickHouse 具有强劲的数据分析能力，同时支持标准sql 查询，内置了好多聚合参数同时可以方便的使用表函数连接不同的数据源（url，jdbc，文件目录。。。）测试使用docker安装参考项目 https://github.com/rongfengliang/clickhouse-doc 阅读全文

posted @ 2018-11-01 09:24 荣锋亮阅读(4177) 评论(0) 推荐(0) 编辑

通过torodb && hasura graphql 让mongodb 快速支持graphql api

摘要： torodb 可以方便的将mongo 数据实时同步到pg，hasura graphql 可以方便的将pg 数据暴露为graphql api，集成在一起真的很方便环境准备 docker-compose 文件 version: '2' services: graphql-engine: image: 阅读全文

posted @ 2018-10-31 10:10 荣锋亮阅读(627) 评论(0) 推荐(0) 编辑

torodb docker 运行试用

摘要： torodb 可以方便的让你迁移到pg，同时使用标准原生的sql 查询使用官方的docker-compose 进行测试环境准备 docker-compose 文件 wget https://raw.githubusercontent.com/torodb/stampede/master/main 阅读全文

posted @ 2018-10-31 09:50 荣锋亮阅读(364) 评论(0) 推荐(0) 编辑

scylladb docker 运行试用

摘要： scylladb 是兼容cassandra 的数据存储系统，从官方的性能报告，比原生的apache cassandra 有好多的提高使用docker 运行，具体的也可以参考官方文档，后边会提供docker-compose 运行的脚本步骤 seed 节点 docker run --name sc 阅读全文

posted @ 2018-10-31 09:04 荣锋亮阅读(1549) 评论(0) 推荐(0) 编辑

SQL Support and Workarounds

摘要：此文章来自官方文档，说明了，对于不支持pg 标准的sql 查询的变通方法，实际使用的时候有很大的指导意义 As Citus provides distributed functionality by extending PostgreSQL, it is compatible with Postgr 阅读全文

posted @ 2018-10-30 11:27 荣锋亮阅读(692) 评论(0) 推荐(0) 编辑

How Distributed Outer Joins on PostgreSQL with Citus Work

摘要：转自： https://docs.citusdata.com/en/v7.5/articles/outer_joins.html SQL is a very powerful language for analyzing and reporting against data. At the core 阅读全文

posted @ 2018-10-30 09:42 荣锋亮阅读(378) 评论(0) 推荐(0) 编辑

hasura 的3factor 架构结论

摘要： hasura 是一个很不错的开发团队，开发了好几款，不错的产品，最近的graphql engine 是很热的一款 graphql 引擎，同时团队提出了3factor 系统架构理论参考网站 https://3factor.app/ 原则 Realtime GraphQL Event-driven A 阅读全文

posted @ 2018-10-29 19:30 荣锋亮阅读(637) 评论(0) 推荐(0) 编辑

citus real-time 分析demo（来自官方文档）

摘要： citus 对于多租户以及实时应用的开发都是比较好的，官方也提供了demo 参考项目 https://github.com/rongfengliang/citus-hasuar-graphql 环境准备 docker-compose 文件 version: '2.1' services: graph 阅读全文

posted @ 2018-10-29 18:47 荣锋亮阅读(575) 评论(0) 推荐(0) 编辑

citus 多租户应用开发（来自官方文档）

摘要： citus 官方文档很不错，资料很全，同时包含一个多租户应用的文档，所以运行下，方便学习环境准备使用docker-compose 运行，同时集成了graphql 引擎，很方便 docker-compose 文件 version: '2.1' services: graphql-engine: i 阅读全文

posted @ 2018-10-29 13:19 荣锋亮阅读(559) 评论(0) 推荐(0) 编辑

hasura graphql-engine v1.0.0-alpha26 版本新功能试用

摘要： hasura graphql-engine v1.0.0-alpha26 已经发布了，有好多新的变动，测试使用docker 环境，同时pg 数据库使用了citus citus 是一个方便扩展的pg 数据库扩展解决方案，很不错。环境准备 docker-compose && citus docker- 阅读全文

posted @ 2018-10-27 16:22 荣锋亮阅读(406) 评论(0) 推荐(0) 编辑

hasura graphql-engine v1.0.0-alpha26 版本新功能

摘要： hasura 发布了graphql-engine v1.0.0-alpha26 版本，有一些破坏的变动，以及方便的新特性破坏性变动 order_by 从 order_by: id_asc 为 order_by:{id:asc} 特性支持聚合操作了，很方便，每一个数组关联，将会有一个 _aggre 阅读全文

posted @ 2018-10-27 15:56 荣锋亮阅读(244) 评论(0) 推荐(0) 编辑

sqlserver linux 容器运行

摘要： sqlserver linux 版本的容器大小目前已经相对比较小了，对于开发来说已经比较方便了 docker-compose 文件 version: "3" services: db: image: microsoft/mssql-server-linux:2017-latest environme 阅读全文

posted @ 2018-10-26 20:14 荣锋亮阅读(1006) 评论(0) 推荐(0) 编辑

OASGraph 转换rest api graphql 试用

摘要：创建rest api lb4 appdemo 参考提示即可安装 OASGraph git clone https://github.com/strongloop/oasgraph.git cd oasgraph npm link 或者 npm install -g oasgraph 如果提示权限问阅读全文

posted @ 2018-10-26 16:55 荣锋亮阅读(507) 评论(0) 推荐(0) 编辑

使用OASGraph 暴露rest 接口为graphql api

摘要： OASGraph 是loopback 团队开发的方便将rest api 暴露为graphql 的工具，这个也是loopback 4 的一个新特性类似的有些团队提出了binding 以及stitch 的概念，还有些团队使用swagger openapi 规范进行协议的适配以及转换， OASGraph 阅读全文

posted @ 2018-10-26 15:38 荣锋亮阅读(460) 评论(0) 推荐(0) 编辑

hasura-graphql 集成 pipelinedb 1.0.0

摘要： pipelinedb 1.0.0 已经是一个标准的pg 扩展了，同时以前的语法也有变动，但是集成进hasura-graphql 更方便了使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: db: image: dalo 阅读全文

posted @ 2018-10-26 12:43 荣锋亮阅读(362) 评论(0) 推荐(0) 编辑

PipelineDB 1.0.0 docker 运行

摘要： PipelineDB 1.0 是基于标准的pg 扩展来做的，安装也更方便了，目前还没有对应的docker 镜像所以参考timescaledb 做了一个，方便测试以及使用参考地址 https://github.com/rongfengliang/pipelinedb-docker 使用启动 do 阅读全文

posted @ 2018-10-25 19:12 荣锋亮阅读(694) 评论(0) 推荐(0) 编辑

PipelineDB 1.0.0 发布——使用标准的pg 扩展开发模型

摘要： PipelineDB 1.0.0 发布已经发布了，现在的已经成为一个标准的pg 扩展了，语法也有变动 create continous view 修改为了view，create streaem 修改为了create foreign table 比较好的是，官方的文档同时也已经变更为新的api 接口了阅读全文

posted @ 2018-10-25 18:14 荣锋亮阅读(653) 评论(0) 推荐(0) 编辑

loopback v4 特性

摘要： loopback 是一个api 服务框架，挺方便的，同时也已经演进了好几代了v4 有一些新功能的支持新特性基于typescript/es2017 开发 openapi 驱动的rest api 开发灵活方便的扩展开发支持graphql 了（graphql 说明大家已经普遍接受，认可了）参考阅读全文

posted @ 2018-10-25 11:13 荣锋亮阅读(427) 评论(0) 推荐(0) 编辑

gRPC-Web is going GA

摘要：原文： https://www.cncf.io/blog/2018/10/24/grpc-web-is-going-ga On behalf of the Cloud Native Computing Foundation, I’m excited to announce the GA releas 阅读全文

posted @ 2018-10-25 10:49 荣锋亮阅读(511) 评论(0) 推荐(0) 编辑

drill 集成开源s3 存储minio

摘要： drill 支持s3数据的查询，同时新版的通过简单配置就可以实现minio 的集成测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfengliang/p/9846899.html，minio 安装也可以使用docker minio bucket 阅读全文

posted @ 2018-10-25 08:54 荣锋亮阅读(489) 评论(0) 推荐(0) 编辑

docker 方式运行drill

摘要： drill 1.14 版本已经官方支持使用docker 直接运行可，还是比较方便的，尽管镜像有点大，但是实际测试使用还是比较方便的，实际上自己做一个也比较简单。下载镜像 docker pull drill/apache-drill:1.14.0 运行命令行模式 docker run -i -- 阅读全文

posted @ 2018-10-24 23:15 荣锋亮阅读(536) 评论(0) 推荐(0) 编辑

dns over https 简单测试(docker 运行)

摘要： dns over https 已经成为了标准了，给予我们的dns 解析添加了安全的支持测试项目使用docker && docker-compose 运行一张参考图环境准备 dnscrypt-proxy (dns 代理的) 直接下载了linux 版本，并安装依赖 https://github.c 阅读全文

posted @ 2018-10-24 16:38 荣锋亮阅读(2992) 评论(0) 推荐(0) 编辑

statik golang 静态资源嵌入二进制文件工具使用（docker 构建)

摘要：将静态资源打包进二进制文件有好多方便的地方方便客户演示代码简单加密运行方便 statik 就是一款在golang 中用的比较多，nodejs 有一款pkg （oclif 就推荐使用此工具） statik 安装 go get github.com/rakyll/statik 使用 statik 阅读全文

posted @ 2018-10-23 22:10 荣锋亮阅读(4351) 评论(2) 推荐(1) 编辑

Open-sourcing sso, the way we secure services at BuzzFeed

摘要：文章来源： https://tech.buzzfeed.com/unleashing-the-a6a1a5da39d6 说明：设计有好多地方值得借鉴，粘贴过来的排版不好 Today we are open-sourcing sso, our single-sign-on authenticatio 阅读全文

posted @ 2018-10-23 11:23 荣锋亮阅读(447) 评论(0) 推荐(0) 编辑

streamsets 3.5 的一些新功能

摘要： streamsets 3.5 有了一些新的特性以及增强，总之是越来越方便了，详细的可以查看官方说明，以下简单例举一些比较有意义的。 origins 新的pulsar 消费origin jdbc 多表消费者以及jdbc 查询消费者功能增强 salesforce 组件增强 websocket 组件增强阅读全文

posted @ 2018-10-23 09:15 荣锋亮阅读(563) 评论(0) 推荐(0) 编辑

hasura graphql-engine v1.0.0-alpha25 的几个方便功能

摘要： hasura graphql-engine 是一个很不错的graphql 引擎，但是我们的数据模型经常可能会有变动，但是以前的版本对于这些的处理，官方的方式是删除元数据，重启server，都不是很好的方式， v1.0.0-alpha25 支持了rest 以及reload metadata 的功能，阅读全文

posted @ 2018-10-22 18:23 荣锋亮阅读(205) 评论(0) 推荐(0) 编辑

dbt 包依赖简单测试

摘要： dbt 包含一个自己的包管理，可以使用git 等工具，还是很方便的，可以方便的进行代码共享，实现复用创建简单包实际上就是一个简单的dbt 项目,参考项目 https://gitlab.com/dalongrong/dbt-gitlab-demo 创建简单包 dbt init gitlab-dem 阅读全文

posted @ 2018-10-22 15:13 荣锋亮阅读(813) 评论(0) 推荐(0) 编辑

dbt seed 以及base ephemeral使用

摘要： seed 可以方便的进行数据的导入，可以方便的进行不变数据（少量）以及测试数据的导入， base 设置为 ephemeral（暂态），这个同时也是官方最佳实践的建议项目依赖的gitlab 数据可以参考https://github.com/rongfengliang/graphql-engine-g 阅读全文

posted @ 2018-10-22 10:14 荣锋亮阅读(527) 评论(0) 推荐(0) 编辑

dbt macro 说明

摘要： macro是SQL的片段，可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL，以符合DRY（不要重复自己）的工程原理。此外，共享包可以公开您可以在自己的dbt项目中使用的macro。要使用macro，macro-paths请在dbt_project.yml文件中添加配置条目。ma 阅读全文

posted @ 2018-10-21 10:30 荣锋亮阅读(362) 评论(0) 推荐(0) 编辑

构建一个dbt 数据库适配器

摘要：脚手架新的适配器首先，将odbc适配器模板复制到同一目录中的新文件。更新dbt / adapters / factory.py以将新适配器包含为类型。还要将类型添加到dbt / contracts / connection.py，并添加一个定义适配器配置文件外观的约定。实现适配器功能在适配阅读全文

posted @ 2018-10-21 10:20 荣锋亮阅读(893) 评论(0) 推荐(0) 编辑

dbt 包的构建

摘要： dbt的包是一种可以复用的代码，可以方便进行模型的共享创建一个包和普通的dbt 项目类似初始化（init） dbt init [packagename] 目录结构文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis 阅读全文

posted @ 2018-10-21 10:09 荣锋亮阅读(444) 评论(0) 推荐(0) 编辑

dbt 生产环境使用

摘要：可以使用如下方式：云主机或者普通的机器使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限？可以使用hooks 进行配置用户组以及权限说明实际上，支持任务调度的工具都是可以用来触发dbt的参考资料 https://docs.getdbt.c 阅读全文

posted @ 2018-10-21 09:48 荣锋亮阅读(430) 评论(0) 推荐(0) 编辑

来自官方的一些dbt 最佳实践

摘要：限制对原始数据的依赖性您的项目将取决于存储在数据库中的原始数据。我们建议制作所谓的“基本模型”，以最大限度地减少对原始数据表的依赖性。在此约定中，基本模型可以具有以下职责：仅选择与当前分析相关的字段以限制复杂性。以后可以随时添加更多字段。执行任何所需的类型转换。执行字段别名以将字段名称合理化阅读全文

posted @ 2018-10-21 09:42 荣锋亮阅读(1350) 评论(0) 推荐(0) 编辑

knowledge-repo 知识管理简单试用

摘要： knowledge-repo 是airbnb 开源的知识管理工具，只集成git 数据库等类型的存储安装 pip install --upgrade "knowledge-repo[all]" 基本项目创建git 项目 knowledge_repo --repo init demoapp 创建简单阅读全文

posted @ 2018-10-20 22:45 荣锋亮阅读(793) 评论(0) 推荐(0) 编辑

dbt 包管理

摘要： dbt 可以方便的支持基于git 的包管理依赖申明位置 dbt_project.yml 中的repositories 或者使用packages.yaml 格式 dbt_project.yml: repositories: - https://github.com/fishtown-analyti 阅读全文

posted @ 2018-10-20 20:28 荣锋亮阅读(469) 评论(0) 推荐(0) 编辑

dbt 的知识文档管理

摘要： dbt 支持docs的管理，可以方便进行分享，以及大家的可视化工作有一篇文档讲的特别好分析了知识共享，知识管理的重要性（dbt 对应公司的ceo） https://blog.fishtownanalytics.com/scaling-knowledge-160f9f5a9b6c?_branch_m 阅读全文

posted @ 2018-10-20 20:08 荣锋亮阅读(584) 评论(0) 推荐(0) 编辑

knowledge 开源知识管理系统

摘要： knowledge 是一个不错的知识管理系统，基于markdown 我们可以方便的进行知识的标签以及展示使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: k: image: koda/docker-knowledg 阅读全文

posted @ 2018-10-20 19:43 荣锋亮阅读(11156) 评论(0) 推荐(0) 编辑

hasura graphql server 集成gitlab

摘要：默认官方是提供了gitlab 集成的demo的，但是因为gitlab 一些版本的问题，跑起来总有问题，所以查找相关资料测试了一个可以运行的版本项目使用docker-compose 运行参考 https://github.com/Trantect/docker-compose.yamls 环境准阅读全文

posted @ 2018-10-20 10:40 荣锋亮阅读(428) 评论(0) 推荐(0) 编辑

dbt 基本试用

摘要： dbt 是一个很不错的进行etl 中的t 处理的工具，灵活简单，我们需要写的就是select 语句 dbt 帮助我们进行处理测试集成了graphql 以及使用docker 运行安装 pip install dbt 创建简单demo 使用dbt 处理 dbt init demoapp 配置prof 阅读全文

posted @ 2018-10-19 11:08 荣锋亮阅读(3120) 评论(0) 推荐(0) 编辑

dbt- 数据构建工具

摘要： dbt（数据构建工具）是一个命令行工具，只需编写select语句即可转换仓库中的数据。 dbt处理将这些select语句转换为表和视图。DBT帮助做T的ELT（提取，加载和转换）的过程-它不提取或加载数据，但它是在改造一个已经加载到你的仓库中的数据非常好。参考资料 https://docs.ge 阅读全文

posted @ 2018-10-18 11:34 荣锋亮阅读(3009) 评论(0) 推荐(0) 编辑

导航

公告