rongfengliang-荣锋亮

摘要：torodb 可以方便的将mongo 数据实时同步到pg，hasura graphql 可以方便的将pg 数据暴露为graphql api，集成在一起真的很方便 环境准备 docker-compose 文件 version: '2' services: graphql-engine: image: 阅读全文

摘要：torodb 可以方便的让你迁移到pg，同时使用标准原生的sql 查询 使用官方的docker-compose 进行测试 环境准备 docker-compose 文件 wget https://raw.githubusercontent.com/torodb/stampede/master/main 阅读全文

摘要：scylladb 是兼容cassandra 的数据存储系统，从官方的性能报告，比原生的apache cassandra 有好多 的提高 使用docker 运行，具体的也可以参考官方文档，后边会提供docker-compose 运行的脚本 步骤 seed 节点 docker run --name sc 阅读全文

摘要：此文章来自官方文档，说明了，对于不支持pg 标准的sql 查询的变通方法，实际使用的时候有很大的指导意义 As Citus provides distributed functionality by extending PostgreSQL, it is compatible with Postgr 阅读全文

摘要：转自： https://docs.citusdata.com/en/v7.5/articles/outer_joins.html SQL is a very powerful language for analyzing and reporting against data. At the core 阅读全文

摘要：hasura 是一个很不错的开发团队，开发了好几款，不错的产品，最近的graphql engine 是很热的一款 graphql 引擎，同时团队提出了3factor 系统架构理论 参考网站 https://3factor.app/ 原则 Realtime GraphQL Event-driven A 阅读全文

摘要：citus 对于多租户以及实时应用的开发都是比较好的，官方也提供了demo 参考项目 https://github.com/rongfengliang/citus-hasuar-graphql 环境准备 docker-compose 文件 version: '2.1' services: graph 阅读全文

摘要：citus 官方文档很不错，资料很全，同时包含一个多租户应用的文档，所以运行下，方便学习 环境准备 使用docker-compose 运行，同时集成了graphql 引擎，很方便 docker-compose 文件 version: '2.1' services: graphql-engine: i 阅读全文

摘要：hasura graphql-engine v1.0.0-alpha26 已经发布了，有好多新的变动，测试使用docker 环境，同时pg 数据库使用了citus citus 是一个方便扩展的pg 数据库扩展解决方案，很不错。 环境准备 docker-compose && citus docker- 阅读全文

摘要：hasura 发布了graphql-engine v1.0.0-alpha26 版本，有一些破坏的变动，以及方便的新特性 破坏性变动 order_by 从 order_by: id_asc 为 order_by:{id:asc} 特性 支持聚合操作了，很方便，每一个数组关联，将会有一个 _aggre 阅读全文

摘要：sqlserver linux 版本的容器大小目前已经相对比较小了，对于开发来说已经比较方便了 docker-compose 文件 version: "3" services: db: image: microsoft/mssql-server-linux:2017-latest environme 阅读全文

摘要：创建rest api lb4 appdemo 参考提示即可 安装 OASGraph git clone https://github.com/strongloop/oasgraph.git cd oasgraph npm link 或者 npm install -g oasgraph 如果提示权限问 阅读全文

摘要：OASGraph 是loopback 团队开发的方便将rest api 暴露为graphql 的工具， 这个也是loopback 4 的一个新特性类似的有些团队提出了binding 以及stitch 的概念，还有些团队使用swagger openapi 规范进行协议的适配以及转换， OASGraph 阅读全文

摘要：pipelinedb 1.0.0 已经是一个标准的pg 扩展了，同时以前的语法也有变动，但是集成进hasura-graphql 更方便了 使用docker-compose 运行 环境准备 docker-compose 文件 version: "3" services: db: image: dalo 阅读全文

摘要：PipelineDB 1.0 是基于标准的pg 扩展来做的，安装也更方便了，目前还没有对应的docker 镜像 所以参考timescaledb 做了一个，方便测试以及使用 参考地址 https://github.com/rongfengliang/pipelinedb-docker 使用 启动 do 阅读全文

摘要：PipelineDB 1.0.0 发布已经发布了，现在的已经成为一个标准的pg 扩展了，语法也有变动 create continous view 修改为了view，create streaem 修改为了create foreign table 比较好的是，官方的文档同时也已经变更为新的api 接口了 阅读全文

摘要：loopback 是一个api 服务框架，挺方便的，同时也已经演进了好几代了v4 有一些新功能的 支持 新特性 基于typescript/es2017 开发 openapi 驱动的rest api 开发 灵活方便的扩展开发 支持graphql 了（graphql 说明大家已经普遍接受，认可了） 参考 阅读全文

摘要：原文： https://www.cncf.io/blog/2018/10/24/grpc-web-is-going-ga On behalf of the Cloud Native Computing Foundation, I’m excited to announce the GA releas 阅读全文

摘要：drill 支持s3数据的查询，同时新版的通过简单配置就可以实现minio 的集成 测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfengliang/p/9846899.html，minio 安装也可以使用docker minio bucket 阅读全文

摘要：drill 1.14 版本已经官方支持使用docker 直接运行可，还是比较方便的，尽管镜像 有点大，但是实际测试使用还是比较方便的，实际上自己做一个也比较简单。 下载镜像 docker pull drill/apache-drill:1.14.0 运行 命令行模式 docker run -i -- 阅读全文

摘要：dns over https 已经成为了标准了，给予我们的dns 解析添加了安全的支持 测试项目使用docker && docker-compose 运行 一张参考图 环境准备 dnscrypt-proxy (dns 代理的) 直接下载了linux 版本，并安装依赖 https://github.c 阅读全文

摘要：将静态资源打包进二进制文件有好多方便的地方 方便客户演示 代码简单加密 运行方便 statik 就是一款在golang 中用的比较多，nodejs 有一款pkg （oclif 就推荐使用此工具） statik 安装 go get github.com/rakyll/statik 使用 statik 阅读全文

摘要：文章来源： https://tech.buzzfeed.com/unleashing-the-a6a1a5da39d6 说明： 设计有好多地方值得借鉴，粘贴过来的排版不好 Today we are open-sourcing sso, our single-sign-on authenticatio 阅读全文

摘要：streamsets 3.5 有了一些新的特性以及增强，总之是越来越方便了，详细的可以 查看官方说明，以下简单例举一些比较有意义的。 origins 新的pulsar 消费origin jdbc 多表消费者以及jdbc 查询消费者功能增强 salesforce 组件增强 websocket 组件增强 阅读全文

摘要：hasura graphql-engine 是一个很不错的graphql 引擎，但是我们的数据模型经常可能会有变动， 但是以前的版本对于这些的处理，官方的方式是删除元数据，重启server，都不是很好的方式， v1.0.0-alpha25 支持了rest 以及reload metadata 的功能， 阅读全文

摘要：dbt 包含一个自己的包管理，可以使用git 等工具，还是很方便的，可以方便的进行代码共享，实现复用 创建简单包 实际上就是一个简单的dbt 项目,参考项目 https://gitlab.com/dalongrong/dbt-gitlab-demo 创建简单包 dbt init gitlab-dem 阅读全文

摘要：seed 可以方便的进行数据的导入，可以方便的进行不变数据（少量）以及测试数据的导入， base 设置为 ephemeral（暂态），这个同时也是官方最佳实践的建议 项目依赖的gitlab 数据可以参考https://github.com/rongfengliang/graphql-engine-g 阅读全文

摘要：macro是SQL的片段，可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL，以符合DRY（不要重复自己）的工程原理。 此外，共享包可以公开您可以在自己的dbt项目中使用的macro。 要使用macro，macro-paths请在dbt_project.yml文件中添加配置条目。ma 阅读全文

摘要：脚手架新的适配器 首先，将odbc适配器模板复制到同一目录中的新文件。 更新dbt / adapters / factory.py以将新适配器包含为类型。还要将类型添加到dbt / contracts / connection.py， 并添加一个定义适配器配置文件外观的约定。 实现适配器功能 在适配 阅读全文

摘要：dbt的包是一种可以复用的代码，可以方便进行模型的共享 创建一个包 和普通的dbt 项目类似 初始化（init） dbt init [packagename] 目录结构 文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis 阅读全文

摘要：可以使用如下方式： 云主机或者普通的机器 使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限？ 可以使用hooks 进行配置用户组以及权限 说明 实际上，支持任务调度的工具都是可以用来触发dbt的 参考资料 https://docs.getdbt.c 阅读全文

摘要：限制对原始数据的依赖性 您的项目将取决于存储在数据库中的原始数据。我们建议制作所谓的“基本模型”，以最大限度地减少对原始数据表的依赖性。在此约定中，基本模型可以具有以下职责： 仅选择与当前分析相关的字段以限制复杂性。以后可以随时添加更多字段。 执行任何所需的类型转换。 执行字段别名以将字段名称合理化 阅读全文

摘要：knowledge-repo 是airbnb 开源的知识管理工具，只集成git 数据库等类型的存储 安装 pip install --upgrade "knowledge-repo[all]" 基本项目 创建git 项目 knowledge_repo --repo init demoapp 创建简单 阅读全文

摘要：dbt 可以方便的支持基于git 的包管理 依赖申明 位置 dbt_project.yml 中的repositories 或者使用packages.yaml 格式 dbt_project.yml: repositories: - https://github.com/fishtown-analyti 阅读全文

摘要：dbt 支持docs的管理，可以方便进行分享，以及大家的可视化工作 有一篇文档讲的特别好分析了知识共享，知识管理的重要性（dbt 对应公司的ceo） https://blog.fishtownanalytics.com/scaling-knowledge-160f9f5a9b6c?_branch_m 阅读全文

摘要：knowledge 是一个不错的知识管理系统，基于markdown 我们可以方便的进行知识的标签 以及展示 使用docker-compose 运行 环境准备 docker-compose 文件 version: "3" services: k: image: koda/docker-knowledg 阅读全文

摘要：默认官方是提供了gitlab 集成的demo的，但是因为gitlab 一些版本的问题， 跑起来总有问题，所以查找相关资料测试了一个可以运行的版本 项目使用docker-compose 运行 参考 https://github.com/Trantect/docker-compose.yamls 环境准 阅读全文

摘要：dbt 是一个很不错的进行etl 中的t 处理的工具，灵活简单，我们需要写的就是select 语句 dbt 帮助我们进行处理 测试集成了graphql 以及使用docker 运行 安装 pip install dbt 创建简单demo 使用dbt 处理 dbt init demoapp 配置prof 阅读全文

摘要：dbt（数据构建工具）是一个命令行工具，只需编写select语句即可转换仓库中的数据。 dbt处理将这些select语句转换为表和视图。DBT帮助做T的ELT（提取，加载和转换） 的过程-它不提取或加载数据，但它是在改造一个已经加载到你的仓库中的数据非常好。 参考资料 https://docs.ge 阅读全文

摘要：just-api 是基于配置的测试，同时支持基于jsonpath jsonschema 的数据校验， 对于数据的请求只集成hook，支持测试失败重试、测试报告、graphql api 测试。。。。 使用docker-compose 运行 项目初始化 参考项目 https://github.com/r 阅读全文

摘要：xip.io 是一个很方便的泛域名服务，类似的有一个xip.name 的开源实现 下载 go get github.com/peterhellberg/xip.name 启动 二进制包在GOPATH/bin 格式 xip.name -fqdn <FQDN> -ip <FQDN IP addredd> 阅读全文

摘要：yugabyte 集成图数据库JanusGraph,原理比较简单就是yugabyte 内置Cassandra，配置好JanusGraph 的访问就可以了。 使用docker 模式部署 创建yugabyte 集群（docker cli ） 下载部署工具 mkdir ~/yugabyte && cd ~ 阅读全文

摘要：flynn 是一个不错的开源paas 平台，基于git 以及容器技术，开发模型与 heroku 基本一样，同时构建方式就是基于heroku 的buildpacks 安装 官方文档提示说明是ubuntu 操作系统16 以及14 ，所以安装就试用ubuntu了 shell sudo bash < <(c 阅读全文

摘要：github 上有一个关于nomad up && runing 不错的项目，包含了一个tomcat 应用的部署，以及基于容器运行的网关服务 项目参考地址 https://github.com/grove-mountain/nomad-up-and-running 环境准备 安装nomad consu 阅读全文

摘要：graphql 是很方便的api 查询语言，elasticsearch 可以方便的进行全文检索的应用开发 有一个方便的npm 包graphql-compose-elasticsearch 可以进行es 的查询 测试使用docker 运行,参考代码https://github.com/rongfeng 阅读全文

摘要：git 的hook 是一个很方便的功能，我们可以使用hook 做好多处理，比如client side hook 进行 提交格式校验，server side 进行ci/cd 处理 测试使用docker-compose 运行 git server 使用gogs 环境准备 docker-compose v 阅读全文

摘要：CLIs are a fantastic way to build products. Unlike web applications, they take a small fraction of the time to build and are much more powerful. With 阅读全文

摘要：oclif 是heroku 开源的cli 开发框架，有一篇关于12 factor cli app 开发的文章很值得看看 https://medium.com/@jdxcode/12-factor-cli-apps-dd3c227a0e46 创建简单单行命令行工具 使用npx npx oclif si 阅读全文

摘要：jaeger 支持es 作为后端存储，这样对于查询、以及系统扩展是比较方便的 使用docker-compose 运行 环境准备 参考项目： https://github.com/rongfengliang/nginx-opentracing-demo docker-compose file vers 阅读全文

摘要：nginx 的日常的应用开发中占比还是比较高的，opentracing 是一个分布式追踪标准 相应是开源实现也比较多。nginx-opentracing 是一个opentracing nginx 的插件，让我们可以 方便的进行服务的性能追踪，查看服务调用依赖 例子使用官方demo，运行使用docke 阅读全文