rongfengliang-荣锋亮

摘要：清华 https://mirrors.tuna.tsinghua.edu.cn/ 包含了好多仓库源，jenkins，gitlab，zabbix，openresty, postgres. docker-ce 基本主流的都包含了 中科大 http://mirrors.ustc.edu.cn/ 与清华的类 阅读全文

摘要：基于proxyquire 我们可以方便的覆盖依赖模块，方便开发测试系统，以及bug修复 使用 项目准备 package.json { "name": "proxyquire-learning", "version": "1.0.0", "main": "index.js", "license": " 阅读全文

摘要：主要是学习clinic的使用，使用的官方demo 环境准备 安装 npm install -g clinic 命令 clinic --help ​ Clinic - v5.0.0 ​ Getting started As a first step, run the clinic doctor: ​ 阅读全文

摘要：clinicjs 是一款强大的nodejs 性能分析利器，包含了多中分析维度，同时也包含了火焰图 注意clinicjs 支持的nodejs 版本为>=8.11.1,后边会有简单的学习使用 参考资料 https://clinicjs.org/documentation/ https://github. 阅读全文

摘要：Silverlight微软是不在支持了，但是又一个团队重新实现了silverlight，opensilver 基于webassembly以及blazor 等技术，没有 插件，还是比较期待能ga的 参考资料 https://www.opensilver.net/announcements/introd 阅读全文

摘要：bashible 是一个很不错的基于bash 的dsl 框架，类似ansible，但是简单使用也比较灵活，以下是集成docker 的使用 以下是一个集成openresty 的demo 集成bashible 的openresty 镜像 目的很简单，就是集成bashible到openresty 镜像中， 阅读全文

摘要：mgob 是就有golang 编写的mongodb 数据库备份工具，支持cron 调度，基于cli （mongodump,minio mc ...） 各种工具以及rest api 的模式进行 数据的备份管理，实际上我们基于webhook 的模式比如（adnanh/webhook）也是可以解决的，对于 阅读全文

摘要：以前有介绍过一个direnv 的工具，是一个比较灵活的基于golang 的环境变量管理管理（对于windows 不太好，但是可以解决） enddir 是daemontools 的python 移植版本，使用上也比较灵活，而且跨平台 安装 pip install envdir 基本使用 目录结构 ├─ 阅读全文

摘要：整理几个用的比较多的wal log 工具 wal-e 基于python 开发的，功能还是比较强大的 wal-g 可以认为是wal-e 的升级版（基于golang 开发）更强大的是还支持mysql 以及mongo wal2json wal log 转换为json postgres-decoderbuf 阅读全文

摘要：bashible 内置了一个模版系统，使用灵活，可以用来方便的生成html 页面，官方提供了一个比较完备的demo 可以学习 generating_html_from_a_template 项目结构 ├── README ├── generate.bash ├── index.html ├── in 阅读全文

摘要：bashible 是支持模块化的，以下是关于模块的试用 模块位置 说明 官方目前没有明确的关于模块位置的说明，但是如果我们使用会发现，需要和bashible的目录同级 对于使用she-bang 的需要和bashible 配置的目录同级,同时如果查看官方文档也能看到关于 bashible 的位置以及配 阅读全文

摘要：bashible 是一个方便基于shell 开发的类似ansible 的dsl 框架，可以用来方便的进行部署以及自动化 包含的特性 提升可读性 异常处理 跳过已经执行成功的任务 命令链 变量检查 依赖管理 模块化（支持模版引擎） 延迟任务执行 使用 安装 注意目前bashible.edit 有问题 阅读全文

摘要：内容来自官方的demo，主要是一个学习 环境准备 docker-compose version: "3" services: mongodb: image: mongo:3 ports: - "27017:27017" 项目初始化 yarn init -y 添加依赖 yarn add @graphq 阅读全文

摘要：前边有介绍过graphql-mesh 的基本使用，以下是一个集成web service 的简单学习 环境准备 项目初始化 yarn init -y 添加依赖 yarn add graphql @graphql-mesh/runtime @graphql-mesh/cli @graphql-mesh/ 阅读全文

摘要：前边有简单介绍多graphql-mesh 以下是一个简单的试用 环境准备 项目初始化 yarn init -y 添加依赖 yarn add graphql @graphql-mesh/runtime @graphql-mesh/cli @graphql-mesh/openapi pacakge.js 阅读全文

摘要：目前技术领域都比较喜欢各类mesh （service mesh，data mesh，network mesh）graphql-mesh 是一个新的mesh graphql 使用了graphql 的强大查询能力，可以方便我们聚合查询各类数据 openapi,grpc,soap,graphql,0dat 阅读全文

摘要：postgresql_anonymizer是比较强大的数据脱敏框架，以下是与hasura graphql-engine 集成的简单说明 使用说明 方法一 最简单的使用数据脱敏的方式是基于postgresql_anonymizer 提供的mask schema，因为对于以上的脱敏的数据是通过 视图生成 阅读全文

摘要：以下是梳理的几个不错的pg 监控工具，方便分析pg的性能问题 pg_stat_statements http://www.postgres.cn/docs/11/pgstatstatements.html pg_top https://github.com/markwkm/pg_top pg_sys 阅读全文

摘要：py-spy 是使用rust 开发的基于采样的profiler ，可以方便的用来分析python 应用的性能，同时还能生成火焰图（很强大） 以下是fastapi 的学习以及一个基于py-spy 的火焰图生成 fastapi 环境准备 推荐基于venv 安装运行 pip install fastapi 阅读全文

摘要：playwright 对于多浏览器提供了一致的统一api 访问，简化了多浏览器测试的成本，使用方便 同时官方也提供了详细的使用文档，同时也介绍了关于几个主流浏览器包装的区别，是一个比 教方便的工具 参考资料 https://github.com/microsoft/playwright 阅读全文

摘要：api 的测试是很烦人的，而且是很费事的，但是我们可以通过请求录制以及数据回放的方式解决 类似的golang 版本的goreplay 很不错 包含的特性 api 录制，以及回放 http 请求stub 同一请求不同响应的回放 说明 对于基于nondejs 开发应用的同学node-replay 是一个 阅读全文

摘要：今天有写过简单的graphqlize 基本运行，但是对于使用容器的不太方便，所以基于profile 调整了 添加容器构建参数替换 原理说明 主要是通过profile 以及mvn 的resource 插件进行代码的构建时替换datasource 的配置,对于不同的环境使用不同的配置 pom.xml < 阅读全文

摘要：graphqlize 官方文档已经很齐全了，以下是简单的试用（spring boot 项目） 项目使用mven 管理，同时包含了playgroup 以及voyager 基础环境准备 主要是pg 使用docker-compose 运行 docker-compose 文件 version: "3" se 阅读全文

摘要：graphqlize 是基于Clojure 开发的快速生成java graphql api 的库，支持pg 以及mysql 使用比较方便 graphqlize 基本玩法 添加依赖（library） 初始化resovler （配置sql 数据源） 添加graphql api endpoinnt 配置 阅读全文

摘要：mocha 是nodejs 开发中比较常用的断言库，大家如果直接安装node 的启动方式会有如下的错误 错误信息 ReferenceError: describe is not defined 解决方法 应该使用mocha 启动测试，可选的方式，全局安装mocha 或者本地安装，使用npm scri 阅读全文

摘要：我们可能会基于webdriver，cypress 进行浏览器功能的测试，但是启动还是比较慢的，处理上并不高效 一些基于snapshot 模式的也是一个不错的选择比如jest（e2e 的测试模式），zombie 是另外一个无头模式 的浏览器测试工具（我们不需要浏览器），zombie 使用mocha 测 阅读全文

摘要：Backstage 是spotify 开源的用户构建开发者门户的平台，基于typescript 开发，基于单体仓库开发模式 核心组件 frontend 与用户交互的主站点，使用一些不同的扩展构建 plugins 每个插件是一个自包含的web app，包含了几乎任何类型的内容，插件使用了通用的接口模型 阅读全文

摘要：pill 是一个小巧的为了解决静态站点，web 内容加载问题，通过拦截js 的一些事件通过执行fetch 解决问题 原理说明 拦截导航事件（链接的点击，以及历史导航） 通过fetch 加载请求 获取加收到的html 内容 替换当前页面的内容 用途 解决我们单页面应用资源加载的问题（还是希望实现动态内 阅读全文

摘要：就是一个简单的docker 镜像，后边尝试如何集成 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y cmake automake gcc a 阅读全文

摘要：timescale 是我比较喜欢的一个pg 扩展，对于时序数据的处理很强大，以下是docker 镜像的制作 老样子基于基础镜像制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && 阅读全文

摘要：perl 也算是一个小语言，但是功能很强大，以下是pgspider 集成perl的试用 以及docker基础镜像的制作，方便后期应用扩展使用 构建说明 基于源码构建，需要的配置参数./configure --with-perl docker base 镜像 FROM debian:stretch-s 阅读全文

摘要：postgresql_anonymizer 是一个灵活切强大的数据脱敏扩展，以下是一个简单的使用 环境准备 基于docker-compose 运行 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get u 阅读全文

摘要：jsonb_deep_sum 是一个很强大的jsonb 聚合扩展，可以高效的对于json数据进行sum 以及add 处理 以下是pgspider 集成的docker 构建以及使用 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

摘要：pgddl 是一个灵活方便的提炼pg 的sql ddl，功能很强大，对于我们需要查看创建ddl 的是很方便的 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get in 阅读全文

摘要：wal2json 是一个很不错的pg wal逻辑复制解码json 输出创建，以下是一个集成pgspider 的docker 镜像，可以更好的集成到 数据分析中（最好的还是作为基础镜像集成到pgspider 中，作为一个标配组件） Dockerfile FROM dalongrong/pgspider 阅读全文

摘要：前边有简单的说明过通过副本数以及修改元数据信息，移除节点保证citus 的可用性，以下是一个简单的 节点添加以及数据移动的说明 环境准备 节点需要开启逻辑复制，所以以前的基础镜像稍有调整,同时因为开启了安全认证同时使用了.pgpass docker 基础镜像 FROM dalongrong/pgsp 阅读全文

摘要：在测试Citus关于安全配置的时候，没太多注意官方文档的说明，当时自己也认为通过.pgpass 可以解决worker 账户密码的问题的 但是测试的时候没太多注意权限的问题，发现测试没通，所以就认为不行，今天仔细查看了官方文档，发现是可以的 .pgpass配置说明 hostname:port:data 阅读全文

摘要：使用citus 使用副本配置对于灾备处理是比较重要的，以下是一个简单的学习 环境准备 使用docker-compose运行 docker-compose 文件 version: "3" services: graphql-engine: image: hasura/graphql-engine:v1 阅读全文

摘要：Citus 官方的dcoker demo 使用了membership-manager 进行节点的自动发现注册以及自动移除 同时demo 官方也放在了github 中，原理很简单，以下就是一个简单的说明 代码地址 https://github.com/citusdata/membership-mana 阅读全文

摘要：以前有简单说明过pgspider 集成Citus的使用说明，但是使用上还是不太方便，所以进行了一些调整 原理说明 因为pgspider Citus docker 镜像参考自postgrres 的所以可以直接使用/docker-entrypoint-initdb.d 使用 docker-compose 阅读全文

摘要：当前企业的数据分析需求是越来越多，同时需要自助以及灵活性也越来越多，我们急需灵活同时支持多数据源快速 集成查询，以及快速可视化报表的处理，以下是集合自己的一些了解以及学习，梳理一个简单的数据分析以及数据 展示方案 整体参考架构设计 各层说明 data mesh 层 主要是使用多种pg fdw 进行数 阅读全文

摘要：citus 是一个强大的pg 扩展，我们可以方便的用来开发多租户的应用，同时cube.js 支持对于多租户的数据分析 cube.js 连接citus 这个不变，就是普通的pg 连接配置 cube.js 对于多租户的处理 我们可以通过添加查询转换处理，代码如下 比较适合schema 相同的数据模型 对 阅读全文

摘要：以前有写过比较简单的关于hasura graphql-engine 集成 citus的，以下是一个尝试，将pgspider 同时也集成起来 增强hasura graphql-engine 的大数据量以及多中数据源的并行处理能力 环境准备 pgspider citus 9.1 docker 镜像 FR 阅读全文

摘要：Citus 是一个很强大且成功的pg 扩展，以下是pgspider 集成Citus 的使用 docker镜像 FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y cm 阅读全文

摘要：termui是构建在termbox-go之上的一个跨平台的完全可自定义的终端dashboard 以及widget 库，由blessed-contrib 以及tui-rs 启发 支持的特性 几个常见用例的预制小部件 轻松创建自定义小部件 在相对网格或绝对坐标中定位小部件 键盘，鼠标和终端大小调整事件 阅读全文

摘要：pgmetrics 是基于golang 编写的一个灵活的pg性能分析cli，我们可以方便的看到关于pg 以及系统的一些metrics 使用简单，支持human，json，csv 等格式 下载 参考以下地址https://github.com/rapidloop/pgmetrics/releases 阅读全文

摘要：Kuma 0.4 发布了，基于opentracing 以及promethues ，我们可以更好的观测系统的指标了 同时grafana dashboard也已经到grafana 的marketplace 了 参考资料 https://konghq.com/blog/kuma-0-4-released- 阅读全文

摘要：yugabyte 2.1.0 发布了，更好的性能，同时好多特性也已经ga了，同时官方文档中一个很不错的是 更好的与hasura graphql engine 的集成，这个我以前有简单比较多，因为yugabyte 底层还是pg 的 源码，存储层使用了自己的，所以兼容性是很不错的（相比同类兼容pg 的） 阅读全文

摘要：pg_stat_statements 使用 启用扩展 pg 配置 shared_preload_libraries = 'pg_stat_statements' pg_stat_statements.max = 10000 pg_stat_statements.track = all 注意修改次配置 阅读全文

摘要：虚拟索引是不占用空间的，可以用来方便的进行sql 查询的性能评估，帮助我们了解查询优化的效果 hypopg 是一个pg 扩展，提供了比较方便的函数，我们可以用来评估查询，以下是pgspider 集成hypopg 的一个学习 环境准备 dockerfile 使用docker 运行，参考我的相关连接 F 阅读全文