荣锋亮 - 博客园

linux mustache bash 实现mo 做为docker容器运行动态配置工具数组的处理

摘要：前面有说过关于使用mo 工具的简单配置使用，但是实际中我们可能存在比较复杂的数据处理，比如数组，mo 可以进行数组的处理，但是在测试的过程中，一直失败，查看了官方的demo以及帮助命令发现可以通过参数 -s 引入变量文件，可以方便的注入到模版引擎中，所以通过重定向环境变量到文件，然后注入，之后删除即阅读全文

posted @ 2019-08-07 20:38 荣锋亮阅读(353) 评论(0) 推荐(0) 编辑

使用mustache 做为docker容器运行动态配置工具

摘要：很多时候我们需要在启动容器的时候基于配置文件运行，如果在配置比较简单的时候我们可以通过环境变量注入，同时当前12 factors 越来越融入大家的开发中了（对于配置通过环境变量处理），但是好多老的软件架构，或者是比较复杂的软件架构可能没有提供通过环境变量的运行方式，我们可以结合mustache 阅读全文

posted @ 2019-08-07 14:07 荣锋亮阅读(571) 评论(0) 推荐(0) 编辑

pmm 添加proxysql metrics

摘要： pmm 对于proxysql 的管理是基于metrics的进行处理的，使用的是proxysql exporter 对于proxysql exporter的添加，比较简单，我们可以通过独立的额容器运行exporter 服务 pmm 参考架构方便大家对于pmm 加深印象环境准备 docker-com 阅读全文

posted @ 2019-08-06 17:15 荣锋亮阅读(745) 评论(0) 推荐(0) 编辑

pmm docker-compose 运行试用

摘要： pmm 是一个很不错的mysql、mongo、postgresql 数据库监控平台，基于prometheus、grafana、exporter 算是一个比较完整的数据库分析平台参考架构图环境准备对于pg 以及mysql 的运行基于docker 官方镜像，添加了pmm client 包，同时为阅读全文

posted @ 2019-08-05 22:58 荣锋亮阅读(1066) 评论(0) 推荐(0) 编辑

promethues exporter+ grafana 监控pg+mysql

摘要：这篇文章本来是打算使用pmm 进行数据库监控的，但是居然参考官方文档使用docker 运行起来有点问题，所以直接改用 exporter 进行处理，但是比pmm 弱好多 pmm 的参考架构说明，以上图比较早了，实际上也可以监控mongodb，同时也是使用exporter处理的，只是pmm 基于gr 阅读全文

posted @ 2019-08-05 19:45 荣锋亮阅读(1375) 评论(0) 推荐(0) 编辑

diffy 方便的bug 以及流量测试系统

摘要： diffy 是twiiter 开源的流量以及bug 查找系统参考使用图几点说明使用diffy我们需要三个角色 candidate instance 候选实例，运行新的代码 primary instance 主实例，运行最新已知可运行的代码 secondary instance 次要运行与pri 阅读全文

posted @ 2019-08-02 16:11 荣锋亮阅读(1286) 评论(0) 推荐(0) 编辑

sql server 性能优化的几个专家工具

摘要：以下为一个方便的sql server 分析的专家工具 sp_WhoIsActive 提供了方便的文档说明参考链接 http://whoisactive.com/docs/ dba_BlockTracer 参考链接 https://blogs.msdn.microsoft.com/nikhilsi/ 阅读全文

posted @ 2019-08-02 10:33 荣锋亮阅读(783) 评论(0) 推荐(0) 编辑

prisma2 预览版

摘要： prisma2 预览版已经发布好几个版本了，同时官方的参考文档也在github 可以看到新版本的架构变动参考图说明 photon 为一个类型安全的数据库客户端（替换orm） lift 数据模型的定义已经迁移 studio admin ui 用来支持各种数据库的工作流每个组件可以独立的使用，同阅读全文

posted @ 2019-08-02 09:47 荣锋亮阅读(703) 评论(0) 推荐(0) 编辑

redisql 试用

摘要： redisql 是一个redis 模块，可以让redis 支持sql 查询，基于rust编写具有以下特性快速，每秒130k的插入使用标准sql 容易操作，基于redis，使用标准的redis 二进制文件（主要还是4.0 的的模块机制）使用简单，可以使用基于redis 的任务语言绑定 stre 阅读全文

posted @ 2019-08-01 20:08 荣锋亮阅读(2097) 评论(0) 推荐(0) 编辑

genie 来自netflix 的分布式大数据调度服务

摘要： Genie是Netflix开发的联合作业编排引擎。Genie提供REST-ful API来运行各种大数据工作，如Hadoop，Pig，Hive，Spark，Presto，Sqoop等。它还提供用于管理许多分布式处理集群的元数据以及在其上运行的命令和应用程序的API。说明官方同时也提供了docke 阅读全文

posted @ 2019-07-31 08:49 荣锋亮阅读(870) 评论(0) 推荐(0) 编辑

proxysql 学习二 admin-web 启用

摘要： proxysql 从1.4.4 开始内置了一个简单的http server，可以方便进行状态信息的查看，今天在尝试通过配置参数以及update global_variables 没有生效，set 也没有生效，后边通过直接修改proxysql sqlite 数据库成功，以下记录下 docker-c 阅读全文

posted @ 2019-07-30 16:38 荣锋亮阅读(1083) 评论(0) 推荐(0) 编辑

proxysql 学习一 proxysql docker 运行试用

摘要： proxysql 是一个比较强大的mysql proxy 服务，支持动态mysql 实例调整，查询重写，查询cache，监控，数据镜像，读写分离以及ha，最近已经发布了2.0 ，很值得试用下环境准备 docker-compose 文件 version: "3" services: mysql: 阅读全文

posted @ 2019-07-30 09:26 荣锋亮阅读(1509) 评论(0) 推荐(0) 编辑

telegraf 学习三 telegra inputs.net_response + smtp2http+ grafana 进行tcp服务状态监控

摘要：以下演示一个简单的使用telegra inputs.net_response 进行tcp 服务状态的监控，统计集成grafana 的alert 为了方便使用了一个smtp2http 的服务，对于http 的webhook 使用benthos 环境准备项目使用docker-compose 运行，配置阅读全文

posted @ 2019-07-29 14:19 荣锋亮阅读(2027) 评论(0) 推荐(0) 编辑

telegraf 学习二几个概念

摘要： telegraf 自身包好了自己处理metrics 的数据模型，以及出炉方法 metrics Telegraf指标是用于在处理期间对数据建模的内部表示。这些指标完全基于InfluxDB的数据模型，包含四个主要组件：度量名称：度量标准的描述和命名空间。标签：键/值字符串对，通常用于标识度量标准。阅读全文

posted @ 2019-07-28 10:17 荣锋亮阅读(1665) 评论(0) 推荐(0) 编辑

telegraf 学习一基本安装

摘要： telegraf 是influxdata 开发的一个插件驱动的服务器代理，可以方便的用来收集以及报告系统的metrics 我使用mac 系统，测试安装使用了brew 安装下载地址说明官方也提供了mac版本说明官方也提供了mac版本 https://github.com/influxdata/t 阅读全文

posted @ 2019-07-27 23:46 荣锋亮阅读(2367) 评论(0) 推荐(0) 编辑

nginx syslog 配置

摘要：以下是一个简单的实践，主要是打算测试nginx 与graylog 的集成，为了简单都是使用容器运行的，同时也测试了 nginx 对于配置多个access_log 的处理环境准备 docker-compose 文件 version: "3" services: log: image: openres 阅读全文

posted @ 2019-07-26 16:55 荣锋亮阅读(1773) 评论(0) 推荐(0) 编辑

通过granfana 以及prometheus 比较zulu 、oracle、openjdk 等jvm 运行

摘要：说明，此测试不完备，只是一个简单的集成，详细的需要进行jvm 参数的调整环境准备参考项目 https://github.com/rongfengliang/zulu-openjdk-openjdk-oracle-jdk 简单webapi spring boot 集成了prometheus,详细代阅读全文

posted @ 2019-07-25 20:30 荣锋亮阅读(6416) 评论(0) 推荐(1) 编辑

关于新版本cube.js 集成preosto 的一个说明

摘要：实际上cubejs cli 是可以使用的，只是官方文档对于dbtype 说明的问题使用如下命令我们可以创建prestodb 的基本项目 cubejs create -d prestodb mydemo cubejs create -d prestodb mydemo cubejs create - 阅读全文

posted @ 2019-07-24 18:40 荣锋亮阅读(895) 评论(0) 推荐(0) 编辑

cube.js 新版本试用preosto

摘要： cube.js 新的版本添加了更多的数据库的支持，但是目前cubejs-cli 以及官方文档问题还挺多，使用不清晰，文档有明显的错误以下演示presto 数据库的使用环境准备安装新版本的cubejs-cli npm install -g cubejs-cli npm install -g cu 阅读全文

posted @ 2019-07-24 16:58 荣锋亮阅读(524) 评论(0) 推荐(0) 编辑

关于redash 自定义可视化以及query runner 开发的几篇文章

摘要：以下是几篇关于如如何编码redash 自定义可视化插件以及query runner 的连接，很有借鉴价值参考连接 https://discuss.redash.io/t/how-to-create-new-visualization-types-in-redash/86/2 https://dis 阅读全文

posted @ 2019-07-24 13:43 荣锋亮阅读(1509) 评论(0) 推荐(0) 编辑

通过redash query results 数据源实现跨数据库的查询

摘要： redash 提供了一个简单的 query results 可以帮助我们进行跨数据源的查询处理底层数据的存储是基于sqlite的，期望后期有调整（毕竟处理能力有限），同时 query results 也提供了cache 的功能，可以加速数据的查询处理约定 query results 创建 que 阅读全文

posted @ 2019-07-24 13:26 荣锋亮阅读(3685) 评论(0) 推荐(0) 编辑

cube.js 最近版本的一些更新

摘要：有一段时间没有关注cube.js 了，刚好晚上收到一封来自官方的更新介绍，这里简单说明下更多的数据驱动支持 bigquey, clickhouse snowflake,presto (很棒)，hive，oracle 支持的完整列表在docs 开发这的playground 有了很多的提升，可以查看查阅读全文

posted @ 2019-07-23 23:25 荣锋亮阅读(459) 评论(0) 推荐(0) 编辑

zeebe 0.20.0 集群部署试用

摘要： zeebe 0.20.0 是生产可用的第一个版本，同时也有好多变动，以下是一个简单集群的运行以及一个简单的运行说明环境准备 docker-compose 文件 version: "3" services: db: image: 1000kit/h2 container_name: zeebe_d 阅读全文

posted @ 2019-07-23 23:05 荣锋亮阅读(1834) 评论(2) 推荐(0) 编辑

redash oracle 数据源docker 镜像

摘要： redash 官方的docker 镜像是没有包含oracle的，需要我们自己添加，参考了一个docker 镜像进行了简单的修改 Dockerfile FROM redash/redash:7.0.0.b18042 USER root # Oracle instantclient ADD or 阅读全文

posted @ 2019-07-23 20:31 荣锋亮阅读(1495) 评论(0) 推荐(0) 编辑

使用jmx-exporter&&jmxtrans && nexus jmx 暴露nexus 系统指标信息

摘要：以下演示一个简单的使用jmxexporter 暴露nexus jmx 指标为prometheus metrics，同时也集成了一个简单的jmxtrans 输出数据到 graphite 环境准备 docker-compose 文件 version: "3" services: graphite: im 阅读全文

posted @ 2019-07-22 14:45 荣锋亮阅读(1151) 评论(0) 推荐(0) 编辑

jmxtrans docker-compose 运行

摘要：以下是一个简单的demo，使用jmxtrans 进行jmx 指标的处理，项目使用docker-compose 运行同时写入数据到graphite 环境准备 docker-compose文件 version: "3" services: graphite: image: graphiteapp/gr 阅读全文

posted @ 2019-07-22 02:18 荣锋亮阅读(531) 评论(0) 推荐(0) 编辑

jaeger使用yugabyte作为后端存储的尝试以及几个问题

摘要：前边写过使用scylladb 做为jaeger 的后端存储，还是一个不错选择的包括性能以及兼容性，对于 yugabyte 当前存在兼容性的问题，需要版本的支持，或者尝试进行一些变动 create 语法的处理逗号 CREATE TYPE IF NOT EXISTS ${keyspace}.keyv 阅读全文

posted @ 2019-07-20 22:38 荣锋亮阅读(1044) 评论(0) 推荐(0) 编辑

openjdk k8s port-forward 连接容器jmx服务

摘要： jmx 是java 自带的，如果需要使用我们只需要添加对应的配置即可，以下演示docker 集成jmx 使用kompose 生成k8s 的部署文件，使用port-forward 进行连接，所以java.rmi.server.hostname=localhost 环境准备参考github 项目 ht 阅读全文

posted @ 2019-07-19 23:29 荣锋亮阅读(1348) 评论(0) 推荐(0) 编辑

scylladb docker-compose 用户密码认证配置

摘要： scylladb 对于用户的认证配置还是比较简单的，以下是一个docker-compose 配置的说明环境准备 docker-compose 文件 version: "3" services: scylladb: image: scylladb/scylla command: --authenti 阅读全文

posted @ 2019-07-18 20:19 荣锋亮阅读(1399) 评论(0) 推荐(0) 编辑

jaeger 使用scylladb作为后端存储

摘要： scylladb 是一个不错的apache Cassandra 替代，而且兼容很不错，今天在尝试过yugabyte 之后放弃了，因为在进行jaeger 创建 Cassandra schema 的时候碰到各种问题（可能兼容还是少有问题），试用之后发现很不错，没有碰到错误，以下是一个演示环境使用了do 阅读全文

posted @ 2019-07-18 15:19 荣锋亮阅读(1485) 评论(0) 推荐(0) 编辑

zeebe 0.20.0 发布生产可用了!

摘要：一个比较好消息，来自camunda zeebe 团队的消息，zeebe 0.20.0 发布，终于可以生产可用了如果关注了官方的声明的话，同时团队也出了一个自己的许可协议，但是和大部分当前的开源产品修改许可协议是类似的（限制云服务）相关变更(0.20.0) 说明看0.19.0 的changlog 阅读全文

posted @ 2019-07-17 22:08 荣锋亮阅读(891) 评论(0) 推荐(0) 编辑

手工部署yugabyte的几点说明

摘要： ntp 时间同步 ntp 时间同步对于yugabyte 是一个比较重要的服务，需要注意时间的同步 YB-Master 个数的说明原则 YB-Master 的个数，必须和复制因子的个数一样，同时master_addresss 地址的个数必须和复制因子一样参考比如4个node 的集群，复制因子为3 阅读全文

posted @ 2019-07-17 16:27 荣锋亮阅读(1183) 评论(0) 推荐(0) 编辑

yugabyte docker-compose 运行试用

摘要：以前运行yugabyte 使用的是yb-docker-ctl，现在直接可以方便的使用docker-compose 运行了 pull image docker pull yugabytedb/yugabyte docker pull yugabytedb/yugabyte docker pull yu 阅读全文

posted @ 2019-07-17 15:51 荣锋亮阅读(871) 评论(0) 推荐(1) 编辑

Why We Changed YugaByte DB Licensing to 100% Open Source

摘要：转自：https://blog.yugabyte.com/why-we-changed-yugabyte-db-licensing-to-100-open-source/ 主要说明了YugaByte 100%开源的原因，以及与其他开源软件的比较 We are excited to announce 阅读全文

posted @ 2019-07-17 09:13 荣锋亮阅读(413) 评论(0) 推荐(0) 编辑

dbt 集成presto试用

摘要： dbt 团队提供了presto 的adapter同时也是一个不错的的参考实现，可以学习当前dbt presto 对于版本的要求是0.13.1 对于当前最新版本的还不支持，同时需要使用源码安装pip 包 dbt presto pip 包安装 clone 代码包 git clone https://g 阅读全文

posted @ 2019-07-11 16:40 荣锋亮阅读(713) 评论(0) 推荐(0) 编辑

dbt 0.14.0 试用

摘要： dbt 0.14.0 在最近已经发布了，dbt server 的还是很不错的特性，以下安装试用下几个新功能环境准备安装如果没有安装的： pip install dbt 已经安装的： pip install -U dbt 如果没有安装的： pip install dbt 已经安装的： pip i 阅读全文

posted @ 2019-07-11 15:08 荣锋亮阅读(801) 评论(0) 推荐(0) 编辑

dbt 0.14.0 发布

摘要：以下内容来自官方博客，新的功能还是很不错的，后边尝试使用下。参考资料：https://blog.fishtownanalytics.com/dbt-v0-14-0-better-serving-our-users-bf7cdbbcd5d2 Introducing dbt v0.14.0 Today 阅读全文

posted @ 2019-07-11 08:55 荣锋亮阅读(658) 评论(0) 推荐(0) 编辑

presto docker简单试用

摘要： starburstdata 团队提供了一个docker 版本的presto，其中已经内置了几个connectors tpch tpcds memory backhole jmx system pull docker images 镜像稍大，最好使用加速 docker pull starburstda 阅读全文

posted @ 2019-07-10 15:39 荣锋亮阅读(2792) 评论(0) 推荐(0) 编辑

使用nginx 正向代理暴露k8s service && pod ip 外部直接访问

摘要：有时在我们的实际开发中我们希望直接访问k8s service 暴露的服务，以及pod的ip 解决方法，实际上很多 nodeport ingress port-forword 实际上我们还有一种方法：正向代理 nginx 正向代理配置为了简单，只处理http 流量，实际上我们可以基于envoy 搞这阅读全文

posted @ 2019-07-08 23:35 荣锋亮阅读(4463) 评论(0) 推荐(0) 编辑

集成omnibus-ctl+ chef 制作一个可配置的软件包

摘要：前边有写过使用omnibus-ctl 制作软件包的，但是当时没有集成chef，只有一个空壳子，实际上omnibus-ctl 已经内置了对于chef 的操作（但是我们还需要在添加一个依赖），以下简单说明两者如何进行集成 demo 是一个类似gitlab-ctl 的操作，但是只有一个简单的cookbo 阅读全文

posted @ 2019-07-06 20:58 荣锋亮阅读(431) 评论(0) 推荐(0) 编辑

导航

公告