2019 年 8月随笔档案 - 荣锋亮

haproxy 2.0 dataplaneapi docker 镜像

摘要：为了方便测试dataplaneapi 基于官方的docker镜像，制作了一个简单的包含dataplaneapi 的镜像下载dataplaneapi https://github.com/haproxytech/dataplaneapi/releases Dockerfile FROM haprox 阅读全文

posted @ 2019-08-31 23:34 荣锋亮阅读(604) 评论(0) 推荐(0) 编辑

haproxy2.0 dataplaneapi 简单说明

摘要：haproxy2.0 支持基于dataplaneapi 的haproxy 动态配置修改以及服务生效，早期大家为了动态可以会基于dsn 的服务发现模式，基于confd 结合consul 动态生成配置并加载，现在支持了基于 api 的控制，还是很方便的帮助命令 Usage: dataplaneapi 阅读全文

posted @ 2019-08-31 22:53 荣锋亮阅读(1003) 评论(0) 推荐(0) 编辑

使用jenkins exporter 监控jenkins 构建任务

摘要：jenkins 提供了rest api，我们可以基于rest api 暴露prometheus metrics，社区已经有了好多开源的实现了，使用起来也比较方便，以下集成几个进行简单的测试环境准备 docker-compose 文件 version: "3" services: jenkins: 阅读全文

posted @ 2019-08-31 14:36 荣锋亮阅读(2621) 评论(0) 推荐(0) 编辑

使用haproxy 2.0 prometheus metrics 监控系统状态

摘要：haproxy 2.0 已经发布一段时间了，提供内部直接暴露的prometheus metrics 很方便，可以快速的监控系统的状态以下是一个简单的demo 环境准备 docker-compose 文件 version: "3" services: grafana: image: grafana 阅读全文

posted @ 2019-08-30 15:38 荣锋亮阅读(2259) 评论(0) 推荐(0) 编辑

chart.xkcd 可绘制粗略，开通，手绘样式的图表库

摘要：chart.xkcd 可以用来绘制手绘样式的图表，使用简单，样式也挺好看简单使用代码 index.html index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport 阅读全文

posted @ 2019-08-29 21:45 荣锋亮阅读(443) 评论(0) 推荐(0) 编辑

golang 配置goproxy 几个可选的地址

摘要：对于golang 语言的开发，对于国内来说有点被动，需要想各种方法，一般的解决方法如下：使用代理工具（FQ）配置goproxy 目前发现的几个不错的goproxy 阿里云配置如下： export GOPROXY=https://mirrors.aliyun.com/goproxy/ expor 阅读全文

posted @ 2019-08-27 16:40 荣锋亮阅读(17664) 评论(0) 推荐(1) 编辑

nave node 的虚拟环境管理工具

摘要：nave 是类似python venv 的node 虚拟环境管理工具安装 npm install -g nave npm install -g nave npm install -g nave npm install -g nave npm install -g nave npm install 阅读全文

posted @ 2019-08-27 15:19 荣锋亮阅读(1044) 评论(0) 推荐(0) 编辑

使用plotly dash-component-boilerplate 生成自己的组件

摘要：plotly 基于dash-component-boilerplate给我们提供了可以快速生成基于使用python 调用的react 组件以下是一个简单的使用脚手架生成一个组件，同时可以了解组件的工作原理创建一个简单组件的方法安装依赖推荐基于venv 进行环境处理推荐基于venv 进行环境阅读全文

posted @ 2019-08-26 16:26 荣锋亮阅读(951) 评论(0) 推荐(0) 编辑

podium layout 说明

摘要：layout 主要是进行podlets 的组合，同时也提供了context ，fallback，以及传递参数的处理基本代码 const express = require('express'); const Layout = require('@podium/layout'); const a 阅读全文

posted @ 2019-08-26 14:23 荣锋亮阅读(259) 评论(0) 推荐(0) 编辑

podium podlets 说明

摘要：podlets 提供了一个页面片段服务，podlets 包含了一些元数据信息，通过json 暴露，主要包含以下内容一个 http endpoint 提供主要内容一个 http endpoint 提供fallback 功能，方便在主要内容不可读的时候提供访问一些客户端js文件的http en 阅读全文

posted @ 2019-08-26 13:45 荣锋亮阅读(245) 评论(0) 推荐(0) 编辑

podium micro-frontends 简单试用

摘要：以下是一个简单的podium 试用，包含了layout 以及podlets,使用docker 运行 podium 主要包含了两大部分 podlets 片段服务 layouts 片段组合服务环境准备 docker-compose 文件 version: '3' services: layout: b 阅读全文

posted @ 2019-08-26 11:25 荣锋亮阅读(410) 评论(0) 推荐(0) 编辑

podium服务器端的微前端开发框架

摘要：podium 是一个比较全的微前端开发框架。具有以下特性自治开发强大的组合能力基于约定的开发模式 podium 包含的组件 podlets 页面片段，是一个独立的http 服务，独立运行的，实际行可以使用任何语言编写，podium 提供了@podium/podlet 模块可以方便的开发基于阅读全文

posted @ 2019-08-26 09:39 荣锋亮阅读(386) 评论(0) 推荐(0) 编辑

几个java proxy servlet 工具

摘要：HTTP-Proxy-Servlet 这个工具使用比较简单，可以通过配置，或者代码的方式 https://github.com/mitre/HTTP-Proxy-Servlet servlet 配置方式 <servlet> <servlet-name>clusterProxy</servlet-na 阅读全文

posted @ 2019-08-25 16:26 荣锋亮阅读(1664) 评论(0) 推荐(0) 编辑

Presto Infrastructure at Lyft

摘要：转载一篇关于 lyft presto 平台建设的实践 Overview Early in 2017 we started exploring Presto for OLAP use cases and we realized the potential of this amazing query e 阅读全文

posted @ 2019-08-25 11:09 荣锋亮阅读(381) 评论(0) 推荐(0) 编辑

cube.js 通过presto-gateway 进行连接

摘要：cube.js 对于presto 的支持是通过presto-client 刚好简单修改了一个可以支持presto-gateway 连接的以下是一个简单的集成，以及关于集成中原有的一些修改环境准备 docker-compose 文件 version: "3" services: proxy: im 阅读全文

posted @ 2019-08-24 18:20 荣锋亮阅读(520) 评论(0) 推荐(0) 编辑

presto-gateway nodejs client

摘要：目前已经有了好几个presto nodejs 的client，为了方便presto-gateway 的连接，修改了一个现有的nodejs client 可以方便的连接presto-gateway 原理因为通过通过的rest api 调用的，所以直接在原有上添加http header X-Prest 阅读全文

posted @ 2019-08-24 11:02 荣锋亮阅读(662) 评论(0) 推荐(0) 编辑

presto-gateway 试用以及docker 镜像制作

摘要：presto-gateway 是 lyft 团队开源的prestodb 的工具.以下是一个简单的试用，以及碰到问题的解决还有就是docker 镜像的制作 Dockerfile 很简单，本地构建然后基于jdk 基础镜像，制作docker 镜像构建方法因为默认官方在运行的时候出现了一个索引的bu 阅读全文

posted @ 2019-08-24 10:50 荣锋亮阅读(802) 评论(0) 推荐(0) 编辑

presto-gateway lyft 团队开源的prestodb 的负载均衡、代理、网关工具

摘要：presto-gateway 是 lyft 团队开源的prestodb 的工具，很方便，我们可以用来方便的管理presto 多集群通过yaml 进行配置管理，可以方便的管理不同的集群 lyft 参考使用参考资料 https://github.com/lyft/presto-gateway ht 阅读全文

posted @ 2019-08-23 10:53 荣锋亮阅读(1227) 评论(0) 推荐(0) 编辑

singer tap-minio-csv 使用

摘要：使用tap-minio-csv 我们可以将s3 中csv 的文件，通过singer 的target 写到不用的系统中，可以兼容 s3 的存储类型,以下是一个集成minio 的测试，将minio 中的csv 数据导入到pg中环境准备 docker-compose 文件 version: "3" se 阅读全文

posted @ 2019-08-22 19:31 荣锋亮阅读(464) 评论(0) 推荐(0) 编辑

Singer 修改tap-s3-csv 支持minio 连接

摘要：singer 团队官方处了一个tap-s3-csv 的tap，对于没有使用aws 的人来说并不是很方便了，所以简单修改了下源码，可以支持通用的s3 csv 文件的处理，同时发布到了官方pip 仓库中，方便大家使用。以下是简单代码修改部分的说明，以及如何发布pip包修改说明主要是关于连接s3 阅读全文

posted @ 2019-08-22 18:40 荣锋亮阅读(428) 评论(0) 推荐(0) 编辑

plotly-dash 简单使用（一）

摘要：plotly-dash 是一个很不错的dashboard 开发平台，基于python 编写，提供了很便捷的dashboard 开发模型同时扩展上也比较灵活我们可以编写自己的组件。以下是一个简单的项目以及集成docker 运行（实际通过gunicorn,uwsgi运行应用）本地方式运行使用ve 阅读全文

posted @ 2019-08-21 19:21 荣锋亮阅读(10249) 评论(0) 推荐(0) 编辑

smashing 三方widgets 使用

摘要：smashing 有一套自己的约定，包括widgets 以及dashboard，还有就是关于数据的处理约定如下三方widgets 统一在widgets 目录下，一般包含了基于coffee 的js 组件，基于scss 的css 还有就是html 数据的统一通过job 处理，可以配置数据获取的频率，阅读全文

posted @ 2019-08-21 13:26 荣锋亮阅读(270) 评论(0) 推荐(0) 编辑

smashing 开源方便的dashboard 试用

摘要：smashing 一个方便的dashboard 工具，是在Shopify/dashing 上维护的一个版本因为原有的官方团队不在维护了 smashing 使用简单，提供了脚手架同时也有好多人开发了一些插件，可以方便的集成到里边，比如github、gitlab jira，jenkins。以下是一个简阅读全文

posted @ 2019-08-21 11:37 荣锋亮阅读(646) 评论(0) 推荐(0) 编辑

一些开源的dashboard 解决方案

摘要：简单收集了以下开源dashboard 的项目，记录下 plotly-dash 基于python 的dash 开发工具，很不错项目地址 https://github.com/plotly/dash keen-dashboards 一个响应式dashboard 开发模版项目地址 https://gi 阅读全文

posted @ 2019-08-21 09:09 荣锋亮阅读(5739) 评论(0) 推荐(0) 编辑

s3-sftp-proxy goreleaser rpm &&deb 包制作

摘要：上次写过简单的s3-sftp-proxy基于容器构建以及使用goreleaser构建跨平台二进制文件的，下边演示下关于 rpm&&deb 包的制作，我们只需要简单的配置就可以生成方便安装的软件包项目代码 https://github.com/rongfengliang/s3-sftp-proxy- 阅读全文

posted @ 2019-08-20 13:08 荣锋亮阅读(551) 评论(0) 推荐(0) 编辑

使用s3-sftp-proxy 暴露minio s3 数据为sftp 访问

摘要：尽管s3 很不错，但是ftp 也有自己存在的价值，以下是一个简单的通过s3-sftp-proxy 暴露minio s3 数据为ftp 的访问方式环境准备 docker-compose 文件 version: "3" services: minio: image: minio/minio comma 阅读全文

posted @ 2019-08-20 09:37 荣锋亮阅读(1498) 评论(0) 推荐(0) 编辑

通过patch 方式解决cube.js 集成cratedb 的问题

摘要：今天有写过一个简单的cube.js 集成cratedb 的说明，主要是在driver 上的兼容问题，处理方法是删除不兼容的代码实际上我们也可以通过类似linux c 开发中的patch 方式解决，简化手工干预生成patch 文件安装npm 依赖 yarn yarn yarn yarn yarn 阅读全文

posted @ 2019-08-19 13:30 荣锋亮阅读(460) 评论(0) 推荐(0) 编辑

cube.js 集成cratedb 的尝试

摘要：cratedb 提供了pg协议的兼容，我们可以直接使用pg client 连接，但是也不是完整实现pg 协议的以下是 cube.js 集成cratedb 的一些尝试环境准备 docker-compose 文件主要是数据库环境的主要是数据库环境的 version: "3" services: 阅读全文

posted @ 2019-08-19 09:53 荣锋亮阅读(438) 评论(0) 推荐(0) 编辑

minio gataway 模式快速提供s3 兼容的文件服务

摘要：实际很多场景我们已经有了遗留系统的文件存储方式（ftp，或者共享目录），但是这个方式可能不是很好，对于web 不是很友好实际上minio 也提供了gateway 的模式，可以方便快速的将遗留系统的存储服务暴露为一个可复用，web 应用友好的存储模型以下演示一个简单的本地文件暴露s3 的方式环境阅读全文

posted @ 2019-08-18 11:23 荣锋亮阅读(2148) 评论(0) 推荐(0) 编辑

cratedb 做为prometheus 的后端存储

摘要：prometheus 提供了remote_write 以及remote_read 的数据存储方式，可以帮助我们进行数据的长时间存储、方便查询 cratedb 提供了对应的adapter，可以直接进行适配。以下演示一个简单的cratedb 集群以及通过write 以及read 存储通过grok ex 阅读全文

posted @ 2019-08-18 10:17 荣锋亮阅读(1482) 评论(0) 推荐(0) 编辑

Centrifugo 语言无关的实时消息服务

摘要：Centrifugo 语言无关的实时消息服务，基于golang编写，提供了websocket 以及sockjs 的兼容处理，使用上很简单同时也支持基于redis的扩展，以下是一个简单的运行测试环境准备 docker-compose 文件 version: "3" services: centri 阅读全文

posted @ 2019-08-17 10:46 荣锋亮阅读(1058) 评论(0) 推荐(0) 编辑

netflix conductor 学习（一）docker-compose 运行

摘要：为了方便学习以及使用netflix conductor 基于官方的dockerfile，构建了server 以及ui 的容器镜像并push dockerhub 环境准备官方docker-compose文件需要基于容器的构建很慢需要基于容器的构建很慢 version: '2.3' service 阅读全文

posted @ 2019-08-16 13:07 荣锋亮阅读(1941) 评论(0) 推荐(0) 编辑

netflix conductor 2.x 版本新功能简单说明

摘要：netflix conductor 2.x 已经发布很长时间了，同时官方也发布了关于2.x 新特性的说明，当前github 行的release 版本为2.14.4 新特性 grpc 框架支持一个可选的rest api 的替代 cassandra 持久层的持支持外部负载存储主要是减轻后端数据存储阅读全文

posted @ 2019-08-16 09:56 荣锋亮阅读(2046) 评论(0) 推荐(0) 编辑

netflix flamescope 方便的不同时间范围的火焰图查看工具

摘要：flamescope 是netflix 开源的方便的火焰图查看工具，我们可以选择不同时间范围的数据，方便分析调用链环境准备使用docker-compose运行，基于官方的dockerfile 创建构建了一个docker 镜像 dalongrong/flamescope docker-compos 阅读全文

posted @ 2019-08-14 11:22 荣锋亮阅读(663) 评论(0) 推荐(0) 编辑

使用grok exporter 做为log 与prometheus 的桥

摘要：grok 是一个工具，可以用来解析非结构化的日志文件，可以使其结构化，同时方便查询，grok 被logstash 大量依赖同时社区也提供了一个prometheus 的exporter 可以方便的进行log 指标，暴露为promethesu 的标准数据格式，当然谷歌的mtail 也是一个不错的选择阅读全文

posted @ 2019-08-13 10:34 荣锋亮阅读(3339) 评论(0) 推荐(0) 编辑

benchmarkdotnet docker 运行

摘要：使用docker 运行基准测试是一个不错的选择，可以减少我们环境搭建的时间，同时也可以加速ci/cd 环境准备 docker-compose 文件 version: "3" services: app-benchmark: build: context: ./ dockerfile: Dockerf 阅读全文

posted @ 2019-08-13 08:57 荣锋亮阅读(435) 评论(0) 推荐(0) 编辑

Micro Benchmark Framework java 基准测试类库

摘要：Micro Benchmark Framework 框架主要是method 层面上的 benchmark，精度可以精确到微秒级比较典型的使用场景还有：想定量地知道某个函数需要执行多长时间，以及执行时间和输入 n 的相关性一个函数有两种不同实现，不知道哪种实现性能更好简单demo 创建项目 m 阅读全文

posted @ 2019-08-12 16:43 荣锋亮阅读(616) 评论(0) 推荐(0) 编辑

benchmarkdotnet dotnet 基准测试类库试用(一)

摘要：使用基准测试对于我们应用的性能优化是比较好的方式，可以快速看出优化的结果同时可以给出报告结果 benchmarkdotnet 是dotnet 版本的一个工具，以下是一个简单的试用环境准备我使用的是mac系统安装dotnetcoresdk 这个很简单，选择操作系统安装就可以了创建简单conso 阅读全文

posted @ 2019-08-12 10:10 荣锋亮阅读(1175) 评论(0) 推荐(1) 编辑

rust crates 国内镜像加速配置

摘要：rust 很不错，但是crates 经常下载有点慢，当前阿里云还没有相关的镜像，还有科大为我们提供了一个配置方法添加crates 配置 $HOME/.cargo/config 目录 [registry] index = "git://mirrors.ustc.edu.cn/crates.io-i 阅读全文

posted @ 2019-08-11 22:48 荣锋亮阅读(5456) 评论(1) 推荐(0) 编辑

dotnetcore docker 简单运行

摘要：今天试用了下mac 版本的dotnetcore sdk，发现还是很方便的，同时官方的容器运行方式，相对小了好多同时使用多阶段构建的方式运行dotnetcore 安装sdk 下载地址： https://dotnet.microsoft.com/download 选择版本下载并安装即可简单demo 阅读全文

posted @ 2019-08-09 21:14 荣锋亮阅读(575) 评论(0) 推荐(0) 编辑

apache pinot-docker-compose 运行试用

摘要：apache pinot 是一个实时的OLAP 数据存储，同时包含了自己的查询语言，因为maven 构建花费时间较大所以使用docker-compose 运行 docker-compose 文件 version: "3.7" services: app: image: winedepot/pino 阅读全文

posted @ 2019-08-08 20:27 荣锋亮阅读(747) 评论(0) 推荐(0) 编辑

Thanos prometheus 集群以及多租户解决方案docker-compose 试用(一)

摘要：prometheus 是一个非常不多的metrics 监控解决方案，但是对于ha 以及多租户的处理并不是很好，当前有好多解决方案 cortex Thanos prometheus+ influxdb Timebala M3db 以下结合github 上的一个docker-compose项目学习下Th 阅读全文

posted @ 2019-08-08 11:03 荣锋亮阅读(4412) 评论(0) 推荐(0) 编辑

linux mustache bash 实现mo 做为docker容器运行动态配置工具数组的处理

摘要：前面有说过关于使用mo 工具的简单配置使用，但是实际中我们可能存在比较复杂的数据处理，比如数组，mo 可以进行数组的处理，但是在测试的过程中，一直失败，查看了官方的demo以及帮助命令发现可以通过参数 -s 引入变量文件，可以方便的注入到模版引擎中，所以通过重定向环境变量到文件，然后注入，之后删除即阅读全文

posted @ 2019-08-07 20:38 荣锋亮阅读(353) 评论(0) 推荐(0) 编辑

使用mustache 做为docker容器运行动态配置工具

摘要：很多时候我们需要在启动容器的时候基于配置文件运行，如果在配置比较简单的时候我们可以通过环境变量注入，同时当前12 factors 越来越融入大家的开发中了（对于配置通过环境变量处理），但是好多老的软件架构，或者是比较复杂的软件架构可能没有提供通过环境变量的运行方式，我们可以结合mustache 阅读全文

posted @ 2019-08-07 14:07 荣锋亮阅读(576) 评论(0) 推荐(0) 编辑

pmm 添加proxysql metrics

摘要：pmm 对于proxysql 的管理是基于metrics的进行处理的，使用的是proxysql exporter 对于proxysql exporter的添加，比较简单，我们可以通过独立的额容器运行exporter 服务 pmm 参考架构方便大家对于pmm 加深印象环境准备 docker-com 阅读全文

posted @ 2019-08-06 17:15 荣锋亮阅读(749) 评论(0) 推荐(0) 编辑

pmm docker-compose 运行试用

摘要：pmm 是一个很不错的mysql、mongo、postgresql 数据库监控平台，基于prometheus、grafana、exporter 算是一个比较完整的数据库分析平台参考架构图环境准备对于pg 以及mysql 的运行基于docker 官方镜像，添加了pmm client 包，同时为阅读全文

posted @ 2019-08-05 22:58 荣锋亮阅读(1073) 评论(0) 推荐(0) 编辑

promethues exporter+ grafana 监控pg+mysql

摘要：这篇文章本来是打算使用pmm 进行数据库监控的，但是居然参考官方文档使用docker 运行起来有点问题，所以直接改用 exporter 进行处理，但是比pmm 弱好多 pmm 的参考架构说明，以上图比较早了，实际上也可以监控mongodb，同时也是使用exporter处理的，只是pmm 基于gr 阅读全文

posted @ 2019-08-05 19:45 荣锋亮阅读(1377) 评论(0) 推荐(0) 编辑

diffy 方便的bug 以及流量测试系统

摘要：diffy 是twiiter 开源的流量以及bug 查找系统参考使用图几点说明使用diffy我们需要三个角色 candidate instance 候选实例，运行新的代码 primary instance 主实例，运行最新已知可运行的代码 secondary instance 次要运行与pri 阅读全文

posted @ 2019-08-02 16:11 荣锋亮阅读(1290) 评论(0) 推荐(0) 编辑

sql server 性能优化的几个专家工具

摘要：以下为一个方便的sql server 分析的专家工具 sp_WhoIsActive 提供了方便的文档说明参考链接 http://whoisactive.com/docs/ dba_BlockTracer 参考链接 https://blogs.msdn.microsoft.com/nikhilsi/ 阅读全文

posted @ 2019-08-02 10:33 荣锋亮阅读(789) 评论(0) 推荐(0) 编辑

prisma2 预览版

摘要：prisma2 预览版已经发布好几个版本了，同时官方的参考文档也在github 可以看到新版本的架构变动参考图说明 photon 为一个类型安全的数据库客户端（替换orm） lift 数据模型的定义已经迁移 studio admin ui 用来支持各种数据库的工作流每个组件可以独立的使用，同阅读全文

posted @ 2019-08-02 09:47 荣锋亮阅读(704) 评论(0) 推荐(0) 编辑

redisql 试用

摘要：redisql 是一个redis 模块，可以让redis 支持sql 查询，基于rust编写具有以下特性快速，每秒130k的插入使用标准sql 容易操作，基于redis，使用标准的redis 二进制文件（主要还是4.0 的的模块机制）使用简单，可以使用基于redis 的任务语言绑定 stre 阅读全文

posted @ 2019-08-01 20:08 荣锋亮阅读(2118) 评论(0) 推荐(0) 编辑

08 2019 档案

导航

公告