荣锋亮 - 博客园

hermes kafka 转http rest api 的broker 工具

摘要： hermes 与nakadi 是类似的工具，但是设计模型有很大的差异，hermes 使用的是webhook的模式（push） nakadi 使用的是pull（event stream），各有自己解决的问题，但是从设计上nakadi更灵活参考架构图比较 nakadi： hermes：参考资料 ht 阅读全文

posted @ 2018-12-15 23:06 荣锋亮阅读(786) 评论(0) 推荐(0) 编辑

nakadi-ui nakadi event broker 的可视化UI工具

摘要： nakadi 是一款很不错的基于fafka 开发的event broker ，我们只需要使用http 请求就可以调用kafka 方便的发布订阅功能环境准备 docker-compose 文件 version: '3' services: nakadi-ui: image: nakadi/nakad 阅读全文

posted @ 2018-12-15 20:23 荣锋亮阅读(602) 评论(0) 推荐(0) 编辑

mtail 部署说明

摘要：了解一个工具最好的方式是先--help 下，看看支持的命令以及参数启动mtail 最基本的参数： --logs 支持需要处理的log 文件，支持通过glob 模式的额查找,可以指定多次 --progs log 的可编程处理规则，注意必须以 .tmail 结尾操作运行 mtail --progs 阅读全文

posted @ 2018-12-14 09:16 荣锋亮阅读(3272) 评论(2) 推荐(0) 编辑

使用loki+ mtail + grafana + prometheus server分析应用问题

摘要： loki 是一个方便的类似prometheus 的log 系统，mtail 是一个方便的日志提取工具，可以暴露为http 服务——支持导出prometheus metrics 环境准备 docker-compose 文件 version: "3" services: nginx-log: buil 阅读全文

posted @ 2018-12-13 23:06 荣锋亮阅读(4293) 评论(0) 推荐(0) 编辑

mtail 提取应用日志数据到时序数据库的工具-支持prometheus

摘要： mtail 是谷歌开源的一款很不错的应用日志提取工具，我们可以方便的用来提取应用的数据到常见的监控系统（prometheus，stats，collectd，gragphite。。。。）说明： demo 使用此工具转换nginx error message 为prometheus 的metrics 阅读全文

posted @ 2018-12-13 20:22 荣锋亮阅读(5376) 评论(0) 推荐(0) 编辑

使用 loki grafana 分析nginx 请求日志

摘要： loki 是类似prometheus 的log 可视化展示、收集系统，已经集成在grafana 6.0 版本中了说明：测试环境使用了docker-compose 运行环境准备 docker-compose 文件 version: "3" services: nginx: build: ./ p 阅读全文

posted @ 2018-12-13 16:44 荣锋亮阅读(10426) 评论(0) 推荐(1) 编辑

loki grafana 团队开源的，类似Prometheus 的log 系统

摘要： Prometheus 主要面向的是metrics，但是loki 是log，这样加上grafana 强大的可视化以及alert能力，我们可以做好多事情，loki 的设计来源于Prometheus。组件说明 loki 包含三个组件 loki 核心组件进行log 的查询处理 promtail 一个ag 阅读全文

posted @ 2018-12-13 10:21 荣锋亮阅读(7596) 评论(0) 推荐(0) 编辑

nakadi 一款基于kafka 的http event broker

摘要： nakadi 是zalando 开源的一款基于kafka 的event broker ，我们可以方便的使用http 协议进行操作支持一些特性： stream 操作，我们可以流的方式订阅event event 支持基于json schema 我们可以对于event 进行数据校验，方便的schema 阅读全文

posted @ 2018-12-12 22:37 荣锋亮阅读(872) 评论(0) 推荐(0) 编辑

使用uflare/smtp2http 将smtp 转转化为http 请求

摘要： uflare/smtp2http 是一个很不错的工具，我们使用这个工具，可以快速的将smtp 服务转换为http 服务用途实际上挺多的 devops 系统需要使用smtp的系统（测试）基于smtp 的报警系统。。。。环境准备 docker-compose 文件包好了一个基于nodejs 阅读全文

posted @ 2018-12-12 20:13 荣锋亮阅读(1103) 评论(0) 推荐(0) 编辑

tessellate Architecture

摘要：转自：https://zalando-incubator.github.io/tessellate/ Tessellate consists of two major components: the bundler and the fragment. Together they make it po 阅读全文

posted @ 2018-12-12 08:26 荣锋亮阅读(200) 评论(0) 推荐(0) 编辑

Gource 方便的软件版本可视化录制工具

摘要： Gource 是一个特别棒的软件变更可视化录制工具，我们可以使用此工具，方便的将软件的版本变动，录制为视频安装 brew install gource brew install ffmpeg brew install gource brew install ffmpeg brew install 阅读全文

posted @ 2018-12-11 19:22 荣锋亮阅读(880) 评论(0) 推荐(0) 编辑

tailor multi fragment && cutom-amd script demo 说明

摘要： tailor 官方demo 中提供了一个multi fragment 的demo，这个比较简单，就是使用不同的后端server 做为fragment ，然后使用 html tag 进行加载就可以了。 multi fragment 说明调用格式 <h2>Fragment 1:</h2> <frag 阅读全文

posted @ 2018-12-11 16:01 荣锋亮阅读(409) 评论(0) 推荐(0) 编辑

使用tailor 轻松方便的集成web 框架react&&vue

摘要： tailor 是一款很方便的layout 服务，类似facebook 的bigpipe，我们可以使用此工具方便的集成各类web 框架，实现micro-fronteds 开发参考demo https://github.com/rongfengliang/tail-react-vue 说明代码很简阅读全文

posted @ 2018-12-11 10:39 荣锋亮阅读(881) 评论(0) 推荐(0) 编辑

tailor 基础模版的使用

摘要：对于需要实现共享的html 内容，tailor 提供了基础模版的概念，我们需要操作的就是添加slots ，以及使用slots 做为占位符环境准备使用现有的仓库代码 https://github.com/rongfengliang/tailor-skipper-docker-compose. 代码阅读全文

posted @ 2018-12-10 13:24 荣锋亮阅读(413) 评论(0) 推荐(0) 编辑

tailor+ skipper 实现micro-frontends 简单试用

摘要： tailor 在Mosaic 框架中扮演fragment 模版layout的处理，后端fragment可以用任何服务编写 tailor 主要就是进行layout的处理。tailor的是类似facebook bigpipe的实现，功能挺强大的。说明：测试使用docker-compose 运行环境阅读全文

posted @ 2018-12-09 22:23 荣锋亮阅读(355) 评论(0) 推荐(0) 编辑

Mosaic 前端微服务框架

摘要： Mosaic 是一系列的服务、库，集成在一起，定义了组件如何彼此交互，可以用来支持大规模的web 站点开发一张架构图说明尽管上图中的一些组件已经迭代演化了（skipper 的route 配置，上图的已经废弃了），但是还是一种对于微服务开发中，前端处理的一种很不错的解决方案，和当爱你的micr 阅读全文

posted @ 2018-12-09 20:50 荣锋亮阅读(1775) 评论(0) 推荐(0) 编辑

使用skipper 扩展fabio 的路由&&http proxy 功能

摘要： skipper 具有强大的http 路由功能，fabio 是一个方便的基于consul 的负载均衡软件，我们可以方便的使用skipper 路由功能进行fabio的扩展,使用registrator 进行服务注册环境准备 docker-compose version: "3" services: f 阅读全文

posted @ 2018-12-08 15:14 荣锋亮阅读(701) 评论(0) 推荐(0) 编辑

Introducing Makisu: Uber’s Fast, Reliable Docker Image Builder for Apache Mesos and Kubernetes

摘要：转自：https://eng.uber.com/makisu/?amp To ensure the stable, scalable growth of our diverse tech stack, we leverage a microservices-oriented architecture 阅读全文

posted @ 2018-12-07 09:39 荣锋亮阅读(367) 评论(0) 推荐(0) 编辑

lua-resty-shell 多任务执行

摘要：已经写过一个openresty 使用lua-resty-shell 执行shell 脚本的demo，但是实际上我们可能是多节点运行，同时需要负载均衡的机制。 lua-resty-shell 支持unix socket 以及tcp soket 的管理，但是在测试的时候发现tcp 有问题，所以只好使阅读全文

posted @ 2018-12-07 09:17 荣锋亮阅读(893) 评论(0) 推荐(0) 编辑

openresty 使用lua-resty-shell 执行shell 脚本

摘要： lua-resty-shell 是一个很不错的项目，让我们可以无阻塞的执行shell命令，之间的通信是通过socket （一般是unix socket）环境准备 docker-compose 文件 version: "3" services: app: build: ./ ports: - "8 阅读全文

posted @ 2018-12-06 20:50 荣锋亮阅读(4535) 评论(2) 推荐(0) 编辑

ncm 让跨项目配置一致性简单的工具

摘要：多团队写作，确保node 项目依赖以及配置一致性是比较难搞的，所以一些大型的团队以及框架都是使用单体仓库的模式，比如lerna 等工具。 ncm 借鉴了helm 、mrm、kyt、yarn 等开发工具的理念，尝试去解决这个问题，目前来说，刚出来，但是已经有了一些文档，还是比较看好的，具体还要看后阅读全文

posted @ 2018-12-06 09:47 荣锋亮阅读(534) 评论(0) 推荐(0) 编辑

lapis 项目添加prometheus 监控集成grafana

摘要：操作很简单，主要是进行界面的配置以及prometheus 服务的配置, 可以和https://www.cnblogs.com/rongfengliang/p/10074044.html && https://www.cnblogs.com/rongfengliang/p/10038706.html 阅读全文

posted @ 2018-12-06 09:31 荣锋亮阅读(315) 评论(0) 推荐(0) 编辑

lapis 项目添加prometheus 监控

摘要： lapis 是基于openresty 扩展的，所以直接将支持prometheus的模块构建进openresty 就可以了我使用的是nginx-module-vts 模块环境准备我已经构建好了支持的基础镜像，可以直接配置即可，具体的可以看下面的参考资料 docker-compose 文件 ver 阅读全文

posted @ 2018-12-05 22:54 荣锋亮阅读(335) 评论(0) 推荐(0) 编辑

lapis 1.7.0 更好的openresty 版本兼容以及安全数据库支持

摘要： lapis 1.7.0 今年4月2号就发布了，一直没有注意，今天看到changelog就简单的进行了一个测试（主要是与openresty版本的测试，新变更后边会有）使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: 阅读全文

posted @ 2018-12-05 20:35 荣锋亮阅读(597) 评论(0) 推荐(0) 编辑

skipper backend 负载均衡配置

摘要： skipper 对于后端是支持负载均衡处理的，支持官方文档并没有提供，实际使用中，这个还是比较重要的同时支持健康检查。格式 hello_lb_group: Path("/foo") && LBGroup("hello") -> lbDecide("hello", 3) -> <loopback> 阅读全文

posted @ 2018-12-05 18:11 荣锋亮阅读(279) 评论(0) 推荐(0) 编辑

skipper filter 扩展开发

摘要： skipper 的扩展包含filter类型的，以及Predicates ，当然script（lua）脚本也是这次主要是filter类型的开发 filter 接口约定格式 filter 至少需要包含spec&&filter 类型 spec 包含用户初始化filter 必备的参数，spec 必须实现阅读全文

posted @ 2018-12-05 16:05 荣锋亮阅读(253) 评论(0) 推荐(0) 编辑

skipper lua 添加luarocks 包管理

摘要： skipper 支持基于lua 的script 扩展，同时设计比较方便的filter模型，让我们可以方便进行request、response的扩展，结合lua 社区的包我们可以快速的进行新功能的开发环境准备 docker-compose 文件测试功能，集成了监控功能 version: "3" 阅读全文

posted @ 2018-12-05 09:51 荣锋亮阅读(255) 评论(0) 推荐(0) 编辑

skipper lua 脚本支持

摘要： skipper 对于lua 脚本的支持是通过gopher-lua，支持基本上大部分的lua特性说明：项目使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: skipper: image: dalongrong/skip 阅读全文

posted @ 2018-12-04 20:04 荣锋亮阅读(325) 评论(0) 推荐(0) 编辑

skipper 内置的常用filters

摘要： skipper 的filter 功能很强大，可做好多方便的扩展格式： all: * -> filter1 -> filter2 -> "http://127.0.0.1:1234/"; setRequestHeader 设置请求的header foo: * -> setRequestHeader( 阅读全文

posted @ 2018-12-04 18:53 荣锋亮阅读(402) 评论(0) 推荐(0) 编辑

skipper prometheus 监控

摘要： skipper 是支持prometheus监控的，只是没有启用，需要添加参数 -enable-prometheus-metrics 测试使用的是一个简单nginx web ，同时使用docker-compose 运行环境准备 docker-compose 文件 version: "3" servi 阅读全文

posted @ 2018-12-04 17:04 荣锋亮阅读(268) 评论(0) 推荐(0) 编辑

skipper http router 简单试用

摘要：说明：使用源码编译，注意需要FQ，以及golang版本的问题，新版使用的是go mod 进行依赖管理环境准备 clone 代码 git clone https://github.com/zalando/skipper.git 下载依赖稍有点慢，同时需要FQ 稍有点慢，同时需要FQ go mod 阅读全文

posted @ 2018-12-04 15:39 荣锋亮阅读(370) 评论(0) 推荐(0) 编辑

skipper http router 工具

摘要： skipper 是一个http router && 反向代理服务组件，同时支持类似kubernetes 模型的ingress，由zalando 公司的团队开发并开源，从功能上来看，可以做为一个简单的service mesh 组件。几张参考架构图参考资料 https://opensource.z 阅读全文

posted @ 2018-12-04 13:33 荣锋亮阅读(440) 评论(0) 推荐(0) 编辑

openresty redis all in one docker demo

摘要：一个简单的docker demo 集成openresty+ redis，可以实现基于redis的动态修改反向代理的处理环境准备 docker-compose 文件 version: "3" services: nginx-redis: build: ./ image: dalongrong/app 阅读全文

posted @ 2018-12-03 19:47 荣锋亮阅读(501) 评论(0) 推荐(0) 编辑

hasura graphql-engine &&patroni docker-compose 环境运行

摘要： patroni 是一个很不错的pg ha 解决方案，graphql-engine 是一个很好的graphql 工具，为了方便使用参考patroni官方的文档，使用docker-compose 将应用集成在一起，方便进行测试环境准备 github 代码 https://github.com/ron 阅读全文

posted @ 2018-12-03 15:59 荣锋亮阅读(695) 评论(0) 推荐(0) 编辑

使用patroni 解决hasura graphql-engine pg 数据库ha的问题

摘要：环境准备机器pg 数据库地址修改为haproxy 的ip地址，端口是haproxy的tcp 端口，配置比较简单 hasura graphql-engine docker-compose version: '3.6' services: graphql-engine: image: hasura/g 阅读全文

posted @ 2018-12-03 11:22 荣锋亮阅读(580) 评论(0) 推荐(0) 编辑

使用patroni 构建高可用的pg 数据库

摘要： patroni 是一个基于zk、etcd 、consul 等的pg ha 模版，我们可以使用这个工具，快速的搭建一套 pg 的高可用方案环境准备 mac 操作系统安装基础差组件 brew install postgresql etcd haproxy libyaml python 安装pytho 阅读全文

posted @ 2018-12-03 11:12 荣锋亮阅读(3125) 评论(0) 推荐(0) 编辑

zsh:no matches found 问题解决

摘要：解决方法： ~/.zshrc 文件加入： setopt no_nomatch 之后，更新配置 source ~/.zshrc 阅读全文

posted @ 2018-12-03 09:53 荣锋亮阅读(12561) 评论(0) 推荐(0) 编辑

PostgreSQL Q&A: Building an Enterprise-Grade PostgreSQL Setup Using Open Source Tools

摘要：转自：https://www.percona.com/blog/2018/10/19/postgresql-building-enterprise-grade-setup-with-open-source/ Hello everyone, and thank you to those that at 阅读全文

posted @ 2018-12-02 21:26 荣锋亮阅读(326) 评论(0) 推荐(0) 编辑

hasura graphql-engine集成pgbouncer 连接池工具

摘要： pgbouncer 是一个轻量的pg 连接池工具，我们可以和hasura graphql-engine集成起来，进行连接的一些优化环境准备 docker-compose 文件 version: '3.6' services: postgres: image: postgres:9.6 ports: 阅读全文

posted @ 2018-11-30 20:46 荣锋亮阅读(568) 评论(0) 推荐(0) 编辑

airflow-operator 可以管理airflow 的kuberntes 自定义controller && crd

摘要：使用airflow-operator 我们可以让airflow 可以很方便的运行在k8s集群环境中，当前还在开发中主要分为两部分：airflowbbase && airfowcluster 自定义资源。可以用来做以下事情：创建&&管理airflow 部署的k8s 资源更新关联的k8s资源，当阅读全文

posted @ 2018-11-30 11:10 荣锋亮阅读(749) 评论(0) 推荐(0) 编辑

导航

公告