荣锋亮 - 博客园

goreplay 输出流量捕获数据到 elasticsearch

摘要： goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版功能更强大，支持二进制协议的分析。为了方便数据的存储，我们可以使用es 进行存储环境准备 docker-compose version: "3" services: nginx: build: 阅读全文

posted @ 2019-01-13 12:39 荣锋亮阅读(1906) 评论(0) 推荐(0) 编辑

goreplay 镜像nginx web app流量

摘要： goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版功能更强大，支持二进制协议的分析备注：演示使用docker-compose 运行，测试镜像流量到其他的两个web app （openresty）环境准备 docker-compose 文件 ve 阅读全文

posted @ 2019-01-13 11:06 荣锋亮阅读(1156) 评论(0) 推荐(0) 编辑

tile38 server 密码保护

摘要：默认tile38 是没有密码保护的，我们可以通过配置指定密码,类似redis 的，但是redis 的一般我们是配置在配置文件中的环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "98 阅读全文

posted @ 2019-01-12 20:58 荣锋亮阅读(595) 评论(0) 推荐(0) 编辑

tile38 roaming-geofences 试用

摘要： tile38 支持动态实时的移动对象的数据监控环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" benthos: image: jeffail/benthos v 阅读全文

posted @ 2019-01-12 20:45 荣锋亮阅读(602) 评论(0) 推荐(0) 编辑

tile38 复制配置

摘要：基于复制我们可以保证tile38 server 的ha 环境准备 docker-compose 文件说明里面多了一个webhook 的服务，可以不用管 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" app 阅读全文

posted @ 2019-01-12 11:25 荣锋亮阅读(644) 评论(0) 推荐(0) 编辑

The Guardian’s Migration from MongoDB to PostgreSQL on Amazon RDS

摘要：转载一片mongodb 迁移pg 数据库的文章原文：https://www.infoq.com/news/2019/01/guardian-mongodb-postgresql The Guardian migrated their CMS's datastore in 2018 from a s 阅读全文

posted @ 2019-01-12 11:11 荣锋亮阅读(241) 评论(0) 推荐(0) 编辑

tile38 一款开源的geo 数据库

摘要： tile38 是基于golang 编写的geo 数据库，支持地理空间索引、实时地理围栏，同时也支持leader-flower 的部署模型备注：下边测试一个简单的地理围栏功能环境准备 docker-compose 文件包含了一个简单的webhook 工具 version: "3" servic 阅读全文

posted @ 2019-01-12 11:08 荣锋亮阅读(2691) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的docker 镜像构建（续）使用源码编译

摘要： sqler 在社区的响应还是很不错的，已经添加了好多数据库的连接，就在早上项目的包管理还没有写明确，下午就已经有go mod 构建的支持了，同时也调整下docker 镜像的构建，直接使用git clone + go mod 备注： go mod 是新的包管理方案，需要新版本的golang，使用容器阅读全文

posted @ 2019-01-11 19:07 荣锋亮阅读(337) 评论(0) 推荐(0) 编辑

sqler sql 转rest api javascript 试用

摘要： sqler 内嵌了一个js 引擎的实现（基于goja,当我们配置了exec的配置之后调用宏（redis 接口）或者rest api 的时候会有一个全局变量$result ，保存了执行的结果，我们可以通过js 操作数据对象，比如进行数据改写，进行一些额外的数据控制。同时默认的demo 配置的da 阅读全文

posted @ 2019-01-11 11:39 荣锋亮阅读(486) 评论(0) 推荐(0) 编辑

sqler sql 转rest api redis 接口使用

摘要： sqler 支持redis 协议，我们可以用过redis client 连接sqler，他会将宏住转换为redis command 实现上看源码我们发现是基于一个开源的redis 协议的golang 实现，同时sqler 内置了一些方便的command ： list、 info、 echo、sel 阅读全文

posted @ 2019-01-11 09:35 荣锋亮阅读(787) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的docker image

摘要：最新sqler 又发布了一个版本，同时官方文档也更新，对于数据库的连接有了详细的说明 Dockerfile 为了方便以及减少大小，使用多阶段构建,同时都通过环境变量运行 FROM alpine:latest as build ENV VERSION=v1.6 WORKDIR /app RUN apk 阅读全文

posted @ 2019-01-11 08:39 荣锋亮阅读(306) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的工具试用

摘要： sqler 从开源很快就获取了1k的star，使用起来很方便，而且也很灵活，支持的数据库也比较多。支持的功能无需依赖，可独立使用；支持多种数据可类型，包括：SQL Server, MYSQL, SQLITE, PostgreSQL, Cockroachdb 等；内置 RESTful 服务器；阅读全文

posted @ 2019-01-10 22:02 荣锋亮阅读(2764) 评论(0) 推荐(0) 编辑

apache geode 试用

摘要：使用docker 运行,文档参考的官方的5 分钟学习文档拉取镜像 docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/ge 阅读全文

posted @ 2019-01-10 16:15 荣锋亮阅读(1410) 评论(0) 推荐(0) 编辑

benthos v1 的一些新功能

摘要：主要从视频文件截取，暂时github 上还没有很全的相关文档 v1目标 config lint processor error 处理 subprocess processor awk processor sleep processor 说明部分processor github 上已经有文档了，但是阅读全文

posted @ 2019-01-10 09:20 荣锋亮阅读(477) 评论(0) 推荐(0) 编辑

Singer 学习十三发现模式

摘要：发现模式发现模式提供了一种描述tap 支持数据流的方式，使用了json schema 做为描述数据的结构以及每个数据流的类型，发现模式的实现依赖tap 的数据源，有些taps 将硬编码每个流的模式，而其他的将连接到提供可用流的描述的api，当运行发现模式时，tap 应该写如stdout 流列表阅读全文

posted @ 2019-01-09 22:36 荣锋亮阅读(297) 评论(0) 推荐(0) 编辑

Singer 学习十二指南

摘要：版本0.3.0 tap是一个应用程序，需要一个配置文件和可选的状态文件作为输入，并产生有序的流记录，状态和模式信息作为输出。一个记录是任何类型的JSON编码的数据。tap 状态消息用于保留一个调用之间的信息。一个模式消息描述stream 中的数据类型。Tap可以用任何编程语言实现。 tap设计阅读全文

posted @ 2019-01-09 19:10 荣锋亮阅读(416) 评论(0) 推荐(0) 编辑

Singer 学习十一配置以及状态管理

摘要：配置和状态文件通过提供身份验证信息，开始时间和有关以前调用的信息，帮助为Taps和Targets提供上下文配置文件配置文件包含tap 运行需要的信息，通常包含API，以及数据源的凭据特殊字段 start_data ,首次同步时候使用，指定数据同步的范围 user_agent 提供方便的问题解决阅读全文

posted @ 2019-01-09 18:50 荣锋亮阅读(321) 评论(0) 推荐(0) 编辑

Singer 学习十同步模式

摘要： sync 模式是属于tap 的操作，同步模式下，tap 需要提交 schema、 record 、state message， singer 指南对于每种类型有详细的说明 streams 每个stream 的metadata 包含了详细的用来进行sync 操作的控制说明 replication 方阅读全文

posted @ 2019-01-09 16:54 荣锋亮阅读(229) 评论(0) 推荐(0) 编辑

Singer 学习九运行&&开发taps、targets (四开发target)

摘要： singer 的target 需要从stdin 的行数据，同时处理schema、record、state 消息指南 schema 需要进行关联stream records 数据的校验一旦Target处理了State消息之前流中出现的所有数据，就将状态消息写入stdout。请注意，尽管State消阅读全文

posted @ 2019-01-09 16:25 荣锋亮阅读(200) 评论(0) 推荐(0) 编辑

Singer 学习八运行&&开发taps、targets (三开发tap)

摘要：如何没有找到适合的tap，那么我们可以自己开发一个 hello world tap 仅仅是一个程序，我们可以使用任何语言进行编写，根据singer 指南，输出数据到stdout 即可，实际上一个简单的 demo，可以直接使用命令行工具，不需要编写任何代码内容 printf '{"type":"SC 阅读全文

posted @ 2019-01-09 16:16 荣锋亮阅读(431) 评论(0) 推荐(0) 编辑

Singer 学习七运行&&开发taps、targets (二 targets 运行说明)

摘要：接上文： Singer 学习六运行&&开发taps、targets (一 taps 运行说明) 说明target 需要tap 进行配合运行，所以需要了解tap 的使用运行target 创建tap 可以参考上文 (1). 创建一个python3 的虚拟环境，并激活 python3 -m venv 阅读全文

posted @ 2019-01-09 15:25 荣锋亮阅读(320) 评论(0) 推荐(0) 编辑

Singer 学习六运行&&开发taps、targets (一 taps 运行说明)

摘要：文章内容来来自官方github 说明: singer大部分的taps && targets 是用python编写的，所以内容里面的代码也是使用python 编写使用python运行singer 运行singer 必须安装python 3.5 以及以上的版本，推荐的方式是使用python 的virt 阅读全文

posted @ 2019-01-09 15:13 荣锋亮阅读(371) 评论(0) 推荐(0) 编辑

Singer 学习五 docker 运行说明

摘要：介绍过一个工具knots ，方便Singer 可视化开发的工具，但是默认这个工具包含的tap 以及target 比较少（可以自己扩展）同时这个工具就是基于docker 运行的 docker 运行的几点说明使用交互模式开发环境建议使用数据卷挂载的模式生产环境我们可以直接按照tag 进行打包 d 阅读全文

posted @ 2019-01-09 13:19 荣锋亮阅读(526) 评论(0) 推荐(0) 编辑

Singer 学习四可视化数据操作工具

摘要： knots 是一款基于electron 开发的可视化UI界面，我们可以此工具进行方便的数据处理，注意工具使用了 docker 运行，需要安装docker 下载地址 https://github.com/singer-io/knots/releases https://github.com/singe 阅读全文

posted @ 2019-01-09 08:23 荣锋亮阅读(548) 评论(0) 推荐(0) 编辑

Singer 学习三使用Singer进行mongodb 2 postgres 数据转换

摘要： Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者是文件备注：测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上环境准备 docker-compose 文件阅读全文

posted @ 2019-01-08 21:37 荣锋亮阅读(666) 评论(0) 推荐(0) 编辑

Singer 学习二使用Singer进行gitlab 2 postgres 数据转换

摘要： Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者是文件备注：测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上环境准备 docker-compose 文件阅读全文

posted @ 2019-01-08 15:58 荣锋亮阅读(558) 评论(0) 推荐(0) 编辑

Singer 学习一使用Singer进行mysql 2 postgres 数据转换

摘要： Singer 因为版本的问题，推荐的运行方式是使用virtualenv，对于taps&& target 的运行都是推荐使用此方式，不然包兼容的问题太费事了备注：使用docker-compose 运行数据库服务环境准备 docker-compose 文件数据库准备 version: "3" 阅读全文

posted @ 2019-01-08 15:13 荣锋亮阅读(1352) 评论(0) 推荐(0) 编辑

Singer 开源便捷的ETL 工具

摘要： singer 是一个强大，灵活的etl 工具，我们可以方便的提取web api，file，queue，基本上各种你可以想到的数据源。 singer 有一套自己的数据处理规范， taps， targets，同时官方提供了好多taps（好多是基于api 的），而且在这个api first 的开发时代阅读全文

posted @ 2019-01-08 08:29 荣锋亮阅读(1610) 评论(0) 推荐(0) 编辑

haproxy prometheus 监控docker-compose 运行试用

摘要： haproxy prometheus 的监控metrics 使用的是exporter ，因为haproxy 对于状态统计报告处理的比较好，我们可以了stats 同时支持一个csv的api 接口，所以exporter也是基于这个搞的开发，同时里面对于不同版本的haproxy 做了适配环境准备 d 阅读全文

posted @ 2019-01-07 11:35 荣锋亮阅读(1263) 评论(0) 推荐(0) 编辑

使用nexus 管理pip 私有包

摘要： nexus 已经支持了对于python pip 包的管理（支持group，host，proxy）这个是一个简单的使用docker 运行的demo，同时集成了s3 存储，以及一个为了测试简单的自定义pip 包环境准备 docker-compose 文件 version: "3" services 阅读全文

posted @ 2019-01-06 09:07 荣锋亮阅读(2319) 评论(0) 推荐(0) 编辑

gitingore && opensource license 自动生成的网站

摘要：老外就是爱搞事情，总有一些方便我们开发的小工具出来，比如gitignore以及开源软件许可协议的 gitingore 生成的地址 https://www.gitignore.io/ 使用搜索的地方输入语言即可效果开源软件协议地址 https://choosealicense.com/ 使用阅读全文

posted @ 2019-01-05 23:29 荣锋亮阅读(298) 评论(0) 推荐(0) 编辑

lua-resty-qless-web UI 界面运行

摘要： lua-resty-qless-web 是 lua-resty-qless 的web 管理界面以及lua-resty-template 模版引擎开发的，里面实现了一个简单的路由功能备注： demo 运行使用docker-compose ，简单修改了官方demo 有问题的部分,后边会添加集成lua 阅读全文

posted @ 2019-01-04 21:17 荣锋亮阅读(1328) 评论(0) 推荐(0) 编辑

自定义pip 包开发简单说明

摘要：文档主要来自官方文档，主要是为了测试学习创建pip 包项目项目结构 ├── LICENSE ├── README.md ├── dalongrong_example_pkg │ └── __init__.py └── setup.py ├── LICENSE ├── README.md ├── 阅读全文

posted @ 2019-01-04 13:16 荣锋亮阅读(2218) 评论(0) 推荐(0) 编辑

ethr 微软开源的tcp udp http 网络性能测试工具

摘要： ethr 是微软开源的tcp udp http 网络性能测试工具包包含的server 以及 client 我们可以远程测试同时对于https icmp 的支持也在开发中，tcp 协议支持连接、带宽、延迟的测试同时支持的操作系统也比较全，基于golang 开发，可以做为我们系统开发的一个测试工具了阅读全文

posted @ 2019-01-04 10:10 荣锋亮阅读(1701) 评论(0) 推荐(0) 编辑

openresty 集成lua-resty-mail +smtp2http 扩展灵活的mail 服务

摘要： lua-resty-mail 是一个不错的openresty mail 扩展，我们可以用来进行邮件发送，支持附件功能 smtp2http 是一个smtp 服务，可以将smtp 请求数据转换为http rest 请求，这个在我们的实际应用中还是很方便的，比如需要mail 服务，但是我们需要进行一些灵阅读全文

posted @ 2019-01-04 09:10 荣锋亮阅读(1683) 评论(0) 推荐(0) 编辑

masterlab 敏捷项目管理工具

摘要： masterlab 是一个参考了gitlab 以及jira 的开源项目管理工具，基于php开发，同时官方也提供了一个 docker-compose 运行的项目 clone 代码 git clone https://github.com/gopeak/masterlab-docker.git git 阅读全文

posted @ 2019-01-03 11:38 荣锋亮阅读(1950) 评论(0) 推荐(0) 编辑

luarocks 自定义包发布试用

摘要： luarocks 是一个方便的lua 包管理工具，可以帮助我们实现代码的复用以及分享注册账户我使用了gihtub 的账户，直接点击&&授权即可创建一个简单的luarocks 包项目创建rockspec 文件使用luarocks 工具 luarocks-5.1 write_rockspec 阅读全文

posted @ 2019-01-03 10:35 荣锋亮阅读(1310) 评论(0) 推荐(0) 编辑

vorpal 又一个方便的cli 开发包

摘要： vorpal 是一个npm 包，我们可以用来开发专业的cli 程序简单使用初始化项目 yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y 添加依赖 yarn add 阅读全文

posted @ 2019-01-02 21:36 荣锋亮阅读(591) 评论(0) 推荐(0) 编辑

gogs wekan 集成试用

摘要： wekan 官方提供了一个集成gogs 的扩展，不是完全的自动化，需要结合cli，但是官方的cli 写的。。。（不是很全）备注：测试环境使用docker-compose 环境准备 docker-compose 文件 version: "3.7" services: wekandb: image: 阅读全文

posted @ 2019-01-02 17:13 荣锋亮阅读(1347) 评论(0) 推荐(0) 编辑

Creating Node.js Command Line Utilities to Improve Your Workflow

摘要：转自：https://developer.telerik.com/featured/creating-node-js-command-line-utilities-improve-workflow/ 类似的oclif Once upon a time, the command line seemed 阅读全文

posted @ 2019-01-02 14:22 荣锋亮阅读(436) 评论(0) 推荐(0) 编辑

导航

公告