荣锋亮 - 博客园

apache geode 试用

摘要：使用docker 运行,文档参考的官方的5 分钟学习文档拉取镜像 docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/ge 阅读全文

posted @ 2019-01-10 16:15 荣锋亮阅读(1413) 评论(0) 推荐(0) 编辑

benthos v1 的一些新功能

摘要：主要从视频文件截取，暂时github 上还没有很全的相关文档 v1目标 config lint processor error 处理 subprocess processor awk processor sleep processor 说明部分processor github 上已经有文档了，但是阅读全文

posted @ 2019-01-10 09:20 荣锋亮阅读(479) 评论(0) 推荐(0) 编辑

Singer 学习十三发现模式

摘要：发现模式发现模式提供了一种描述tap 支持数据流的方式，使用了json schema 做为描述数据的结构以及每个数据流的类型，发现模式的实现依赖tap 的数据源，有些taps 将硬编码每个流的模式，而其他的将连接到提供可用流的描述的api，当运行发现模式时，tap 应该写如stdout 流列表阅读全文

posted @ 2019-01-09 22:36 荣锋亮阅读(298) 评论(0) 推荐(0) 编辑

Singer 学习十二指南

摘要：版本0.3.0 tap是一个应用程序，需要一个配置文件和可选的状态文件作为输入，并产生有序的流记录，状态和模式信息作为输出。一个记录是任何类型的JSON编码的数据。tap 状态消息用于保留一个调用之间的信息。一个模式消息描述stream 中的数据类型。Tap可以用任何编程语言实现。 tap设计阅读全文

posted @ 2019-01-09 19:10 荣锋亮阅读(420) 评论(0) 推荐(0) 编辑

Singer 学习十一配置以及状态管理

摘要：配置和状态文件通过提供身份验证信息，开始时间和有关以前调用的信息，帮助为Taps和Targets提供上下文配置文件配置文件包含tap 运行需要的信息，通常包含API，以及数据源的凭据特殊字段 start_data ,首次同步时候使用，指定数据同步的范围 user_agent 提供方便的问题解决阅读全文

posted @ 2019-01-09 18:50 荣锋亮阅读(322) 评论(0) 推荐(0) 编辑

Singer 学习十同步模式

摘要： sync 模式是属于tap 的操作，同步模式下，tap 需要提交 schema、 record 、state message， singer 指南对于每种类型有详细的说明 streams 每个stream 的metadata 包含了详细的用来进行sync 操作的控制说明 replication 方阅读全文

posted @ 2019-01-09 16:54 荣锋亮阅读(232) 评论(0) 推荐(0) 编辑

Singer 学习九运行&&开发taps、targets (四开发target)

摘要： singer 的target 需要从stdin 的行数据，同时处理schema、record、state 消息指南 schema 需要进行关联stream records 数据的校验一旦Target处理了State消息之前流中出现的所有数据，就将状态消息写入stdout。请注意，尽管State消阅读全文

posted @ 2019-01-09 16:25 荣锋亮阅读(201) 评论(0) 推荐(0) 编辑

Singer 学习八运行&&开发taps、targets (三开发tap)

摘要：如何没有找到适合的tap，那么我们可以自己开发一个 hello world tap 仅仅是一个程序，我们可以使用任何语言进行编写，根据singer 指南，输出数据到stdout 即可，实际上一个简单的 demo，可以直接使用命令行工具，不需要编写任何代码内容 printf '{"type":"SC 阅读全文

posted @ 2019-01-09 16:16 荣锋亮阅读(445) 评论(0) 推荐(0) 编辑

Singer 学习七运行&&开发taps、targets (二 targets 运行说明)

摘要：接上文： Singer 学习六运行&&开发taps、targets (一 taps 运行说明) 说明target 需要tap 进行配合运行，所以需要了解tap 的使用运行target 创建tap 可以参考上文 (1). 创建一个python3 的虚拟环境，并激活 python3 -m venv 阅读全文

posted @ 2019-01-09 15:25 荣锋亮阅读(325) 评论(0) 推荐(0) 编辑

Singer 学习六运行&&开发taps、targets (一 taps 运行说明)

摘要：文章内容来来自官方github 说明: singer大部分的taps && targets 是用python编写的，所以内容里面的代码也是使用python 编写使用python运行singer 运行singer 必须安装python 3.5 以及以上的版本，推荐的方式是使用python 的virt 阅读全文

posted @ 2019-01-09 15:13 荣锋亮阅读(382) 评论(0) 推荐(0) 编辑

Singer 学习五 docker 运行说明

摘要：介绍过一个工具knots ，方便Singer 可视化开发的工具，但是默认这个工具包含的tap 以及target 比较少（可以自己扩展）同时这个工具就是基于docker 运行的 docker 运行的几点说明使用交互模式开发环境建议使用数据卷挂载的模式生产环境我们可以直接按照tag 进行打包 d 阅读全文

posted @ 2019-01-09 13:19 荣锋亮阅读(526) 评论(0) 推荐(0) 编辑

Singer 学习四可视化数据操作工具

摘要： knots 是一款基于electron 开发的可视化UI界面，我们可以此工具进行方便的数据处理，注意工具使用了 docker 运行，需要安装docker 下载地址 https://github.com/singer-io/knots/releases https://github.com/singe 阅读全文

posted @ 2019-01-09 08:23 荣锋亮阅读(552) 评论(0) 推荐(0) 编辑

Singer 学习三使用Singer进行mongodb 2 postgres 数据转换

摘要： Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者是文件备注：测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上环境准备 docker-compose 文件阅读全文

posted @ 2019-01-08 21:37 荣锋亮阅读(671) 评论(0) 推荐(0) 编辑

Singer 学习二使用Singer进行gitlab 2 postgres 数据转换

摘要： Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者是文件备注：测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上环境准备 docker-compose 文件阅读全文

posted @ 2019-01-08 15:58 荣锋亮阅读(559) 评论(0) 推荐(0) 编辑

Singer 学习一使用Singer进行mysql 2 postgres 数据转换

摘要： Singer 因为版本的问题，推荐的运行方式是使用virtualenv，对于taps&& target 的运行都是推荐使用此方式，不然包兼容的问题太费事了备注：使用docker-compose 运行数据库服务环境准备 docker-compose 文件数据库准备 version: "3" 阅读全文

posted @ 2019-01-08 15:13 荣锋亮阅读(1359) 评论(0) 推荐(0) 编辑

Singer 开源便捷的ETL 工具

摘要： singer 是一个强大，灵活的etl 工具，我们可以方便的提取web api，file，queue，基本上各种你可以想到的数据源。 singer 有一套自己的数据处理规范， taps， targets，同时官方提供了好多taps（好多是基于api 的），而且在这个api first 的开发时代阅读全文

posted @ 2019-01-08 08:29 荣锋亮阅读(1649) 评论(0) 推荐(0) 编辑

haproxy prometheus 监控docker-compose 运行试用

摘要： haproxy prometheus 的监控metrics 使用的是exporter ，因为haproxy 对于状态统计报告处理的比较好，我们可以了stats 同时支持一个csv的api 接口，所以exporter也是基于这个搞的开发，同时里面对于不同版本的haproxy 做了适配环境准备 d 阅读全文

posted @ 2019-01-07 11:35 荣锋亮阅读(1266) 评论(0) 推荐(0) 编辑

使用nexus 管理pip 私有包

摘要： nexus 已经支持了对于python pip 包的管理（支持group，host，proxy）这个是一个简单的使用docker 运行的demo，同时集成了s3 存储，以及一个为了测试简单的自定义pip 包环境准备 docker-compose 文件 version: "3" services 阅读全文

posted @ 2019-01-06 09:07 荣锋亮阅读(2343) 评论(0) 推荐(0) 编辑

gitingore && opensource license 自动生成的网站

摘要：老外就是爱搞事情，总有一些方便我们开发的小工具出来，比如gitignore以及开源软件许可协议的 gitingore 生成的地址 https://www.gitignore.io/ 使用搜索的地方输入语言即可效果开源软件协议地址 https://choosealicense.com/ 使用阅读全文

posted @ 2019-01-05 23:29 荣锋亮阅读(299) 评论(0) 推荐(0) 编辑

lua-resty-qless-web UI 界面运行

摘要： lua-resty-qless-web 是 lua-resty-qless 的web 管理界面以及lua-resty-template 模版引擎开发的，里面实现了一个简单的路由功能备注： demo 运行使用docker-compose ，简单修改了官方demo 有问题的部分,后边会添加集成lua 阅读全文

posted @ 2019-01-04 21:17 荣锋亮阅读(1334) 评论(0) 推荐(0) 编辑

自定义pip 包开发简单说明

摘要：文档主要来自官方文档，主要是为了测试学习创建pip 包项目项目结构 ├── LICENSE ├── README.md ├── dalongrong_example_pkg │ └── __init__.py └── setup.py ├── LICENSE ├── README.md ├── 阅读全文

posted @ 2019-01-04 13:16 荣锋亮阅读(2228) 评论(0) 推荐(0) 编辑

ethr 微软开源的tcp udp http 网络性能测试工具

摘要： ethr 是微软开源的tcp udp http 网络性能测试工具包包含的server 以及 client 我们可以远程测试同时对于https icmp 的支持也在开发中，tcp 协议支持连接、带宽、延迟的测试同时支持的操作系统也比较全，基于golang 开发，可以做为我们系统开发的一个测试工具了阅读全文

posted @ 2019-01-04 10:10 荣锋亮阅读(1743) 评论(0) 推荐(0) 编辑

openresty 集成lua-resty-mail +smtp2http 扩展灵活的mail 服务

摘要： lua-resty-mail 是一个不错的openresty mail 扩展，我们可以用来进行邮件发送，支持附件功能 smtp2http 是一个smtp 服务，可以将smtp 请求数据转换为http rest 请求，这个在我们的实际应用中还是很方便的，比如需要mail 服务，但是我们需要进行一些灵阅读全文

posted @ 2019-01-04 09:10 荣锋亮阅读(1706) 评论(0) 推荐(0) 编辑

masterlab 敏捷项目管理工具

摘要： masterlab 是一个参考了gitlab 以及jira 的开源项目管理工具，基于php开发，同时官方也提供了一个 docker-compose 运行的项目 clone 代码 git clone https://github.com/gopeak/masterlab-docker.git git 阅读全文

posted @ 2019-01-03 11:38 荣锋亮阅读(1956) 评论(0) 推荐(0) 编辑

luarocks 自定义包发布试用

摘要： luarocks 是一个方便的lua 包管理工具，可以帮助我们实现代码的复用以及分享注册账户我使用了gihtub 的账户，直接点击&&授权即可创建一个简单的luarocks 包项目创建rockspec 文件使用luarocks 工具 luarocks-5.1 write_rockspec 阅读全文

posted @ 2019-01-03 10:35 荣锋亮阅读(1326) 评论(0) 推荐(0) 编辑

vorpal 又一个方便的cli 开发包

摘要： vorpal 是一个npm 包，我们可以用来开发专业的cli 程序简单使用初始化项目 yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y 添加依赖 yarn add 阅读全文

posted @ 2019-01-02 21:36 荣锋亮阅读(600) 评论(0) 推荐(0) 编辑

gogs wekan 集成试用

摘要： wekan 官方提供了一个集成gogs 的扩展，不是完全的自动化，需要结合cli，但是官方的cli 写的。。。（不是很全）备注：测试环境使用docker-compose 环境准备 docker-compose 文件 version: "3.7" services: wekandb: image: 阅读全文

posted @ 2019-01-02 17:13 荣锋亮阅读(1350) 评论(0) 推荐(0) 编辑

Creating Node.js Command Line Utilities to Improve Your Workflow

摘要：转自：https://developer.telerik.com/featured/creating-node-js-command-line-utilities-improve-workflow/ 类似的oclif Once upon a time, the command line seemed 阅读全文

posted @ 2019-01-02 14:22 荣锋亮阅读(436) 评论(0) 推荐(0) 编辑

Gravitee.io api gateway 试用

摘要：以前写过几篇关于整体介绍的以及使用docker 运行的简单说明，有了docker-compose 环境我们可以方便的进行测试使用了。环境准备 docker-compose 文件 version: '3' networks: default: services: nginx: image 阅读全文

posted @ 2019-01-01 08:48 荣锋亮阅读(4278) 评论(0) 推荐(0) 编辑

Gravitee.io docker-compose运行

摘要： Gravitee.io 是一个相对比较完整的api gateway 平台，包含了api 相对比较完整的生命周期管理同时在访问控制以及日志监控上也做的比较好，是一款可以尝试试用的api gateway 平台环境准备 docker-compose 文件 version: '3' networks 阅读全文

posted @ 2018-12-31 22:04 荣锋亮阅读(1796) 评论(1) 推荐(0) 编辑

Gravitee.io Access Management docker-compose运行

posted @ 2018-12-30 10:25 荣锋亮阅读(976) 评论(1) 推荐(0) 编辑

Gravitee.io Access Management 组件

摘要： Access Management组件在Gravitee.io 主要是进行认证以及权鉴的处理，支持oauth2 以及openid connect 等协议，同时好多功能已经集成在ui 管理界面上了，还是比较方便的。参考资料 https://docs.gravitee.io/am/2.x/am_ove 阅读全文

posted @ 2018-12-30 09:54 荣锋亮阅读(911) 评论(0) 推荐(0) 编辑

Gravitee.io alert 引擎架构

摘要： alert 在我们的实际开发中应用的场景很多，我们需要进行系统状态的查看，以及特殊异常请求的处理参考架构图从下图可以看出，还是很方便的，同时支持slack email。。。的实时消息通知，而且我们也可以编写插件组件说明对于alert 来说从上图也可以看出，主要是trigger 以及even 阅读全文

posted @ 2018-12-30 09:49 荣锋亮阅读(802) 评论(2) 推荐(1) 编辑

gravitee.io gateway 组件说明

摘要： gateway 在gravitee.io是一个比较核心的组件，我们可以应用规则到请求链中（包含request，response，类似的skipper的路由功能（可以通过pipeline的模型，在request、response 阶段进行数据的处理）参考架构图内部请求 gateway 架构参考阅读全文

posted @ 2018-12-30 09:41 荣锋亮阅读(1029) 评论(0) 推荐(0) 编辑

Gravitee.io 架构

摘要： Gravitee.io 官方文档提供了几张架构图，通过图我们可以有一个整体的认识。全局架构平台架构参考资料 https://docs.gravitee.io/apim_overview_architecture.html 阅读全文

posted @ 2018-12-30 09:33 荣锋亮阅读(1269) 评论(0) 推荐(0) 编辑

gravitee-gateway 又一个开源 apigateway

摘要： gravitee-gateway 是Gravitee.io基于 java 开发的api gateway 功能很丰富，包含ui 界面报警管理，访问控制管理，同时也包含一个比较完整的api 声明周期管理，从文档上看到的还是很不错的。参考资料 https://docs.gravitee.io htt 阅读全文

posted @ 2018-12-30 09:26 荣锋亮阅读(4054) 评论(0) 推荐(0) 编辑

Gravitational Teleport docker-compose组件独立部署运行

摘要： Gravitational Teleport 可以作为堡垒机进行使用，上次写过一个all in one 的，这次参考官方的配置运行一个proxy node auth 分离的应用备注：基于docker-compose 运行环境准备 docker-compose 文件 version: '2' 阅读全文

posted @ 2018-12-29 09:41 荣锋亮阅读(1090) 评论(0) 推荐(0) 编辑

Gravitational Teleport docker-compose简单运行

摘要： Gravitational Teleport 可以作为堡垒机进行使用，为了测试方便使用docker-compose 运行一个all in one 的demo 备注：官方提供的docker-compose 文件版太旧，而且复杂环境准备 docker-compose 文件 version: '2' 阅读全文

posted @ 2018-12-28 19:44 荣锋亮阅读(1032) 评论(0) 推荐(0) 编辑

Gravitational Teleport简单使用

摘要：使用官方提供的二进制包进行快速启动测试，详细细节还需要在学习下载软件包 mac 系统 https://gravitational.com/teleport/download/ wget https://get.gravitational.com/teleport-v3.1.1-darwin-amd 阅读全文

posted @ 2018-12-28 17:08 荣锋亮阅读(1295) 评论(0) 推荐(0) 编辑

Gravitational Teleport 开源的通过ssh && kubernetes api 管理linux 服务器集群的网关

摘要： Gravitational Teleport 是一个开源的通过ssh && kubernetes api 管理linux 服务器集群的网关支持以下功能：基于证书的身份认证 ssh 访问位于防火墙后支持基于rbac 的访问控制会话记录&&ssh 审核日志 kubernetes 审计日志当然也阅读全文

posted @ 2018-12-28 14:58 荣锋亮阅读(1119) 评论(0) 推荐(0) 编辑

导航

公告