01 2019 档案

几个方便的nodejs 任务调度框架
摘要：摘录几个方便的nodejs 任务调度包 node-cron https://github.com/kelektiv/node-cron node-schedule https://github.com/node-schedule/node-schedule agenda https://github 阅读全文

posted @ 2019-01-31 13:22 荣锋亮 阅读(1431) 评论(0) 推荐(0) 编辑

使用kube_ping进行Keycloak群集设置 - DZone Cloud
摘要：转自：https://www.jdon.com/51501 看看如何使用kube_ping和Keycloak实现自动发现？ Keycloak是一个开源软件，提供身份管理和访问管理的单点登录。Keycoak使用不同类型的ping来发现群集的其他成员。我们将使用kube_ping作为发现（JGROUPS 阅读全文

posted @ 2019-01-29 18:36 荣锋亮 阅读(898) 评论(0) 推荐(0) 编辑

jenkins 集成 keycloak 认证
摘要：keycloak 是很不错的sso 工具，当然也有Jenkins 的插件，我们可以使用jenkins 插件，方便用户账户的管理 环境准别 docker-compose version: "3" services: jenkins: image: jenkins/jenkins:lts-alpine 阅读全文

posted @ 2019-01-29 16:28 荣锋亮 阅读(2405) 评论(0) 推荐(0) 编辑

openresty 集成 keycloak-oauth-oidc
摘要：keycloak 是一个比较全，而且比较方便的sso 解决方案，同时为我们提供了灵活的扩展特性 备注： 测试使用docker-compose 运行,对于keycloak 使用pg 数据库做为后端存储 环境准备 docker-compose文件 version: "3" services: openr 阅读全文

posted @ 2019-01-29 14:01 荣锋亮 阅读(3546) 评论(5) 推荐(0) 编辑

keycloak docker-compose 运行
摘要：内容很简单，主要是搭建一个可运行的keycloak 环境，方便开发测试，同时支持数据库的持久化 docker-compose 文件 version: "3" services: auth: image: jboss/keycloak ports: - "8080:8080" environment: 阅读全文

posted @ 2019-01-28 16:33 荣锋亮 阅读(1388) 评论(0) 推荐(0) 编辑

使用 pkg 打包分发 nodejs 应用
摘要：pkg 是一个很不错的跨平台 nodejs 应用打包工具，使用此工具，我们只需要给与用户提供一个简单的 可执行文件就可以了，同时代码也是二进制的，提高了代码的安全性 备注：测试demo 很简单，也比较典型，包装了sofa 框架，我们可以直接查看graphql api 以及open api 环境准备 阅读全文

posted @ 2019-01-28 11:15 荣锋亮 阅读(2902) 评论(0) 推荐(0) 编辑

sofa graphql 2 rest api webhook 试用
摘要：sofa 的webhook实际上就是将graphql 的subscription 进行了扩展，当接受到sub 请求的时候 再做一次http 的转发处理，方便rest api 的访问 环境准备 环境还是使用的docker-compose ，以前的代码，只是添加了一个webhook 的容器镜像 可以参考 阅读全文

posted @ 2019-01-27 16:22 荣锋亮 阅读(239) 评论(0) 推荐(0) 编辑

sofa graphql 2 rest api 试用
摘要：大部分代码还是来自sofa 的官方文档，同时添加了docker && docker-compose集成 备注： 代码使用typescript 同时运行的时候为了方便直接运行使用ts-node 运行 环境准备 docker-compose 文件 version: "3" services: api: 阅读全文

posted @ 2019-01-27 13:55 荣锋亮 阅读(815) 评论(0) 推荐(0) 编辑

sofa graphql 2 rest api框架
摘要：sofa 是一个出发点不一样的工具，提供了从graphql 2 rest 的处理，一般现有的框架都在 关注的是rest 2 graphql （大部分还是基于swagger、open api 标准进行设计） sofa 反而是讲graphql 的特性转换到rest api 支持以下特性 支持query、 阅读全文

posted @ 2019-01-27 08:51 荣锋亮 阅读(320) 评论(0) 推荐(0) 编辑

openresty 集成 sentry 异常系统
摘要：sentry 是一个方便的错误异常追踪系统，同时社区也提供了openresty 的lua 包，使用docker-compose 进行测试 备注： sentry 部分的配置来自官方文档 环境准备 docker-compose 文件 # NOTE: This docker-compose.yml is 阅读全文

posted @ 2019-01-25 19:56 荣锋亮 阅读(705) 评论(0) 推荐(0) 编辑

quicklink 基本使用
摘要：原理 使用可见性以及预取数据，同时充分利用浏览器的空闲时间，主要是解析href 以通过代码的选项指定需要加载的数据，当然其中 也添加了好多灵活的控制参数，方便我们使用，而且代码很小，压缩之后也就1kb 运行使用了docker version: "3" services: web: image: ng 阅读全文

posted @ 2019-01-25 16:32 荣锋亮 阅读(806) 评论(0) 推荐(0) 编辑

pnpm 快速节省磁盘工具的包管理工具
摘要：nodejs 相关的包管理工具有很多，我们常用的有 npm cnpm（我基本已经不用了），yarn。。。 pnpm 是另外一个不错的包管理工具，包含以下特性 快速 节省空间，一个版本的包只会在磁盘中存储一份 支持多包仓库管理 严格，只能访问package.json 中的依赖 跨平台，支持mac li 阅读全文

posted @ 2019-01-25 15:42 荣锋亮 阅读(1352) 评论(0) 推荐(0) 编辑

Load Balancing OpenSSH SFTP with HAProxy
摘要：In my previous post I described how we setup a Ubuntu Server (12.0.4) as an OpenSSH SFTP server.In this post I am going to describe how I have load ba 阅读全文

posted @ 2019-01-25 13:45 荣锋亮 阅读(774) 评论(0) 推荐(0) 编辑

openresty 一些可选的模板引擎
摘要：以下为一些 openresty 可选的模板引擎，方便使用 lemplate (https://github.com/openresty/lemplate) lua-resty-tags (https://github.com/bungle/lua-resty-tags) lua-resty-hoed 阅读全文

posted @ 2019-01-24 09:47 荣锋亮 阅读(1141) 评论(0) 推荐(0) 编辑

openresty router && template 试用
摘要：router 是一个比较方便的 openresty 路由组件，我们可以用来编写灵活强大的 web 应用，类似的 lua-resty-route 也是很不错的，但是如果是比较简单的直接可以使用 lua-resty-template 备注： 测试环境使用docker-compose 环境准备 docke 阅读全文

posted @ 2019-01-24 08:34 荣锋亮 阅读(864) 评论(0) 推荐(0) 编辑

timescaledb 集成 madlib
摘要：github 上有人提出了一个问题（2017 很早了），然后搜索timescaledb 的docs 文档，发现有 一片介绍的文章，所以尝试运行下 备注： 环境使用虚拟机安装（没有使用docker madlib 的原因，实际上可以尝试基于timescaledb 的镜像改造） 安装madlib 这个可以 阅读全文

posted @ 2019-01-21 20:15 荣锋亮 阅读(906) 评论(0) 推荐(0) 编辑

madlib centos yum 包安装
摘要：使用centos 测试安装madlib sql 机器学习类库 安装步骤 添加pg 10 repo yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2. 阅读全文

posted @ 2019-01-21 13:02 荣锋亮 阅读(702) 评论(0) 推荐(0) 编辑

Scalable MySQL Cluster with Master-Slave Replication, ProxySQL Load Balancing and Orchestrator
摘要：MySQL is one of the most popular open-source relational databases, used by lots of projects around the world including incredibly large-scale ones lik 阅读全文

posted @ 2019-01-21 10:34 荣锋亮 阅读(553) 评论(0) 推荐(0) 编辑

mino 路径格式的bucket 数据访问
摘要：实际上这个功能很简单，如果官方不支持，我们可以通过基于nginx 的url rewrite 也可以实现 格式说明 如果配置了domain minio 会将 http://mydomain.com/bucket/object 的格式请求，转换为 (.+).mydomain.com 格式的，还是很方便的 阅读全文

posted @ 2019-01-20 09:40 荣锋亮 阅读(2039) 评论(0) 推荐(0) 编辑

minio 对于压缩的处理
摘要：我们可以简单的配置就可以让minio 支持数据压缩了，这个对于减少带宽的请求，以及web 端的优化很有意义 配置说明 配置文件 "compress": { "enabled": true, "extensions": [".txt",".log",".csv", ".json"], "mime-ty 阅读全文

posted @ 2019-01-20 09:38 荣锋亮 阅读(5999) 评论(2) 推荐(0) 编辑

mino federation 功能
摘要：mino federation 可以让我们进行 bucket的查找，实现更灵活的分布式控制 其中依赖了几个组件 coredns etcd 参考架构图 说明 官方也提供了一个简单的部署的demo，总的来说这个功能还是很方便的，我们可以用来实现一个强大，灵活的s3 分布式存储 参考资料 https:// 阅读全文

posted @ 2019-01-20 09:15 荣锋亮 阅读(846) 评论(0) 推荐(0) 编辑

Full Schema Stitching with Apollo Server
摘要：转自： https://tomasalabes.me/blog/nodejs/graphql/apollo/2018/09/18/schema-stitiching-apollo.html Full Schema Stitching with Apollo Server In this post w 阅读全文

posted @ 2019-01-19 20:28 荣锋亮 阅读(386) 评论(0) 推荐(0) 编辑

GraphQL Gateway Architectures
摘要：转自： https://tomasalabes.me/blog/graphql/node/microservices/2018/08/11/graphql-architectures.html GraphQL Gateway Architectures These are the approache 阅读全文

posted @ 2019-01-19 20:24 荣锋亮 阅读(477) 评论(0) 推荐(0) 编辑

Modularizing your graphQL schemas
摘要：转自： https://tomasalabes.me/blog/nodejs/graphql/2018/07/11/modularizing-graphql.html Modularizing your graphQL schemas Working in a kinda big graphql s 阅读全文

posted @ 2019-01-19 20:21 荣锋亮 阅读(389) 评论(0) 推荐(0) 编辑

gearman openresty 集成试用
摘要：很简单使用了一个openresty 的lua 模块 环境准备 docker-compose 文件 详细配置可以参考 https://github.com/rongfengliang/gearmangolang-docker version: "3" services: demo: image: ar 阅读全文

posted @ 2019-01-18 23:44 荣锋亮 阅读(387) 评论(0) 推荐(0) 编辑

madlib 集成 hasura graphql-engine 试用
摘要：madlib 可以让我们直接在sql 中进行机器学习，集成了强大的sql 能力，以及分析能力，后边会尝试 集成graphql engine ，让功能更强大 docker 镜像准备 使用了一个别人的写好的，也可以参考官方提供的,就是镜像包有点大 docker-compose 文件 version: ' 阅读全文

posted @ 2019-01-18 23:22 荣锋亮 阅读(624) 评论(0) 推荐(0) 编辑

gearman kubernetes 运行
摘要：备注： 使用的是golang 版本的实现，同时官方也提供了一个k8s 的helm 部署charts，我 没有使用这个helm，而是通过kompose 这个工具直接转换的 docker-compose 文件 文件名为：docker-compose-no-volumes.yaml version: "3 阅读全文

posted @ 2019-01-18 13:48 荣锋亮 阅读(451) 评论(0) 推荐(0) 编辑

gearman 简单试用
摘要：服务启动 使用yum 的安装包 安装server yum install -y gearmand yum install -y gearmand yum install -y gearmand yum install -y gearmand yum install -y gearmand yum i 阅读全文

posted @ 2019-01-18 10:40 荣锋亮 阅读(564) 评论(0) 推荐(0) 编辑

golang 版本 gearman 试用
摘要：g2 是golang 版的gearman 实现，包含了server （支持leveldb，以及metrics）、client 代码、worker 代码 使用上还是很方便的，同时部署也比较简单，结合docker 我们可以实现快速的部署 使用go mod 进行包管理 docker-compose文件 v 阅读全文

posted @ 2019-01-17 22:29 荣锋亮 阅读(1107) 评论(0) 推荐(0) 编辑

jenkins 使用smtp2http 邮件服务，扩展灵活的构建通知功能
摘要：smtp2http 是一个很方便的可以将smtp 转换为http 服务的工具，同时也支持扩展的开发，我们可以使用此工具 扩展灵活的ci、cd 生命周期管理，而不是简单的邮件处理 备注： 使用docker-compose 运行 环境准备 docker-compose 文件 注意为了方便使用了一个web 阅读全文

posted @ 2019-01-17 18:54 荣锋亮 阅读(602) 评论(0) 推荐(0) 编辑

nuxt docker 运行
摘要：nuxt 是vue 版的next ，实现的功能还是很方便的，对于需要开发性能要求比较高的web app 是一个很不错的选择 备注： 项目很简单，使用docker && docker-compose 运行，同时对于静态页面的处理使用了 docker 的多阶段处理，通过nginx 提供服务，服务端的运行 阅读全文

posted @ 2019-01-17 15:04 荣锋亮 阅读(2757) 评论(0) 推荐(0) 编辑

src-d engine 强大的git 历史分析工具
摘要：src-d engine 包含了Babelfish ，同时可以看作是Babelfish 的升级版本，我们可以使用sql 进行代码分析 备注： 注意运行的时候需要容器支持 使用 安装docker 参考相关文档，或者直接安装docker for desktop 版本的 参考相关文档，或者直接安装dock 阅读全文

posted @ 2019-01-15 21:27 荣锋亮 阅读(677) 评论(0) 推荐(1) 编辑

Babelfish 基本试用
摘要：测试使用docker 部署 docker-compose文件 注意网络模型选择的host,同时配置了opentracing 服务 version: "3" services: bblfsh: image: bblfsh/bblfshd privileged: true environment: - 阅读全文

posted @ 2019-01-15 20:21 荣锋亮 阅读(1217) 评论(0) 推荐(0) 编辑

Babelfish 开源通用代码解析服务
摘要：Babelfish 是一个开源的代码解析服务 参考架构 支持的语言 bash go java javascript php ruby c++ typescript 功能 我们可以使用此工具，进行大规模的代码分析，对于做ci/cd （devops） 很方便 运行 最简单的方式是使用docker 运行 阅读全文

posted @ 2019-01-15 15:04 荣锋亮 阅读(490) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（四）macro 的执行
摘要：macro 说明 macro 是sqler 的核心，当前的处理流程为授权处理，数据校验，依赖执行（include），聚合处理，数据转换 处理，sql 执行以及sql 参数绑定 授权处理 这个是通过golang 的js 包处理的，通过将golang 的http 请求暴露为js 的fetch 方法，放在 阅读全文

posted @ 2019-01-14 19:09 荣锋亮 阅读(562) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（三） rest协议
摘要：rest 服务说明 rest 协议主要是将配置文件中的宏暴露为rest 接口，使用了labstack/echo web 框架，同时基于context 模型 进行宏管理对象的共享，同时进行了一些中间件的注册 cors RemoveTrailingSlash gzip Recover rest 启动 中 阅读全文

posted @ 2019-01-14 17:38 荣锋亮 阅读(688) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（二） resp 协议
摘要：resp 协议主要是方便使用redis 客户端进行连接，resp 主要是依赖 tidwall/redcon golang redis 协议包 resp 服务说明 server_resp.go 文件，干的事情比较简单，就是redis command 的支持，包含了几个内置的 ping select h 阅读全文

posted @ 2019-01-14 17:24 荣锋亮 阅读(512) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 源码解析（一）应用的启动入口
摘要：sqler sql 转rest api 的源码还是比较简单的，没有比较复杂的设计，大部分都是基于开源 模块实现的。 说明： 当前的版本为2.0,代码使用go mod 进行包管理，如果本地运行注意golang 版本，我使用docker 运行， 参考 https://github.com/rongfen 阅读全文

posted @ 2019-01-14 16:44 荣锋亮 阅读(594) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 2.0 试用
摘要：sqler 的迭代还是很快的，已经2.0 了，2.0 有好多新功能的添加，同时也有好多不兼容的修改 说明： 测试使用docker-compose，同时我已经push 了docker 镜像 dalongrong/sqler 发布说明 添加 aggregate 移除 authorizers hooks 阅读全文

posted @ 2019-01-14 10:47 荣锋亮 阅读(724) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 数据聚合操作
摘要：sqler 2.0 提供了一个新的指令aggregate，注意这个和sql 的聚合函数不是一个概念，这个只是为了 方便api数据的拼接 参考格式 databases { exec = "SHOW DATABASES" ​ transformer = <<JS // there is a global 阅读全文

posted @ 2019-01-14 10:10 荣锋亮 阅读(892) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 数据校验的处理
摘要：早期版本（2.0 之前）使用rules 进行数据校验处理，2.0 之后进行了修改使用 validators，这样更加明确 参考格式 addpost { // if any rule returns false, // SQLer will return 422 code, with invalid 阅读全文

posted @ 2019-01-14 10:08 荣锋亮 阅读(258) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 防止sql 注入
摘要：sqler 对于sql Sanitization 的处理，我们可以使用bind 指令 说明： 这个是2.0 的功能，注意版本的使用 参考格式 addpost { // $input is a global variable holds all request inputs, // including 阅读全文

posted @ 2019-01-14 10:04 荣锋亮 阅读(532) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 授权处理
摘要：我们可以使用内置的authorizer 以及js 脚本，方便的进行api 接口的授权处理 说明： 这个是2.0 的功能，注意版本的使用 参考格式 addpost { authorizer = <<JS (function(){ // $input is a global variable holds 阅读全文

posted @ 2019-01-14 09:55 荣锋亮 阅读(352) 评论(0) 推荐(0) 编辑

goreplay 输出流量捕获数据到 elasticsearch
摘要：goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版 功能更强大，支持二进制协议的分析 。 为了方便数据的存储，我们可以使用es 进行存储 环境准备 docker-compose version: "3" services: nginx: build: 阅读全文

posted @ 2019-01-13 12:39 荣锋亮 阅读(1913) 评论(0) 推荐(0) 编辑

goreplay 镜像nginx web app流量
摘要：goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版 功能更强大，支持二进制协议的分析 备注： 演示使用docker-compose 运行，测试镜像流量到其他的两个web app （openresty） 环境准备 docker-compose 文件 ve 阅读全文

posted @ 2019-01-13 11:06 荣锋亮 阅读(1162) 评论(0) 推荐(0) 编辑

tile38 server 密码保护
摘要：默认tile38 是没有密码保护的，我们可以通过配置指定密码,类似redis 的，但是redis 的一般我们是配置在 配置文件中的 环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "98 阅读全文

posted @ 2019-01-12 20:58 荣锋亮 阅读(598) 评论(0) 推荐(0) 编辑

tile38 roaming-geofences 试用
摘要：tile38 支持动态实时的移动对象的数据监控 环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" benthos: image: jeffail/benthos v 阅读全文

posted @ 2019-01-12 20:45 荣锋亮 阅读(607) 评论(0) 推荐(0) 编辑

tile38 复制配置
摘要：基于复制我们可以保证tile38 server 的ha 环境准备 docker-compose 文件 说明里面多了一个webhook 的服务，可以不用管 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" app 阅读全文

posted @ 2019-01-12 11:25 荣锋亮 阅读(650) 评论(0) 推荐(0) 编辑

The Guardian’s Migration from MongoDB to PostgreSQL on Amazon RDS
摘要：转载一片mongodb 迁移pg 数据库的文章 原文：https://www.infoq.com/news/2019/01/guardian-mongodb-postgresql The Guardian migrated their CMS's datastore in 2018 from a s 阅读全文

posted @ 2019-01-12 11:11 荣锋亮 阅读(242) 评论(0) 推荐(0) 编辑

tile38 一款开源的geo 数据库
摘要：tile38 是基于golang 编写的geo 数据库，支持地理空间索引、实时地理围栏，同时也支持leader-flower 的部署模型 备注： 下边测试一个简单的地理围栏功能 环境准备 docker-compose 文件 包含了一个简单的webhook 工具 version: "3" servic 阅读全文

posted @ 2019-01-12 11:08 荣锋亮 阅读(2723) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的docker 镜像构建（续）使用源码编译
摘要：sqler 在社区的响应还是很不错的，已经添加了好多数据库的连接，就在早上项目的包管理还没有写明确， 下午就已经有go mod 构建的支持了，同时也调整下docker 镜像的构建，直接使用git clone + go mod 备注： go mod 是新的包管理方案，需要新版本的golang，使用容器 阅读全文

posted @ 2019-01-11 19:07 荣锋亮 阅读(338) 评论(0) 推荐(0) 编辑

sqler sql 转rest api javascript 试用
摘要：sqler 内嵌了一个js 引擎的实现（基于goja,当我们配置了exec的配置之后 调用宏（redis 接口）或者rest api 的时候会有一个全局变量$result ，保存了执行的结果，我们可以 通过js 操作数据对象，比如进行数据改写，进行一些额外的数据控制。 同时默认的demo 配置的da 阅读全文

posted @ 2019-01-11 11:39 荣锋亮 阅读(487) 评论(0) 推荐(0) 编辑

sqler sql 转rest api redis 接口使用
摘要：sqler 支持redis 协议，我们可以用过redis client 连接sqler，他会将宏住转换为redis command 实现上看源码我们发现是基于一个开源的redis 协议的golang 实现，同时sqler 内置了一些方便 的command ： list、 info、 echo、sel 阅读全文

posted @ 2019-01-11 09:35 荣锋亮 阅读(801) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的docker image
摘要：最新sqler 又发布了一个版本，同时官方文档也更新，对于数据库的连接有了详细的说明 Dockerfile 为了方便以及减少大小，使用多阶段构建,同时都通过环境变量运行 FROM alpine:latest as build ENV VERSION=v1.6 WORKDIR /app RUN apk 阅读全文

posted @ 2019-01-11 08:39 荣锋亮 阅读(307) 评论(0) 推荐(0) 编辑

sqler sql 转rest api 的工具试用
摘要：sqler 从开源很快就获取了1k的star，使用起来很方便，而且也很灵活，支持的数据库也比较多。 支持的功能 无需依赖，可独立使用； 支持多种数据可类型，包括：SQL Server, MYSQL, SQLITE, PostgreSQL, Cockroachdb 等； 内置 RESTful 服务器； 阅读全文

posted @ 2019-01-10 22:02 荣锋亮 阅读(2783) 评论(0) 推荐(0) 编辑

apache geode 试用
摘要：使用docker 运行,文档参考的官方的5 分钟学习文档 拉取镜像 docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/ge 阅读全文

posted @ 2019-01-10 16:15 荣锋亮 阅读(1411) 评论(0) 推荐(0) 编辑

benthos v1 的一些新功能
摘要：主要从视频文件截取，暂时github 上还没有很全的相关文档 v1目标 config lint processor error 处理 subprocess processor awk processor sleep processor 说明 部分processor github 上已经有文档了，但是 阅读全文

posted @ 2019-01-10 09:20 荣锋亮 阅读(479) 评论(0) 推荐(0) 编辑

Singer 学习十三 发现模式
摘要：发现模式 发现模式提供了一种描述tap 支持数据流的方式，使用了json schema 做为描述数据的结构以及每个数据流的 类型，发现模式的实现依赖tap 的数据源，有些taps 将硬编码每个流的模式，而其他的将连接到提供可用流的 描述的api，当运行发现模式时，tap 应该写如stdout 流列表 阅读全文

posted @ 2019-01-09 22:36 荣锋亮 阅读(298) 评论(0) 推荐(0) 编辑

Singer 学习十二 指南
摘要：版本0.3.0 tap是一个应用程序，需要一个配置文件和可选的状态文件作为输入，并产生有序的流记录， 状态和模式信息作为输出。 一个记录是任何类型的JSON编码的数据。tap 状态消息用于保留一个调用之间的信息。一个模式消息描述stream 中的 数据类型。Tap可以用任何编程语言实现。 tap设计 阅读全文

posted @ 2019-01-09 19:10 荣锋亮 阅读(420) 评论(0) 推荐(0) 编辑

Singer 学习十一 配置以及状态管理
摘要：配置和状态文件通过提供身份验证信息，开始时间和有关以前调用的信息，帮助为Taps和Targets提供上下文 配置文件 配置文件包含tap 运行需要的信息，通常包含API，以及数据源的凭据 特殊字段 start_data ,首次同步时候使用，指定数据同步的范围 user_agent 提供方便的问题解决 阅读全文

posted @ 2019-01-09 18:50 荣锋亮 阅读(322) 评论(0) 推荐(0) 编辑

Singer 学习十 同步模式
摘要：sync 模式是属于tap 的操作，同步模式下，tap 需要提交 schema、 record 、state message， singer 指南对于每种 类型有详细的说明 streams 每个stream 的metadata 包含了详细的用来进行sync 操作的控制说明 replication 方 阅读全文

posted @ 2019-01-09 16:54 荣锋亮 阅读(231) 评论(0) 推荐(0) 编辑

Singer 学习九 运行&&开发taps、targets (四 开发target)
摘要：singer 的target 需要从stdin 的行数据，同时处理schema、record、state 消息 指南 schema 需要进行关联stream records 数据的校验 一旦Target处理了State消息之前流中出现的所有数据，就将状态消息写入stdout。请注意，尽管State消 阅读全文

posted @ 2019-01-09 16:25 荣锋亮 阅读(201) 评论(0) 推荐(0) 编辑

Singer 学习八 运行&&开发taps、targets (三 开发tap)
摘要：如何没有找到适合的tap，那么我们可以自己开发一个 hello world tap 仅仅是一个程序，我们可以使用任何语言进行编写，根据singer 指南，输出数据到stdout 即可，实际上一个简单的 demo，可以直接使用命令行工具，不需要编写任何代码 内容 printf '{"type":"SC 阅读全文

posted @ 2019-01-09 16:16 荣锋亮 阅读(443) 评论(0) 推荐(0) 编辑

Singer 学习七 运行&&开发taps、targets (二 targets 运行说明)
摘要：接上文： Singer 学习六 运行&&开发taps、targets (一 taps 运行说明) 说明target 需要tap 进行配合运行，所以需要了解tap 的使用 运行target 创建tap 可以参考上文 (1). 创建一个python3 的虚拟环境，并激活 python3 -m venv 阅读全文

posted @ 2019-01-09 15:25 荣锋亮 阅读(325) 评论(0) 推荐(0) 编辑

Singer 学习六 运行&&开发taps、targets (一 taps 运行说明)
摘要：文章内容来来自官方github 说明: singer大部分的taps && targets 是用python编写的，所以内容里面的代码也是使用python 编写 使用python运行singer 运行singer 必须安装python 3.5 以及以上的版本，推荐的方式是使用python 的virt 阅读全文

posted @ 2019-01-09 15:13 荣锋亮 阅读(380) 评论(0) 推荐(0) 编辑

Singer 学习五 docker 运行说明
摘要：介绍过一个工具knots ，方便Singer 可视化开发的工具，但是默认这个工具包含的tap 以及target 比较少（可以自己扩展） 同时这个工具就是基于docker 运行的 docker 运行的几点说明 使用交互模式 开发环境建议使用数据卷挂载的模式 生产环境我们可以直接按照tag 进行打包 d 阅读全文

posted @ 2019-01-09 13:19 荣锋亮 阅读(526) 评论(0) 推荐(0) 编辑

Singer 学习四 可视化数据操作工具
摘要：knots 是一款基于electron 开发的可视化UI界面，我们可以此工具进行方便的数据处理，注意工具使用了 docker 运行，需要安装docker 下载地址 https://github.com/singer-io/knots/releases https://github.com/singe 阅读全文

posted @ 2019-01-09 08:23 荣锋亮 阅读(552) 评论(0) 推荐(0) 编辑

Singer 学习三 使用Singer进行mongodb 2 postgres 数据转换
摘要：Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者 是文件 备注： 测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上 环境准备 docker-compose 文件 阅读全文

posted @ 2019-01-08 21:37 荣锋亮 阅读(670) 评论(0) 推荐(0) 编辑

Singer 学习二 使用Singer进行gitlab 2 postgres 数据转换
摘要：Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者 是文件 备注： 测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上 环境准备 docker-compose 文件 阅读全文

posted @ 2019-01-08 15:58 荣锋亮 阅读(559) 评论(0) 推荐(0) 编辑

Singer 学习一 使用Singer进行mysql 2 postgres 数据转换
摘要：Singer 因为版本的问题，推荐的运行方式是使用virtualenv，对于taps&& target 的运行都是 推荐使用此方式，不然包兼容的问题太费事了 备注： 使用docker-compose 运行数据库服务 环境准备 docker-compose 文件 数据库准备 version: "3" 阅读全文

posted @ 2019-01-08 15:13 荣锋亮 阅读(1358) 评论(0) 推荐(0) 编辑

Singer 开源便捷的ETL 工具
摘要：singer 是一个强大，灵活的etl 工具，我们可以方便的提取web api，file，queue，基本上各种你可以想到的 数据源。 singer 有一套自己的数据处理规范， taps， targets，同时官方提供了好多taps（好多是基于api 的），而且 在这个api first 的开发时代 阅读全文

posted @ 2019-01-08 08:29 荣锋亮 阅读(1644) 评论(0) 推荐(0) 编辑

haproxy prometheus 监控docker-compose 运行试用
摘要：haproxy prometheus 的监控metrics 使用的是exporter ，因为haproxy 对于状态统计报告处理的 比较好，我们可以了stats 同时支持一个csv的api 接口，所以exporter也是基于这个搞的开发，同时 里面对于不同版本的haproxy 做了适配 环境准备 d 阅读全文

posted @ 2019-01-07 11:35 荣锋亮 阅读(1264) 评论(0) 推荐(0) 编辑

使用nexus 管理pip 私有包
摘要：nexus 已经支持了对于python pip 包的管理（支持group，host，proxy） 这个是一个简单的使用docker 运行的demo，同时集成了s3 存储，以及 一个为了测试简单的自定义pip 包 环境准备 docker-compose 文件 version: "3" services 阅读全文

posted @ 2019-01-06 09:07 荣锋亮 阅读(2338) 评论(0) 推荐(0) 编辑

gitingore && opensource license 自动生成的网站
摘要：老外就是爱搞事情，总有一些方便我们开发的小工具出来，比如gitignore以及开源软件许可协议的 gitingore 生成的 地址 https://www.gitignore.io/ 使用 搜索的地方输入语言即可 效果 开源软件协议 地址 https://choosealicense.com/ 使用 阅读全文

posted @ 2019-01-05 23:29 荣锋亮 阅读(298) 评论(0) 推荐(0) 编辑

lua-resty-qless-web UI 界面运行
摘要：lua-resty-qless-web 是 lua-resty-qless 的web 管理界面以及lua-resty-template 模版引擎开发的，里面实现了一个简单的 路由功能 备注： demo 运行使用docker-compose ，简单修改了官方demo 有问题的部分,后边会添加集成lua 阅读全文

posted @ 2019-01-04 21:17 荣锋亮 阅读(1332) 评论(0) 推荐(0) 编辑

自定义pip 包开发简单说明
摘要：文档主要来自官方文档，主要是为了测试学习 创建pip 包项目 项目结构 ├── LICENSE ├── README.md ├── dalongrong_example_pkg │ └── __init__.py └── setup.py ├── LICENSE ├── README.md ├── 阅读全文

posted @ 2019-01-04 13:16 荣锋亮 阅读(2226) 评论(0) 推荐(0) 编辑

ethr 微软开源的tcp udp http 网络性能测试工具
摘要：ethr 是微软开源的tcp udp http 网络性能测试工具包包含的server 以及 client 我们可以远程测试 同时对于https icmp 的支持也在开发中，tcp 协议支持连接、带宽、延迟的测试 同时支持的操作系统也比较全，基于golang 开发，可以做为我们系统开发的一个测试工具了 阅读全文

posted @ 2019-01-04 10:10 荣锋亮 阅读(1736) 评论(0) 推荐(0) 编辑

openresty 集成lua-resty-mail +smtp2http 扩展灵活的mail 服务
摘要：lua-resty-mail 是一个不错的openresty mail 扩展，我们可以用来进行邮件发送，支持附件功能 smtp2http 是一个smtp 服务，可以将smtp 请求数据转换为http rest 请求，这个在我们的实际应用 中还是很方便的，比如需要mail 服务，但是我们需要进行一些灵 阅读全文

posted @ 2019-01-04 09:10 荣锋亮 阅读(1703) 评论(0) 推荐(0) 编辑

masterlab 敏捷项目管理工具
摘要：masterlab 是一个参考了gitlab 以及jira 的开源项目管理工具，基于php开发，同时官方也提供了一个 docker-compose 运行的项目 clone 代码 git clone https://github.com/gopeak/masterlab-docker.git git 阅读全文

posted @ 2019-01-03 11:38 荣锋亮 阅读(1955) 评论(0) 推荐(0) 编辑

luarocks 自定义包发布试用
摘要：luarocks 是一个方便的lua 包管理工具，可以帮助我们实现代码的复用以及分享 注册账户 我使用了gihtub 的账户，直接点击&&授权即可 创建一个简单的luarocks 包项目 创建rockspec 文件 使用luarocks 工具 luarocks-5.1 write_rockspec 阅读全文

posted @ 2019-01-03 10:35 荣锋亮 阅读(1321) 评论(0) 推荐(0) 编辑

vorpal 又一个方便的cli 开发包
摘要：vorpal 是一个npm 包，我们可以用来开发专业的cli 程序 简单使用 初始化项目 yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y 添加依赖 yarn add 阅读全文

posted @ 2019-01-02 21:36 荣锋亮 阅读(594) 评论(0) 推荐(0) 编辑

gogs wekan 集成试用
摘要：wekan 官方提供了一个集成gogs 的扩展，不是完全的自动化，需要结合cli，但是官方的cli 写的。。。（不是很全） 备注： 测试环境使用docker-compose 环境准备 docker-compose 文件 version: "3.7" services: wekandb: image: 阅读全文

posted @ 2019-01-02 17:13 荣锋亮 阅读(1348) 评论(0) 推荐(0) 编辑

Creating Node.js Command Line Utilities to Improve Your Workflow
摘要：转自：https://developer.telerik.com/featured/creating-node-js-command-line-utilities-improve-workflow/ 类似的oclif Once upon a time, the command line seemed 阅读全文

posted @ 2019-01-02 14:22 荣锋亮 阅读(436) 评论(0) 推荐(0) 编辑

Gravitee.io api gateway 试用
摘要：以前写过几篇关于整体介绍的以及 使用docker 运行的简单说明，有了docker-compose 环境我们可以 方便的进行测试使用了。 环境准备 docker-compose 文件 version: '3' ​ networks: default: ​ services: nginx: image 阅读全文

posted @ 2019-01-01 08:48 荣锋亮 阅读(4272) 评论(0) 推荐(0) 编辑

导航