荣锋亮 - 博客园

编译goreplay v1.1.0 支持二进制协议捕捉

摘要： goreplay v1.1.0 将pro 的代码合并到了社区版本中（使用了不同的许可协议）以下是修改配置，进行pg 数据协议的捕捉编译pro 特性的代码 clone 代码 git clone https://github.com/buger/goreplay.git 修改代码支持pro 特性修阅读全文

posted @ 2020-07-19 12:33 荣锋亮阅读(534) 评论(0) 推荐(0) 编辑

goreplay v1.1.0 发布

摘要： goreplay 在半个月之前发布了，有好多提升，同时pro 的代码也移到主代码仓库了（使用了不同的license）如果需要试用pro 的功能可以自己修改代码，编译一个版本修改修改的代码为 pro.go var PRO = true 这样我们就可以体验以下tcp 二进制协议的处理了，看看代码也不阅读全文

posted @ 2020-07-19 11:55 荣锋亮阅读(221) 评论(0) 推荐(0) 编辑

super-expressive 可以基于js 直接编写正则

摘要： super-expressive 是一个很不错的js library，可以简化正则的编写（因为好多人都会正则还是比较陌生的）说明 super-expressive 是一个很不错的库，对于不台会正则的是一个很不错的选择，我们可以基于编程的模式进行正则处理加速基于正则应用开发的速度参考资料 htt 阅读全文

posted @ 2020-07-18 21:36 荣锋亮阅读(618) 评论(0) 推荐(0) 编辑

monio 的一些安全实践

摘要：这个本来属于s3 的特性，但是我们在实际使用的过程中肯定不想别人直接可以通过浏览器或者http就可以可以我们的文件内容这个属于安全的控制，以下是一个实践以及一些安全控制一些原则不能直接暴露minio 访问到公网环境（可以基于nginx，以及反向代理工具解决）配置合理的bucket 策略，可以阅读全文

posted @ 2020-07-18 21:15 荣锋亮阅读(2510) 评论(0) 推荐(0) 编辑

minio+ nginx rewrite 实现saas租户的个性化管理

摘要：这个是一个基于minio+nginx的rewrite 实现的一个功能（类似micro frontend 模式）参考架构一张架构图说明因为当前大家主流的还是基于前后端分离的模式开发软件，组件+api 实现功能，但是很多时候好多租户对于功能有个性化需求，但是系统在设计的时候因为时间问题+早期设阅读全文

posted @ 2020-07-18 13:30 荣锋亮阅读(1840) 评论(0) 推荐(1) 编辑

errors 一个很不错的golang 异常处理包

摘要： pkg/errors 是一个用的比较多，同时也比较灵活的一个golang 异常处理包，我们基于此包，可以灵活的处理软件开发中的异常以下是一个简单的学习项目准备 go.mod module github.com/rongfengliang/go-error go 1.14 require 阅读全文

posted @ 2020-07-17 21:10 荣锋亮阅读(992) 评论(0) 推荐(0) 编辑

使用nginx limit_rate 解决用户下载限速

摘要：问题最近有一个文件下载的服务，下载流量很大，我们的带宽有限，很多时候系统有很多人同时在下载文件尽管客户端已经做了一些断点续传以及重试，但是在用户访问量较大的时候容易出现链接因为带宽问题被关闭，造成用户文件下载失败次数比较多，因为文件偏大，很多时候整个元数据块下载不完整，造成了很差的用户体验阅读全文

posted @ 2020-07-17 15:54 荣锋亮阅读(4368) 评论(0) 推荐(0) 编辑

EdgeDB 1.0 Alpha 4 发布了

摘要： EdgeDB 一直是一个比较期待的数据库，目前发布了Alpha 4，对sdk 的支持以及cli 工具以及server 端的处理都有增强详细可以参考官方介绍 https://edgedb.com/blog/edgedb-1-0-alpha-4-barnard-s-star/ https://gith 阅读全文

posted @ 2020-07-17 12:41 荣锋亮阅读(227) 评论(0) 推荐(0) 编辑

静态文件请求路径 rewrite nginx && openresty 实现

摘要：一个很简单的需求，就是静态页面请求url 的rewrite 方便使用,类似mvc 的路由，不同的请求，对应到后边不同的website，但是是一个地址作用：类似一种micro frontend 的一些部分功能实现，这样静态web site 就有了一个统一而且灵活的入口，比较适合sass，或者用户有阅读全文

posted @ 2020-07-17 11:30 荣锋亮阅读(1372) 评论(0) 推荐(0) 编辑

hazelcast-jet docker 运行试用

摘要：上次有简单写过关于潜入模式的使用，以下是一个使用server 模式基于docker-compose 运行的demo hazelcast-jet 参考架构环境准备 docker-compose 包含了一个management （注意多实例管理需要license）同时添加了prometheus 支持阅读全文

posted @ 2020-07-15 20:16 荣锋亮阅读(479) 评论(0) 推荐(0) 编辑

hazelcast-jet 开源分布式流以及批处理框架

摘要： hazelcast-jet 是hazelcast 团队开源的分布式流以及批处理框架，相比一些其他流以及批处理框架来说，只需要依赖jar包（Siddhi 也是不错的选择）当然hazelcast-jet 同时支持流处理以及批处理，其他的一些stream 处理的平台（工具）streamsets，apac 阅读全文

posted @ 2020-07-15 15:21 荣锋亮阅读(2129) 评论(0) 推荐(0) 编辑

Easy Python Decompiler 一个很不错的python pyc 反编译工具

摘要：最近在分析一个问题，基于python 开发，但是编译为了pyc，其他语言也都有反编译工具的，所以搜了下，发现 Easy Python Decompiler 是一个很不错的工具，所以整理下参考下载地址 https://sourceforge.net/projects/easypythondecomp 阅读全文

posted @ 2020-07-14 21:42 荣锋亮阅读(7707) 评论(0) 推荐(1) 编辑

HAProxy Process Management

摘要：参考资料：https://www.haproxy.com/blog/haproxy-process-management In his HAProxyConf 2019 presentation, William Lallemand (Senior HAProxy Developer) shows 阅读全文

posted @ 2020-07-14 09:58 荣锋亮阅读(306) 评论(0) 推荐(0) 编辑

pgx zombodb 团队开源的基于rust 开发pg扩展

摘要： pgx 一个可以使用rust 开发pg 扩展的工具，由zombodb开源，当前支持的pg 有10，11，12 还是很不错的特性使用了cargo 的子命令 (pgx) 包括进行编译，安装，以及测试（很不错） postgres 的Datum 对应rust 的 pgx::IntoDatum 以及pgx 阅读全文

posted @ 2020-07-14 09:33 荣锋亮阅读(726) 评论(0) 推荐(0) 编辑

一些docker init 进程工具

摘要：对于docker 来说init 进程的管理很重要，以下是几个不错的选择 tini 参考资料https://github.com/krallin/tini dumb-init 参考资料https://github.com/Yelp/dumb-init docker 自己的init 启动的时候添加 -- 阅读全文

posted @ 2020-07-13 20:53 荣锋亮阅读(1470) 评论(0) 推荐(0) 编辑

使用kardianos-service 创建golang开机自启动服务

摘要：开机自启动服务在实际的应用中还是比较多的，kardianos-service 是golang 的一个很不错的实现，我们增强我们 golang 应用的可管理性，以下是一个实践说明基本使用此代码比较简单代码 package main import ( "flag" "log" "time" 阅读全文

posted @ 2020-07-12 11:54 荣锋亮阅读(6869) 评论(3) 推荐(0) 编辑

graylog 测试环境服务

摘要： graylog 是一个很不错的日志系统，但是我们实际开发中，可能需要进行测试，但是直接部署一个graylog 可能有点太费事（依赖es，mongo），有一个golang mock 服务的实现包 github.com/lintianzhi/graylogd 以下是一个demo server的构建以及阅读全文

posted @ 2020-07-12 01:47 荣锋亮阅读(706) 评论(0) 推荐(0) 编辑

记一次keepalived lvs 负载均衡异常的问题

摘要：属于一个线上的问题，就大概介绍下处理背景一个需要需要进行内外网流量的切分（基于dns）外部dns 解析到一个公网ip，然后公网ip 映射到内网的lvs vip 为了部署简单，内网流量以及外网流量使用了一套keepalived（dr 模式，够用了），不同业务流量的请求到vip 然后vip 转发到实阅读全文

posted @ 2020-07-11 10:47 荣锋亮阅读(805) 评论(0) 推荐(0) 编辑

go-bindata + hcl 集成

摘要： go-bindata 可以方便的将静态资源潜入到golang 应用中，hcl 是一个很不错的配置语言，以下是一个简单的集成，比较适合配置基本不需要变动的环境说明一个简单的基于hcl 的job 配置定义，然后通过go-bindata 将配置合并，然后代码引用 job hcl 定义 // Job 阅读全文

posted @ 2020-07-08 20:20 荣锋亮阅读(346) 评论(0) 推荐(0) 编辑

hcl v2 golang 使用的一个参考demo

摘要：代码内容来自hashcorp 公司的一个分享，此demo 里边的一些实践很不错，很值得参考（实际上consul，vault，packer，terroform。。。都是值得参考的）代码结构 ├── README.md ├── go.mod ├── go.sum ├── ink.jpg ├── mai 阅读全文

posted @ 2020-07-06 13:11 荣锋亮阅读(563) 评论(0) 推荐(0) 编辑

hcl v2 golang支持环境变量参考

摘要：以前写过简单的hcl 解析，以下是一个关于支持环境变量的处理参考代码 go mod module gihub.com/rongfengliang/hclv2-learning go 1.14 require ( github.com/hashicorp/hcl/v2 v2.6.0 gith 阅读全文

posted @ 2020-07-05 22:48 荣锋亮阅读(443) 评论(0) 推荐(0) 编辑

Mage 类似make&&rake 基于golang 的build 工具

摘要： Mage 是基于golang 开发的，类似make/rake 的工具，我们可以使用golang 代码编写类似make 的功能以下是一个简单的使用安装 go get -u -d github.com/magefile/mage 基本使用代码 go mod init github.com/rong 阅读全文

posted @ 2020-07-05 12:55 荣锋亮阅读(1466) 评论(0) 推荐(0) 编辑

sql 数据定时发送webhook golang 服务

摘要：目的很简单，主要是基于cron表达式定时获取sql 数据库数据（sql server，mysql，pg，clickhouse）同时通过webhook 发送到外部接口几个需求说明应该基于配置管理，而不是代码写死的支持多数据库同时运行（减少运行的实例）支持sql 数据的处理（对于不用webhoo 阅读全文

posted @ 2020-07-04 22:45 荣锋亮阅读(521) 评论(0) 推荐(0) 编辑

hcl v2 golang使用参考

摘要：最新写的定时关系数据库数据处理的简单应用，使用到了hcl配置管理，目前官方推荐的是v2 以下是关于v2的参考使用环境准备项目准备 go mod init github.com/rongfengliang/hclv2 go get github.com/hashicorp/hcl/v2 代码 pa 阅读全文

posted @ 2020-07-04 18:01 荣锋亮阅读(676) 评论(0) 推荐(0) 编辑

crystal-lang 学习二 macos openssl 问题

摘要：因为我的openssl 是使用brew 安装的，按照一般的解决方法是如下配置注意我的是按照brew 安装的版本的提示配置 export LDFLAGS="-L/usr/local/opt/openssl@1.1/lib" export CPPFLAGS="-I/usr/local/opt/ope 阅读全文

posted @ 2020-07-02 21:31 荣锋亮阅读(351) 评论(0) 推荐(0) 编辑

几个不错的golang 应用升级以及平滑启动包

摘要：在日常的应用开发中我们我们很多时候都需要处理软件的升级以及滚动式升级，基于.net 应用clickonce 以及微软的updte框架都是一个不错的选择对于nodejs 的electron我们有electron-updater ，同时好多桌面应用的开发也会设计自己的更新程序，以下是关于golang 阅读全文

posted @ 2020-07-02 20:04 荣锋亮阅读(2917) 评论(0) 推荐(0) 编辑

crystal-lang 学习一安装基本环境

摘要： crystal-lang 是一个不错的小众语言，ruby 模式的编写，c 级别的性能，不好的地方是目前社区的标准库有点少这篇主要介绍关于安装环境的 linux 安装（centos）添加repo curl https://dist.crystal-lang.org/rpm/setup.sh | s 阅读全文

posted @ 2020-07-02 10:40 荣锋亮阅读(507) 评论(0) 推荐(0) 编辑

amqproxy 一个很不错的rabbitmq proxy

摘要： amqproxy 是由cloudamqp公司开源的（此公司专门搞rabbitmq 服务的）开发基于crystal（一个小众语言，但是很不错），同时今天也转了一片此公司的文章 https://www.cloudamqp.com/blog/2019-05-29-maintaining-long-liv 阅读全文

posted @ 2020-07-01 20:46 荣锋亮阅读(1253) 评论(0) 推荐(0) 编辑

Maintaining Long-Lived Connections with AMQProxy

摘要：转自：https://www.cloudamqp.com/blog/2019-05-29-maintaining-long-lived-connections-with-AMQProxy.html Some applications cannot maintain long-lived connec 阅读全文

posted @ 2020-07-01 17:08 荣锋亮阅读(370) 评论(0) 推荐(0) 编辑

bfe+kuma 进入cncf孵化

摘要： bfe 是百度开源的7层lb，基于golang编写，功能也很丰富，kuma 是kong 团队开源的service mesh 方案，不错的消息是 bfe 进入cncf 孵化了，统计kong 团队捐赠kuma 给了cncf，都是很不错的工具，对于kuma 以前有过简单的介绍，但是已经更新了好多版本了，阅读全文

posted @ 2020-07-01 09:05 荣锋亮阅读(437) 评论(0) 推荐(0) 编辑

xhprof 简单学习试用

摘要：使用centos 7 ，使用内置的php 以及结合php-fpm 安装 yum install -y nginx php-fpm xhprof 修改配置添加xhprof支持 php.ini 安装的位置在/etc/php.ini [xhprof] extension=xhprof.so nginx 配阅读全文

posted @ 2020-06-30 21:05 荣锋亮阅读(269) 评论(0) 推荐(0) 编辑

goja 加载三方npm 模块

摘要：前边有简单介绍过关于goja require 加载三方模块的说明（只是简单的all-in-one 模式的）以下是基于node 实现制作包含依赖文件核心的技术基于browserify&&babelify制作一个all-in-one 的js 文件，同时对于依赖的一些js 新特性基于babel 的e 阅读全文

posted @ 2020-06-29 21:26 荣锋亮阅读(996) 评论(0) 推荐(0) 编辑

goja require 模块加载试用

摘要：写这篇文章的目的主要是试用下goja，同时golang 也有另外一个otto 的实现，都是很不错的选择，因为otto集成了underscore 感觉很不错所以打算给goja 也集成下，同时学习下使用 otto underscore 的使用因为默认otto的代码中已经包含了underscore，使阅读全文

posted @ 2020-06-29 20:24 荣锋亮阅读(2104) 评论(0) 推荐(0) 编辑

修改sql2slack 支持sql2 钉钉消息处理

摘要： sql2slack对于slack 的处理是通过http 请求的，默认已经固定了格式了，以下是一个简单的修改，可以方便的支持钉钉webhook消息而且具有通用性需要修改部分主要是关于使用resty 处理http 请求的部分，默认是写死的，可以修改为 job.go // _, err = rest 阅读全文

posted @ 2020-06-29 11:00 荣锋亮阅读(441) 评论(0) 推荐(0) 编辑

sql2slack alash3al 开源的又个轻量级工具

摘要：从名称上是sql 到slack 消息的处理，实际上可以支持基本上各类的webhook 处理特性小巧支持多sql 引擎可以通过underscore.js 自定义消息 cron 语法格式的sql 任务调度使用hcl 做为配置管理语言对于大量job，可以直接基于文件的配置（启动的时候会扫描jo 阅读全文

posted @ 2020-06-29 09:33 荣锋亮阅读(285) 评论(0) 推荐(0) 编辑

pgspider fetchq 扩展docker镜像

摘要： fetchq 是一个队列系统，以下是一个pgspider 扩展的构建 pgspider base 镜像添加了uuid 扩展 FROM debian:stretch-slim RUN apt-get update && apt-get install -y build-essential git l 阅读全文

posted @ 2020-06-28 21:33 荣锋亮阅读(520) 评论(0) 推荐(0) 编辑

godns 集成coredns 的demo

摘要：以下是一个简单的集成coredns，主要是一个集成方案，测试下功能环境准备 docker-compose 文件 version: "3" services: redis: image: redis ports: - "6379:6379" networks: service1_net: ipv4_ 阅读全文

posted @ 2020-06-27 22:54 荣锋亮阅读(480) 评论(0) 推荐(0) 编辑

godns 简单dnsmasq 的dns 替换方案

摘要： godns 可以用来替换dnsmasq，同时包含了一些新的特性数据可以在hosts 文件以及redis 当hosts 文件变动的时候，自动reload 包含了一个相对比较全的ui（支持添加以及删除操作，dnsmasq可以基于jpillora/webproc实现一个ui的包装，但是一般）以下是一个阅读全文

posted @ 2020-06-27 22:14 荣锋亮阅读(1303) 评论(0) 推荐(0) 编辑

aviary.sh 一个基于bash的分布式配置管理工具

摘要： aviary.sh 是一个基于bash的分布式配置管理工具，可以用来奇幻chef，puppet，ansible aviary.sh 利用了git 以及linux 的crontab,以前有介绍过类似的工具bashible 参考图说明 aviary.sh 的好多特性类似ansible，同时集成了git 阅读全文

posted @ 2020-06-26 12:59 荣锋亮阅读(298) 评论(0) 推荐(0) 编辑

使用coredns 的template plugin实现一个xip 服务

摘要： xip dns 服务在我们的实际开发中，还是挺有用的，我们可以基于dns模式方便的进行软件开发，同时结合nginx 的虚拟主机，可以实现灵活的软件部署，以下是基于coredns 的template plugin 实现一个简单，但是高效的xip 服务 xip 格式说明参考格式 10.0.0.1. 阅读全文

posted @ 2020-06-25 18:42 荣锋亮阅读(1203) 评论(0) 推荐(0) 编辑

导航

公告