k6 负载测试工具
摘要：k6 是基于golang 开发的，支持基于js 的负载脚本编写，同时支持har 转化为压测脚本，同时 包含了比较方便的压测metrics 可以方便grafana 的集成以及metrics 分析（基于influxdb）当然 k6 也提供了云端的模式可以使用,官方还有一张比较有意思的图（拳打jmeter
阅读全文
posted @ 2020-12-31 17:36
12 2020 档案
Production best practices: performance and reliability
摘要：转自: https://expressjs.com/en/advanced/best-practice-performance.html Overview This article discusses performance and reliability best practices for Ex
阅读全文
posted @ 2020-12-31 17:34
使用throng 运行express 应用
摘要：参考了heroku的一个demo，同时集成了perf 环境准备 package.json { "name": "nodejs-throng", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencies": { "c
阅读全文
posted @ 2020-12-31 17:32
使用throng 运行express 应用
摘要：参考了heroku的一个demo，同时集成了perf 环境准备 package.json { "name": "nodejs-throng", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencies": { "c
阅读全文
posted @ 2020-12-31 13:27
使用throng 加速nodejs 应用的并行执行能力
摘要：使用throng 可以简化nodejs 的多cpu任务执行处理，代码简洁 基于worker_threads 也是一个不错的选择 参考使用 const throng = require('throng') throng(id => console.log(`Started worker ${id}`)
阅读全文
posted @ 2020-12-31 11:43
cube.js 新的预聚合层
摘要：cube.js 目前扩展了原有pre-aggregation 处理层，基于rust 自己搞了一层新的存储处理，目前还没有ga 但是功能很不错，看到的是cube.js 团队打算自己基于rust 实现一个通用的底层基于apache arrow 的数据 格式处理，以前来说cube.js包含两类聚合处理内部
阅读全文
posted @ 2020-12-30 21:05
django 学习 (一) 简单试用
摘要：主要记录关于环境搭建的问题 安装django 推荐使用venv,virtualenv 也是一个不错的选择 python -m venv venv source venv/bin/activate python -m pip install Django 创建一个简单的project 使用django
阅读全文
posted @ 2020-12-30 19:58
fpm + nginx alpine docker 运行
摘要：就是一个简单的php docker 环境 环境准备 项目结构 ├── Dockerfile ├── README.md ├── app │ ├── app.php │ ├── composer.json │ ├── composer.lock │ ├── index-xhprof.php │ ├──
阅读全文
posted @ 2020-12-30 19:52
riptide zalando 团队开源的spring客户端响应路由解决方案
摘要：riptide 说是客户端响应路由解决方案有点夸大，核心还是对于http 请求的处理，同时riptide 了 方便的不同数据类型以及不同状态的处理，类似一个客户端的路由处理 参考处理 理念 说明 riptide 是一个很不错的http 处理解决方案，很不错的是同时提供了spring boot 的st
阅读全文
posted @ 2020-12-29 20:14
golang mustache 模版引擎试用
摘要：主要是学习一个golang 的mustache模版引擎 cbroglie/mustache 是一个很不错的golang mustache 模版引擎，支持的功能还是比较多的， 以下是一个简单的使用 参考代码 go.mod module demoapp go 1.15 require ( git
阅读全文
posted @ 2020-12-29 19:40
Jeffail/tunny goroutine 池工具
摘要：goroutine 池工具已经有好多了，好多都会基于channel或者cas 进行开发设计 谷歌的errgroup以及machine 都是一个不错的选择，Jeffail/tunny 也是一个比较稳定 的包 参考使用 main.go package main import ( "io/ioutil
阅读全文
posted @ 2020-12-29 18:01
记一次mysql 异常停电数据库损坏恢复的方法
摘要：mysql innodb 引擎损坏恢复的参考资料还是很多的，以下记录一个问题的处理 问题 异常停电，mysql 重启异常，innodb tablespace 异常 一般常见的解决方法 备份，删除ibdata1,ib_logfile* 等文件，配置 innodb_force_recovery = 6
阅读全文
posted @ 2020-12-28 21:20
go plugins 容器构建
摘要：前边有简单介绍过go plugin 的开发，以下是关于容器集成的说明 参考代码 https://github.com/rongfengliang/go-plugin-basic-learning 参考Dockerfile FROM golang:1.15-alpine AS build-env-pl
阅读全文
posted @ 2020-12-28 20:48
krakend 试用
摘要：基于社区版本运行，可以自己构建 构建 或者使用使用官方的二进制文件 git clone https://github.com/devopsfaith/krakend-ce.git make build 试用 配置 主要测试一个插件的使用以及数据编码&&数据过滤，同时包含了cache { "versi
阅读全文
posted @ 2020-12-28 20:47
go plugins 试用&&一些实践
摘要：go plugins 提供了go 的 plugin 开发模式，目前已经有一些框架的扩展就是基于此进行的(skipper&&krakend。。。。) 以下是一个简单的实践 项目准备 基本功能 开发一个基于go plugin 的id 生成服务（依赖shortid，当然可以调整其他的版本） go mod
阅读全文
posted @ 2020-12-28 11:46
vlang 0.2 试用&&火焰图简单查看
摘要：vlang 最近出了0.2 版本了，以下是一个简单的试用，以及火焰图的查看 下载配置 下载vlang 的linux ，然后配置环境变量 简单demo demo.v import net.http fn main() { println(add(77, 33)) println(sub(100, 50
阅读全文
posted @ 2020-12-27 19:31
micro 试用
摘要：micro 是一个完整的cloud native 开发平台，以下是一个简单的试用 安装 go get github.com/micro/micro/v3 准备环境 主要是server 启动以及环境配置&&登陆 micro server micro env set local micro login
阅读全文
posted @ 2020-12-27 19:01
micro cloud native 开发平台
摘要：micro 是一个很不错的cloud native 开发平台，包含了好多核心组件 server，framework，cli ，env 管理 server 包含的功能还是比较多的: api auth broker config evnets network proxy runtime registry
阅读全文
posted @ 2020-12-27 18:38
cespare/reflex 基于golang 编写的文件变动监听&&任务执行
摘要：cespare/reflex 是基于golang 开发的文件变动监听&&任务执行工具，功能还是比较强大的，但是 只支持linux 以及macos 安装 go get github.com/cespare/reflex 参考使用 reflex -r '\.txt$' echo {} reflex -g
阅读全文
posted @ 2020-12-27 13:56
api2html 试用
摘要：已经基于go mod 调整了原有的项目，所以使用以及构建就很方便了，同时官方也提供了demo 所以试用下 构建工具 git clone https://github.com/rongfengliang/api2html.git cd api2html go build 运行demo cd examp
阅读全文
posted @ 2020-12-27 12:27
api2html go mod 支持以及dockerfile 修改
摘要：api2html 是一个很不错的工具，但是因为时间问题，代码使用go vender 模式，不是很方便，同时构建也不方便 所以调整了下，支持go mod ，而且修改了dockerfile 构建，基于multi stage go mod 生成 很简单使用go mod init 命令就可以了 go mod
阅读全文
posted @ 2020-12-27 12:19
krakend 服务发现
摘要：服务发现在api 管理中是一个比较重要的东西，krakend目前已经支持了多种模式的服务发现 etcd dns （consul，或者其他的） static （默认的） eureka （社区的） 说明 配置都是比较简单的，同时官方文档也提供了相关的说明 参考资料 https://www.krakend
阅读全文
posted @ 2020-12-26 20:29
使用har 分析web 网络请求
摘要：参考使用 生成文件 查看 可以通过chrome，或者有一些在线的工具 效果（就是一个离线的web 请求状态） 参考资料 https://github.com/janodvarko/harviewer https://github.com/ericduran/chromeHAR https://en.
阅读全文
posted @ 2020-12-26 19:58
krakend 开发插件
摘要：krakend 自定义插件的开发方法很多，go，cel，lua，martian 都是很不错的选择，注意按照官方的说法，中间价!= 插件 krakend 的插件指的是go plugins 插件开发的方式 router层插件 prroxy 层 中间件同时使用krakend编译 编写&&注入插件 参考图（
阅读全文
posted @ 2020-12-26 19:33
几个值得学习了解的负载测试工具
摘要：整理几个参考资料，有一个包含了完整的对比 参考资料 https://malloc.fi/modern-http-benchmarking-tools-h2load-hey-wrk https://k6.io/blog/comparing-best-open-source-load-testing-t
阅读全文
posted @ 2020-12-26 18:55
krakend 扩展开发概述
摘要：整体参考概述 krakend的原则 Reactive 是核心 快速失败 简单最好 所有都是插件 每个请求都必须在自己的请求范围上下文处理 krakend 内部状态 krakend 内部包含了两种状态building && working building 状态 主要进行启动以及系统的准备，方便进行流
阅读全文
posted @ 2020-12-26 18:42
varnish/api-gateway-benchmarks api gateway 性能压测工具
摘要：varnish/api-gateway-benchmarks 是varnish团队开源的 api-gateway 性能压测工具 krakend 就是基于此进行的性能压测，是一个很不错的工具 参考资料 https://github.com/TechEmpower/FrameworkBenchmarks
阅读全文
posted @ 2020-12-26 12:38
krakend 加速配置工具
摘要：krakend 是基于配置管理后端服务的，一个方便的工具可以简化我们的开发 krakendesigner 一个配置编辑器 krakend cli 可以进行配置的检查 可视化配置信息查询 基于dot文件，我们可以快速通过可视化的方式查看配置 参考资料 https://github.com/devops
阅读全文
posted @ 2020-12-26 12:32
krakend 支持发布订阅后端
摘要：krakend 从1.0 开始增强了消息发布订阅的处理，可以支持多种mq 的处理 参考图 说明 从机制上krakend对于多种消息的支持基于环境变量配置以及host 的协议适配处理，基本上就是保证了一个抽象的 mq 发送以及消费支持，类似gregjones/httpcache对于cache 的通用处
阅读全文
posted @ 2020-12-26 12:22
krakend 消费amqp mq 消息
摘要：krakend 支持amqp mq 的消息消费以及发送，可以实现（http2xxx） 具体的参数配置可以参考官方文档 消费消息参考配置 "backend": [ { "host": [ "amqp://guest:guest@myqueue.host.com:5672" ], "disable_ho
阅读全文
posted @ 2020-12-26 12:14
krakend cache 后端请求
摘要：krakend 对于后端的cache 是基于httpcache 利用了http 的cache 标准定义，当然开启会加速内容以及系统性能的降级 参考资料 ... "backend": [ { "url_pattern": "/", "host": ["http://my-service.tld"],
阅读全文
posted @ 2020-12-26 12:05
krakend 请求流量镜像的处理
摘要：流量镜像在现代微服务的开发中是比较重要的，nginx,enovy。。。 好多都是支持的 krakend 也支持流量镜像 参考配置 { "endpoint": "/user/{id}", "timeout": "150ms", "backend": [ { "host": [ "http://my.a
阅读全文
posted @ 2020-12-26 11:53
krakend 请求&&相应的检查
摘要：krakend 对于内容的检查是基于cel 的 参考图 配置参考 "extra_config":{ "github.com/devopsfaith/krakend-cel": [ { "check_expr": "CONDITION1 && CONDITION2" } ] } 简单说明 kraken
阅读全文
posted @ 2020-12-26 11:47
krakend 的静态proxy
摘要：主要是对于不同的相应状态添加内容（修改相应内容，类似nginx 的fliter） 目前krakend支持的策略 always 一直添加信息 sucess 当成功的时候 complete 当所有的后边成功 errored 当失败的时候 incomplete 当部分没有完成（比超时或者其他原因） 参考配
阅读全文
posted @ 2020-12-26 11:40
krakend 的串行proxy
摘要：krakend 的串行请求主要解决，接口多次调用的问题，解决接口链式调用的问题 一张参考图 参考配置 配置 "endpoint": "/hotel-destinations/{id}", "backend": [ { < Index 0 "host": [ "https://hotels.api"
阅读全文
posted @ 2020-12-26 11:34
krakend 对于token 重校验的处理
摘要：一个场景，比如jwt token 回收的问题（token 合法，但是阻止请求） krakend 的解决方法是基于bloom filter 机制 保留blocked token 在内存中 基于rpc的blocked token 传播 token 检查&&阻止非法请求 使用 bloom fliter c
阅读全文
posted @ 2020-12-26 11:25
krakend 集群部署的说明
摘要：从官方文档来说krakend是支持集群部署的，以下是一个简单的说明 原理 因为krakend是无状态的，所以我们可以部署多个，核心是配置 部署说明 添加一个负载均衡器（elb，haproxy, nginx。。。），运行多个krakend实例 参考资料 https://www.krakend.io/d
阅读全文
posted @ 2020-12-26 11:08
krakend 部署最佳实践
摘要：内容来自官方文档，就是一个简单的整理： 使用蓝绿，或者类似的部署策略 使用容器基于不可变容器模式 FROM devopsfaith/krakend COPY krakend.json /etc/krakend/krakend.json 在krakend服务之前使用一个负载均衡器（无状态） 使用htt
阅读全文
posted @ 2020-12-26 11:05
api2html api+mustache 模式的website 生成
摘要：api2html 是基于mustache +api 模式生成website 的一个工具，还是比较强大的 项目是由devopsfaith团队开发的，但是随着目前的jamstack模式的开发，目前此 项目不在维护了，但是模式是比较值得学习的 一个参考玩法 参考资料 https://api2html.co
阅读全文
posted @ 2020-12-25 21:50
krakend 强大的api gateway
摘要：krakend 是一个强大的，区别与传统的 proxy，支持强大转换，聚合，以及移除数据，krakend 同时实现了 bff (backend for frontend ) 以及micro-frontends 模式，可以进行多rest api 的集合，以及进行隔离微服务client实现的 细节 一张
阅读全文
posted @ 2020-12-25 21:19
nginx 配置location 最好使用最小范围匹配
摘要：一个实际的案例，系统使用了nginx 进行minio 静态资源的proxy，同时基于nginx 的rewrite 比如http://<domain>/apps/<s3_bucket> ，实际代理的是minio 的http://minioip:port/s3_bucket 但是因为nginx 同时也配
阅读全文
posted @ 2020-12-25 15:09
graphikDB/trigger 基于google cel 的trigger 框架
摘要：graphikDB/trigger 的定位点是一个trigger 框架，支持基于表达式的数据处理，一般的场景 场景 规则引擎&&认证中间件 数据提交之前的 database 或者api trigger 搜索引擎（基于决策的过滤） 简单使用 package main import ( "fmt"
阅读全文
posted @ 2020-12-24 18:49
machine golang 并发工具包使用
摘要：以前有简单介绍过machine，以下是一个简单的试用（集成了gorunine 以及cron任务） 项目结构 代码结构 ├── docker-compose.yaml ├── go.mod ├── go.sum ├── main.go ├── pkg │ ├── filesync.go │ └── u
阅读全文
posted @ 2020-12-24 16:42
jinjava一个不错的java jinja2 模版引擎
摘要：参考使用 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins
阅读全文
posted @ 2020-12-22 19:40
pmm2.12.0 运行
摘要：很简单，主要是学习下新版本的功能以及验证下官方的新架构设计 环境准备 docker-compose 文件 version: "3" services: pmm2: image: percona/pmm-server:2.12 volumes: - "pmmdata:/srv" environment
阅读全文
posted @ 2020-12-22 17:23
pmm-agent 源码编译
摘要：参考步骤 注意需要gcc的安装 安装golang 配置gopath clone 代码(需要创建目录结构) 参考go path ├── bin │ └── dep ├── pkg │ └── dep │ └── sources └── src └── github.com └── percona ├─
阅读全文
posted @ 2020-12-22 17:20
pmm 2.13 技术预览版支持报警
摘要：pmm 2.13 技术预览版添加了报警的支持，可以进行报警的配置 一张参考截图 参考资料 https://www.percona.com/blog/2020/12/18/percona-monitoring-and-management-introduces-integrated-alerting-
阅读全文
posted @ 2020-12-22 13:11
pmm 2.12.0 新架构介绍
摘要：pmm 的演变还是比较快的，同时新版本2.12.0 替换prometheus 为VictoriaMetrics server 参考架构 因为使用了VictoriaMetrics 所以集成了vmagent （很方便的，可以简化数据的发现处理，同时也可以方便扩展） client 基本没有啥变动，还是以前
阅读全文
posted @ 2020-12-22 13:10
Qovery/engine 多云部署引擎
摘要：Qovery/engine 是Qovery 团队开源的多云部署引擎，同时也是Qovery 产品的一个核心组件 支持的特性 0 基础设施管理 多云 基于k8s 基于terraform+helm 格式文件（简化迁移成本） 强大的cli web 界面（当然是Qovery网站的） 参考资料 https://
阅读全文
posted @ 2020-12-22 09:39
mojolicious perl web 框架学习一
摘要：以前是通过传统模式安装的，以下是通过perlbrew 安装以及使用 安装perlbrew 参考https://perlbrew.pl/ 安装perl 注意选择需要5.20 以及的版本 perlbrew install perl-5.32.0 perlbrew switch perl-5.32.0 安
阅读全文
posted @ 2020-12-20 22:38
perlbrew perl 的多环境管理工具
摘要：同一个语言多个版本的环境在实际开发中是比较常见的，而且也是比较有用的，可以方便的 进行功能测试以及环境独立，perlbrew 是perl 语言生态的一个不错的工具 安装 按照提示添加配置环境变量 curl -L https://install.perlbrew.pl | bash 参考使用 perl
阅读全文
posted @ 2020-12-20 17:18
一个参考pg 监控方案
摘要：参考图 简单说明 metrics以及log是组合监控的核心，log 的处理需要pg 实例配置相关的log 参数可以基于syslog 以及logstash 收集到 graylog，对于metrcis 的处理基于了telegraf（使用各类plugin，db，os。。。） 说明 pmm 也是一个不错的工
阅读全文
posted @ 2020-12-20 12:55
machine errgroup golang 方便并发编程包
摘要：machine 是借鉴了errgroup的一个golang 并发处理包，errgroup 的使用很简单，但是对于异常的处理只能 包含一次结果，不能知道每次 gorroutine 的执行结果，同时machine也扩展了好多特性 比较适合的场景 grpc streaming 服务 websocket 服
阅读全文
posted @ 2020-12-19 18:06
mojolicious perl web 框架简单试用
摘要：mojolicious 是一个perl的web 框架，以下是一个简单的试用 安装 cli curl -L https://cpanmin.us | perl - -M https://cpan.metacpan.org -n Mojolicious 或者 cpan install Mojolicio
阅读全文
posted @ 2020-12-18 20:36
explain.depesz.com 在线pg查询计划查看工具
摘要：explain.depesz.com 在线pg查询计划查看工具，使用此工具我们可以分析sql 的执行 同时也开源了源码,以下是一个参考使用 环境准备 sql文件参考 https://gitlab.com/depesz/explain.depesz.com docker-compose 文件 vers
阅读全文
posted @ 2020-12-18 19:52
Vertically Scaling PostgreSQL
摘要：转自:https://pgdash.io/blog/scaling-postgres.html PostgreSQL can scale rather well vertically. The more resources (CPU, memory, disk) that you can make
阅读全文
posted @ 2020-12-18 17:29
gitpod 强大的快速提供开发环境的工具
摘要：gitpod 基于容器等工具，提供了快速的代码开发环境，同时可以集成多种代码托管平台 （gitlab，github。。。） 参考概念 参考资料 https://github.com/gitpod-io/gitpod https://gitpod.io/
阅读全文
posted @ 2020-12-18 17:28
Dynamic Monitoring of PostgreSQL Instances Using pg_top
摘要：转自:https://severalnines.com/database-blog/dynamic-monitoring-postgresql-instances-using-pgtop Monitoring PostgreSQL can, at times, be like trying to w
阅读全文
posted @ 2020-12-17 21:04
What to Check if PostgreSQL Memory Utilization is High
摘要：转自:https://severalnines.com/database-blog/what-check-if-postgresql-memory-utilization-high Reading from memory will always be more performant than goi
阅读全文
posted @ 2020-12-17 21:02
How To Use Mytop to Monitor MySQL Performance
摘要：转自:https://www.digitalocean.com/community/tutorials/how-to-use-mytop-to-monitor-mysql-performance Introduction Mytop is an open source, command line t
阅读全文
posted @ 2020-12-17 21:00
class.getClassLoader().getResourceAsStream(file) class.getResourceAsStream(file)区别
摘要：通过源码阅读是最好的方法，我们可以快速的查看区别 整体说明 class.getClassLoader().getResourceAsStream(String name) 默认从classpath中找文件(文件放在resources目录下)，name不能带“/”，否则会抛空指针 class.getR
阅读全文
posted @ 2020-12-17 17:54
patroni 管理pg 集群修改运行参数的方法
摘要：patroni是一个很不错的pg 高可用方案，但是有些参数我们是不能直接修改的，实际上官方提供了一个restapi 而且大部分操作也是基于restapi的 参考修改命令 比如修改pg work_mem curl -s -XPATCH -d '{"postgresql":{"parameters":{
阅读全文
posted @ 2020-12-17 17:53
timescaledb-tune timescaledb 官方提供的db 优化配置
摘要：timescaledb-tune 是timescaledb官方出的一个db 优化cli 工具，使用比较简单，同时会自动基于 系统资源情况给我们一个较优的db 运行参数，可以简化timescaledb系统优化 参考资料 https://github.com/timescale/timescaledb-
阅读全文
posted @ 2020-12-17 17:51
google/renameio golang 原子文件操作的包
摘要：google/renameio 是一个很不错的文件原子操作的包，比较适合的场景是进行配置管理（以及haproxy,nginx） 实际上如果了解haproxy 的dataplain 他实际上就是使用了google/renameio 进行配置管理的 参考资料 https://github.com/goo
阅读全文
posted @ 2020-12-17 17:50
golang excel 操作
摘要：只是一个简单的记录 参考代码 package main import ( "fmt" "github.com/360EntSecGroup-Skylar/excelize/v2" ) func main() { categories := map[string]string{"A2":
阅读全文
posted @ 2020-12-17 12:48
使用arthas 分析java 应用的一个流程总结
摘要：arthas 是阿里巴巴开源的一个java 应用分析利器，但是很多时候我们在碰到一个陌生系统需要进行 性能优化的时候会有好多不知道如何下手的问题，以下是自己的一些实践总结 整体了解系统运行以及框架的 这类还好，我们可以通过项目的代码结构，通过sc 查找相关的类然后通过trace，stack 以及wa
阅读全文
posted @ 2020-12-17 12:47
mysql 5.6 numa 禁用参考
摘要：核心还是安装 numactl 我们基于numactl 进行参数调整 需要修改的启动配置 numactl --interleave=all /usr/bin/mysqld_safe --basedir=/usr systemd 参考 [Unit] Description=MySQL Community
阅读全文
posted @ 2020-12-17 11:36
golang 几个面向应用的通用存储层处理包
摘要：以下是整理的一个golang 不错的通用存储层包装，都是不错的选择 说明 gregjones/httpcache也是一个类似的通用cache 应用层包装，我们基于接口可以实现不通的cache支持，同时基于通用的存储处理我们 可以简化应用的开发，数据库驱动也是类似的模式 参考资料 https://gi
阅读全文
posted @ 2020-12-16 23:12
soheilhy/cmux 网络端口复用服务
摘要：同一个端口可以进行不同的操作还是很有用的，比如一个端口同时提供ssh，http，rpc 服务 soheilhy/cmux 是一个不错的选择,以下是一个简单的试用，代码来自官方文档 代码 main.go package main import ( "context" "fmt" "io" "log
阅读全文
posted @ 2020-12-16 18:20
使用go_reuseport 提升socket 应用性能
摘要：go_reuseport 是对于内核reuseport 特性支持的golang包 参考资料 https://github.com/kavu/go_reuseport https://github.com/rongfengliang/cmux-learning
阅读全文
posted @ 2020-12-16 18:18
dkron cloud native 的分布式cron服务
摘要：dkron cloud native 的分布式cron服务 ，以下是一个简单的试用 环境准备 docker-compose 文件 version: "3" services: cron: image: dkron/dkron command: agent --server --bootstrap-e
阅读全文
posted @ 2020-12-16 18:17
gjson 更好用的golang json 处理包.
摘要：gjson可以简化我们的json数据处理，同时官方还提供了一个查询的语法说明（总的来说还是比较强大的） 以下是一个简单的试用 参考代码 package main import ( "log" "github.com/tidwall/gjson" ) func main() { var c
阅读全文
posted @ 2020-12-16 18:15
golang _ 的作用
摘要：_ 在golang 中有好多尤其的作用，以下是一个简单的整理（部分内容参考简书一个哥们的） 包导入 主要是调用init 函数（比如数据库驱动的注册） import ( _ "github.com/mydemo/dbdriver" ) 返回值 主要是忽略某个值 _,err := callFunc()
阅读全文
posted @ 2020-12-14 22:52
araddon/qlbridge 集成go-memdb
摘要：使用araddon/qlbridge 我们可以开发一个通用的sql 引擎，go-memdb 是hashicorp 公司开发的 一个基于内存的支持事务的db，araddon/qlbridge 官方已经支持了go-memdb,以下是一个简单 的试用 环境准备 go.mod module demoapp
阅读全文
posted @ 2020-12-14 12:55
Quicksql 360 开源的多数据源分析中间件
摘要：Quicksql开源也有一段时间了，看着还是挺不错的，以下做一个简单的记录 参考架构 参考资料 https://github.com/Qihoo360/Quicksql https://quicksql.readthedocs.io/
阅读全文
posted @ 2020-12-14 09:25
netflix graphql Federation 实践参考资料 （二)
摘要：netflix graphql Federation 参考技术栈以及系统可靠性保证方法 核心基础设施 gateway 基于kotlin参考apollo 指南实现，主要是可以更好的利用java 系统，同时利用coroutines 特性 0 schema registry 是自己开发的，同时也使用了ko
阅读全文
posted @ 2020-12-13 12:19
netflix graphql Federation 实践参考资料 （一)
摘要：来自netflix graphql api 联邦的实践 一些参考图 内部实现简单说明 主要包含三部分 schema 组合 查询计划 实体解析 参考资料 https://netflixtechblog.com/how-netflix-scales-its-api-with-graphql-federa
阅读全文
posted @ 2020-12-13 12:18
araddon/qlbridge 方便开发sql 引擎的golang 包
摘要：araddon/qlbridge 是一个golang 表达式执行器可以用来方便的构建基于sql 的查询引擎 同时已经内置了几种sql 的实现，同时也有一个dataux/dataux （但是不 维护了）的实现， 类似presto，以下是关于araddon/qlbridge 的简单学习 代码来自官方文档
阅读全文
posted @ 2020-12-13 10:28
使用go-sql-rest-driver 查询rest api
摘要：go-sql-rest-driver 是一个简单的rest 包装，我们可以使用sql driver 的模式查询rest api （注意此驱动很简单，没有实现类似sql 的复杂处理，功能很弱，而且代码也很少） 项目准备 go rest server package main import "net
阅读全文
posted @ 2020-12-12 22:54
nginx正则测试工具
摘要：整理了一些方便nginx 正则测试的工具 使用官方提供的一个基于php 的环境 nginx-regex-tester 使用pcretest 对于alpine docker 镜像可以通过安装pcre-tools 解决 参考集成环境 nginx-regex-tester我已经构建过一个docker镜像，
阅读全文
posted @ 2020-12-11 18:01
nginx propxy_pass / 学习
摘要：nginx proxy_pass 是支持带/ 的，同时对于不同的模式，会产生不同的效果， 整体总结（当然还有特殊情况） proxy_pass 带/的，使用的是绝对路径，请求格式会变成 http://$domainname:$port/proxy/$resource->http://$upstream
阅读全文
posted @ 2020-12-11 10:19
基于go-ora 的 oracle prometheus exporter
摘要：还是基于iamseth/oracledb_exporter 的扩展，很简单，就是替换依赖，以前有一个基于godror/godror 调整的版本，go-ora 是一个纯golang开发的oracle 驱动，以下是一个调整试用 需要修改的代码 go.mod module github.com/iamse
阅读全文
posted @ 2020-12-10 20:29
基于godror 的 oracle prometheus exporter
摘要：iamseth/oracledb_exporter 是一个挺不错的 oracle prometheus exporter ，但是因为oracle golang 驱动的问题，不是很方便 （构建，使用），所以基于godror/godror 调整了一个版本（很简单，替换一个依赖包就可以了），以下是参考说明
阅读全文
posted @ 2020-12-10 11:41
使用sijms/go-ora 链接oracle server
摘要：sijms/go-ora 是纯golang 编写的oracle 驱动（目前不太稳定）但是已经很不错了，以下是参考试用 参考代码 package main import ( "database/sql" "flag" "fmt" _ "github.com/sijms/go-ora" "l
阅读全文
posted @ 2020-12-09 17:29
godror基于ODPI-C的 oracle golang 驱动使用
摘要：godror 是一个很不错的oracle golang 驱动，基于ODPI-C 编写，好处是我们需要需要依赖编译 我们只需要安装oracle client 就可以了，不像go-oci8需要编译，同时目前也有一个纯golang 的 oracle驱动，但是目前还不是很稳定，以下是godror的参考使用
阅读全文
posted @ 2020-12-09 17:11
golang 性能分析工具使用参考
摘要：主要包含了golang 自带的几个工具的使用说明 pprof 参考命令 go tool pprof 包含的命令 go tool pprof --help 支持的参数 usage: Produce output in the specified format. pprof <format> [
阅读全文
posted @ 2020-12-09 17:06
jroimartin/gocui golang 开发控制台应用
摘要：以前有简单介绍过基于termui开发golang 终端应用的 jroimartin/gocui 也是一个类似的包 以下是一个参考使用 参考代码 main.go package main import ( "fmt" "log" "github.com/jroimartin/gocui" )
阅读全文
posted @ 2020-12-09 13:06
几种方便的轻量级k8s环境部署模式
摘要：k8s 的周边是异常的丰富，rancher的k3s是一个很不错的快速学习k8s 以及进行边缘计算 k0s 是最新社区的一个k8s部署服务，很灵活,minikube 也是一个不错的选择（但是有点重） kind 使用k8s in docker 的模式比较适合开发测试 k3s 参考架构 k0s 参考架构
阅读全文
posted @ 2020-12-09 11:43
clipperhouse/gen 很不错的golang 代码生成包
摘要：使用clipperhouse/gen 可以帮助我们生成好多帮助代码，简化开发，以下是一个简单的学习使用 环境准备 安装gen go get -u github.com/clipperhouse/gen 添加struct platform.go package main import "fmt"
阅读全文
posted @ 2020-12-09 11:42
web pdf 预览的几个方案
摘要：部分内容来自medium，发现别人整理的，主要是记录下 使用embed 标签 不太推荐，因为浏览器兼容的问题 使用方法 <embed src="<path for pdf>" type="application/pdf" ></embed> a 标签链接 使用链接的让浏览器自己处理 参考 <a hr
阅读全文
posted @ 2020-12-09 11:38
fasthttp LBClient 客户端的使用
摘要：fasthttp 不只是一个http server 的包，同时也提供了http client 的功能，以下是关于LBClient 的简单使用，以及一些说明 参考代码 main.go package main import ( "flag" "fmt" "log" "strings" _ "n
阅读全文
posted @ 2020-12-08 21:23
securecodebox开箱即用的持续安全工具
摘要：securecodebox 是基于k8s的模块化的工具集，可以用来进行软件的安全扫描 参考架构 https://docs.securecodebox.io/ https://github.com/secureCodeBox/secureCodeBox
阅读全文
posted @ 2020-12-08 10:33
openyurt alibaba 开源基于k8s 的边缘计算工具
摘要：openyurt是alibaba开源的，使我们可以扩展我们的k8s 集群，使其支持边缘计算，基于golang编写 参考架构 参考资料 https://github.com/alibaba/openyurt https://openyurt.io/
阅读全文
posted @ 2020-12-08 10:10
lens 开源k8s ide
摘要：lens 是一个开源的k8s ide 可以用来方便的进行k8s 管理，问题排查，而且支持多集群的管理 同时也包含了很不错的界面，用户体验还是很不错的 参考资料 https://k8slens.dev/ https://github.com/lensapp/lens
阅读全文
posted @ 2020-12-08 10:09
nikto web server 扫描工具
摘要：nikto 是一个开源的web server 扫描工具,为了方便学习我使用wget 镜像了参考文档，同时制作了一个docker 镜像方便使用dalongrong/nikto2-docs 直接运行docker run -d -p 80:80 dalongrong/nikto2-docs 就可以查看 镜
阅读全文
posted @ 2020-12-08 10:08
crowdsec开源安全引擎
摘要：crowdsec 是基于golang 编写的开源的，轻量代理，可以用来捕获异常行为，主要利用了本地ip 行为以及在线社区驱动的ip 系统进行行为捕捉，官方的说明是下一代的fail2ban 参考资料 https://crowdsec.net/ https://github.com/fail2ban/f
阅读全文
posted @ 2020-12-08 09:18
windows strace 类似的工具
摘要：以下是一篇搜到的关于windows 系统trace的工具链接，算是一个整理记录 说明 Sysinternals 工具集，drmemory，stracent，crashdoctor 都是不错的工具，可以方便windows 程序的分析 参考资料 https://stackoverflow.com/que
阅读全文
posted @ 2020-12-07 19:03
禁用spring boot 暴露的几个产品可用的endppint 服务
摘要：核心还是属于一个安全实践，禁用一些可能包含隐患点的地方，以下是一些参考资料（核心还是安全） 说明 整理的资料不只是spring boot，spring cloud 同样适用 相关参考资料 https://docs.spring.io/spring-boot/docs/1.1.4.RELEASE/re
阅读全文
posted @ 2020-12-07 18:49
nginx proxy minio 默认页配置（三）
摘要：还是上边的那个问题，有一些场景，我们可能需要有自己的请求路径（不使用默认的location /） 比如api 与业务系统的请求路径是分开的（前后端分开部署的系统是最典型的） 解决方法 一样还是通过url rewrite，需要解决的问题就是比以前的多了一条，我们的rewrite 也是多了一条 参考ng
阅读全文
posted @ 2020-12-06 21:54
nginx proxy minio 默认页配置（二)
摘要：前边有写过一个配置死的默认default 页面处理，以下是一个相对通用的nginx 集成minio 的默认页面配置 基本原理 核心原理还是url rewrite， 只是这次全部都放到了default 的location，同时使用了两次url rewrite 一次是添加/ 一次是进行s3 bukcet
阅读全文
posted @ 2020-12-06 21:23
nginx proxy minio 默认页配置
摘要：原理很简单，就是基于nginx 的rewrite 自动处理模版bucket 的index page 处理 参考配置 环境准备 version: "3" services: nginx: image: openresty/openresty:alpine-fat ports: - "80:80" vo
阅读全文
posted @ 2020-12-06 19:41
flamescope + chrome cpu profile 分析web 性能
摘要：flamescope 也是支持chrome cpu profile 的火焰图的，以下是一个简单的试用 chrome cpu profile 测试的taobao的网站 开启js cpu profile 运行 停止保存 进行一些操作之后停止保存 准备flamescope 环境 docker-compos
阅读全文
posted @ 2020-12-06 13:13
golang noCopy 的功能
摘要：noCopy 出现在好多golang的标准库中，主要是说明数据类型不能进行值copy,而且好多 golang 标准库实现文档也会有提示的，如果我们希望自己实现的数据结构不能进行copy 就可以自己实现类似的数据结构，然后我们通过go vet 就可以进行检查了 方法签名 主要实现Lock以及Unloc
阅读全文
posted @ 2020-12-06 11:28
golang 死锁&&静态检查的一些工具
摘要：sasha-s/go-deadlock sasha-s/go-deadlock 是死锁检查的一个好工具 dominikh/go-tools dominikh/go-tools 是一个静态检查的好工具，可以分析性能以及隐藏的问题 说明 当然以前说的race 以及vet 也都是不错的工具 参考资料 ht
阅读全文
posted @ 2020-12-05 22:48
spring cloud 应用集成prometheus 监控实现服务发现的一些方法
摘要：spring cloud 内置服务发现，但是很多时候我们基于prometheus 监控系统运行状态的时候也是需要服务发现的 以下是spring cloud 集成prometheus 服务发现的一些实现方法 一些说明 很多时候我们对于spring cloud 的部署模型以及选择的服务发现组件对于我们的
阅读全文
posted @ 2020-12-05 12:44
vscode 调试几个方便的参数
摘要：主要是记录几个方便调试的变量，很多时候我们开发cli 应用，调试的时候就需要指定启动参数 调试配置文件 vscode提供了launch.json 的运行&&调试配置文件 几个常用变量 ${workspaceFolder} vscode 打开的文件夹路径 ${worrkspaceFolderBasen
阅读全文
posted @ 2020-12-04 18:00
promethues 集成eureka 服务发现
摘要：prometheus 从v2.22 开始支持基于eureka的服务发现配置了（内置），对于基于eureka 的spring cloud 微服务解决方案的监控就很方便了，以下是一个简单的试用 环境准备 docker-compose 文件 version: "3" services: g: image:
阅读全文
posted @ 2020-12-04 17:57
microcks 1.0 版本发布
摘要：记得第一次了解microcks 是2018年，到现在2020年microcks已经发布了1.0 同时也有了自己的网站 以下是1.0 的简单部署 clone 代码 git clone https://github.com/microcks/microcks.git 启动 启动稍慢，需要等待 cd mi
阅读全文
posted @ 2020-12-04 09:46
fatih/pool golang tcp 连接池工具
摘要：golang tcp 连接池工具 参考使用 // create a factory() to be used with channel based pool factory := func() (net.Conn, error) { return net.Dial("tcp", "127.0.0.1
阅读全文
posted @ 2020-12-03 23:07
savsgio/kratgo 基于fasthttp 开发的一个cache proxy 服务
摘要：savsgio/kratgo 基于fasthttp 开发的web cache 服务，包含以下特性 支持的特性 cache proxy lb （顺序，然后轮转模式，没有权重） 配置cache 规则 配置http 请求头 管理api 支持，基于管理api 我们可以进行cache 清理 参考使用 dock
阅读全文
posted @ 2020-12-03 20:01
golang race && vet 工具
摘要：竞争检测 参考代码 package main import ( "fmt" "sync" ) func main() { wg := sync.WaitGroup{} wg.Add(5) for i := 0; i < 5; i++ { // go func(i int) { // de
阅读全文
posted @ 2020-12-03 17:33
golang 条码操作的几个工具包
摘要：几个参考golang 条码生成工具包包 go-qrcode 可以用来生成二维码 barcode 可以用来生成多种条码 参考资料 https://github.com/boombuler/barcode https://github.com/skip2/go-qrcode
阅读全文
posted @ 2020-12-03 17:32
quicktemplate 高性能的golang模版引擎
摘要：quicktemplate 的设计与其他模版引擎的模式有点不一样，而是直接将代码逻辑嵌入到代码中 同时也会编译到二进制文件中（所以不支持on fly changing） 主要的几个场景 做为模版引擎（简化代码的编写，不需要处理复杂的逻辑，对于内容的生成quicktemplate自动生成了，同时可以基
阅读全文
posted @ 2020-12-03 17:30
brew 修改镜像源
摘要：有时brew很慢。。。以下是一些加速 修改命令 进入brew主目录 cd brew --repo 更换镜像 git remote set-url origin https://mirrors.aliyun.com/homebrew/brew.git core 以及其他的替换方法类似 git remo
阅读全文
posted @ 2020-12-03 11:48
基于rust 编写的高性能全文检索服务
摘要：sonic 是基于rust 编写的一个高性能，可简单替换es 的方案，没有提供http 接口，而是走的tcp 协议，目前已经 有了好多语言的包装库，可以方便使用 参考使用 环境准备 version: "3" services: sonic: image: valeriansaliou/sonic:v
阅读全文
posted @ 2020-12-03 11:44
johnfercher/maroto fork 版本几个bug 的修复
摘要：johnfercher/maroto 以前有简单介绍过，是一个很不错的基于bootstrap 网格处理pdf的类库，但是此包对于中文处理不是很好 所以fork了一个版本，添加了中文的支持，同时升级依赖的jung-kurt/gofpdf 到v2 参考使用 核心代码 go.mod module demo
阅读全文
posted @ 2020-12-02 21:49
johnfercher/maroto 不错的pdf golang pdf 生成工具包
摘要：johnfercher/maroto 借鉴了bootstrap 的网格模式，使用了gofpdf 生成pdf，是一个很不错的golang pdf 工具 有一个问题是不支持中文（因为配置写的的原因）看到网上有一个中国人fork添加了AddUTF8Font 支持，这样 中文就可以显示了，以下是一个参考的使
阅读全文
posted @ 2020-12-02 19:44
jung-kurt/gofpdf pdf 生成操作
摘要：基于jung-kurt/gofpdf 生成pdf 文件 参考demo main.go package main import ( "fmt" "log" "github.com/gobuffalo/packr/v2" "github.com/jung-kurt/gofpdf" "github
阅读全文
posted @ 2020-12-02 13:45
griddb 4.5 体验
摘要：以下是griddb 4.5 的体验（基于虚拟机部署） 安装包 https://github.com/griddb/griddb/releases/download/v4.5.2/griddb-4.5.2-linux.x86_64.rpm 安装 yum install -y griddb-4.5.2-
阅读全文
posted @ 2020-12-02 11:21
griddb 4.5 社区版新特性
摘要：最近在查看了griddb 的更新文档发现社区版也已经支持sql了（很期待的特性），同时官方也调整了 集群部署模式，社区版只能单机运行了（经过验证的确有限制） 几个变化 sql 接口以及jdbc驱动 添加表分片功能 调整多集群部署为单机 说明 如果还需要使用集群的能力以及sql 查询可以基于pg fd
阅读全文
posted @ 2020-12-02 09:48
gophercloud 不错的openstack golang sdk
摘要：gophercloud 是一个基于golang 包装的openstack api，功能比较强大，使用上也很不错，同时 也提供了比较完备的参考资料 一个参考使用demo package main import ( "log" "github.com/gophercloud/gopherclou
阅读全文
posted @ 2020-12-01 16:48
基于alpine docker镜像应用的参考Dockerfile配置
摘要：alpine 镜像比较小的特点，特别适合基于容器的应用部署，以下是一些参考配置，可以 用来加速构建以及方便使用 几个需要解决的问题 安装包加速（已知问题）解决方法，可以修改为aliyun的镜像加速 时区问题，需要安装时区包 进程管理工具,需要安装 procps 参考dockerfile 一个gola
阅读全文
posted @ 2020-12-01 16:13
cube.js 生产部署简单说明
摘要：内容参考来自官方文档 参考说明 禁用dev 模式 CUBEJS_DEV_MODE=false 配置redis cube.js 需要redis用来加速数据的访问（cache 以及queue） 相关配置 REDIS_URL 连接redis 的配置，REDIS_PASSWORD 设置密码，REDIS_TL
阅读全文
posted @ 2020-12-01 09:38
cube.js 官方docker镜像发布
摘要：最近的cube.js 官方发布了docker 镜像，基于alpine，而且官方也比较推荐使用docker 运行，这样 可以进行服务的隔离 参考使用 .env 主要是进行db配置的，具体结合自己的实际配置，参数说明，参考官方文档 cube.js // Cube.js configuration opt
阅读全文
posted @ 2020-12-01 09:21
