上一页 1 ··· 54 55 56 57 58 59 60 61 62 ··· 121 下一页

2020年10月19日

govalidator 方便的golang 数据校验框架

摘要: govalidator提供了基于tag 的golang 数据类型校验,实际上其他语言比如.net java ,typescript 也都有类似的框架 以下是一个简单的试用 环境准备 go mod go mod init demoapp 简单代码 main.go package main ​ impo 阅读全文

posted @ 2020-10-19 23:04 荣锋亮 阅读(754) 评论(0) 推荐(0) 编辑

go mod checksum mismatch 问题

摘要: 最近在跑一个项目clone 完成代码之后需要进行构建,发现了如下问题 <wiz_code_mirror> verifying gopkg.in/src-d/go-git.v4@v4.13.1/go.mod: checksum mismatch downloaded: h1:G7mAYYxgmS0lV 阅读全文

posted @ 2020-10-19 21:38 荣锋亮 阅读(4765) 评论(0) 推荐(0) 编辑

基于openresty的ip白名单控制

摘要: 目的很简单,因为基于nginx的 ngx_http_access_module ip 模块有点太弱了,不灵活,可以直接使用openresty 在access_by_lua 阶段处理 预备 我们需要支持cidr格式的ip,所以需要一个灵活的ip解析处理包, hamishforbes/lua-resty 阅读全文

posted @ 2020-10-19 20:41 荣锋亮 阅读(2000) 评论(0) 推荐(0) 编辑

go-linq 很不错的golang linq 包

摘要: go-linq 是.net linq 的golang 实现,使用简单灵活,而且支持多种操作模式,同时也支持基于范型函数,使得代码更清晰 linq 参考格式 From(slice) .Where(predicate) .Select(selector) .Union(data) 参考使用 集成了mit 阅读全文

posted @ 2020-10-19 20:39 荣锋亮 阅读(3212) 评论(0) 推荐(0) 编辑

ClearScript 微软开源的js 引擎

摘要: ClearScript 实际上属于一个老项目了,只是最近微软迁移到github了,同时也增强了跨平台的支持(linux,mac) 对于基于.net 系列的软件开发是比较方便了,当然目前和graalvm 的js 引擎相比还是比较弱的 ,比较期待微软能 有更好的提升 目前支持的特性 js 与.net o 阅读全文

posted @ 2020-10-19 13:06 荣锋亮 阅读(2232) 评论(0) 推荐(0) 编辑

malinajs来自Svelte 启发的前端编译器

摘要: malinajs是一个前端编译器,可以不用框架来开发web 应用,好处是我们的web 应用可以变得 比较小以及快速,同时官方也提供了一些关于Svelte 以及vue3的比较,是一个比较有意思的项目 同时官方也提供了一个repl可以方便的调试 参考资料 https://github.com/malin 阅读全文

posted @ 2020-10-19 09:36 荣锋亮 阅读(307) 评论(0) 推荐(0) 编辑

Luckysheet 国内企业开源的很不错的web excel 项目

摘要: Luckysheet 是由国内企业开源的web excel 项目,功能真的很强大,而且我们可以方便的集成到我们的web应用中 参考资料 https://github.com/mengshukeji/Luckysheet 阅读全文

posted @ 2020-10-19 09:17 荣锋亮 阅读(1768) 评论(0) 推荐(0) 编辑

2020年10月18日

Waypoint Server 安装

摘要: 如果运行了官方的demo 应该知道默认需要进行server 的安装的,基于容器部署的应用需要进行server的部署启动 实际上按照官方的说明,server 可以只需要一个,同时也是可以独立只不是一个的,并不需要部署多个的,以下 是关于手工部署的简单说明 部署流程 启动server 只是初始化 way 阅读全文

posted @ 2020-10-18 22:15 荣锋亮 阅读(210) 评论(0) 推荐(0) 编辑

Waypoint Entrypoint简单说明

摘要: Waypoint Entrypoint 实际上基于接口1号进程的一个二进制应用,类似docker 的tinit 进程(类似的很多) 但是Entrypoint提供了其他的功能: url 服务 应用配置 exec (类似容器的exec) logs (类似容器的logs) 实例追踪 参考图 一个简单说明 阅读全文

posted @ 2020-10-18 22:07 荣锋亮 阅读(221) 评论(0) 推荐(0) 编辑

clustershell 方便的软件部署工具

摘要: clustershell 是基于基于python开发的事件驱动的包,提供也提供了cli工具,可以用来方便的管理大规模的软件包 类似ansible,是一个值得使用的软件包以及工具集,同时以及存了各种语言的软件包 ,可以使用方便的安装 参考资料 https://clustershell.readthed 阅读全文

posted @ 2020-10-18 21:18 荣锋亮 阅读(144) 评论(0) 推荐(0) 编辑

waypoint docker 部署试用

摘要: 以下是关于部署到docker的测试试用 安装waypoint mac 系统 brew tap hashicorp/tap brew install hashicorp/tap/waypoint clone 代码 clone demo 代码 git clone https://github.com/h 阅读全文

posted @ 2020-10-18 12:44 荣锋亮 阅读(331) 评论(0) 推荐(0) 编辑

waypoint 参考架构

摘要: 以下内容来自官方文档 概览 包含的组件 server waypoint 比较核心的存储状态的服务,同时提供了api,方便cli,enrtypoint 以及其他消费者访问 cli 就是我们客户端使用的工具 entrypoint 提供了exec log 以及url 服务,属于一个包装,方便server 阅读全文

posted @ 2020-10-18 10:53 荣锋亮 阅读(549) 评论(0) 推荐(0) 编辑

2020年10月17日

waypoint hashicorp 团队新开源的跨多平台的构建部署&&发布工具

摘要: hashicorp 真是很给力开源了waypoint可以多平台的构建,部署以及发布 waypoint设计与terrform 类似都提供了插件模式,目前支持的插件 buildpacks docker k8s aws&&ecs azure google cloud netlify .... 说明 way 阅读全文

posted @ 2020-10-17 21:40 荣锋亮 阅读(442) 评论(0) 推荐(0) 编辑

pgenv 一个不错的postgres 多版本管理工具

摘要: pgenv 类似rbenv 以及pyenv,可以方便我们进行posgres 各种版本的管理(特别使用开发以及测试) pgenv 的使用还是比较简单的,同时官方也提供了比较全的说明文档 参考资料 https://github.com/theory/pgenv 阅读全文

posted @ 2020-10-17 21:23 荣锋亮 阅读(309) 评论(0) 推荐(0) 编辑

golang 一些不错的环境变量管理包

摘要: joho/godotenv ruby dotenv 库golang 的移植,功能还是比较强大的,同时支持编码加载变量 参考使用 package main ​ import ( "github.com/joho/godotenv" "log" "os" ) ​ func main() { err := 阅读全文

posted @ 2020-10-17 21:17 荣锋亮 阅读(580) 评论(0) 推荐(0) 编辑

treemux 集成pprof以及statsviz

摘要: pprof 是golang内置的一个性能分析包,使用简单、方便,statsviz 是最近 开源的一个可视化的golang性能观察点 以下是说明treemux 如何集成这两个工具 准备pprof&&statsviz treemux handlerfunc 因为treemux与golang内置的hand 阅读全文

posted @ 2020-10-17 15:56 荣锋亮 阅读(396) 评论(0) 推荐(0) 编辑

2020年10月16日

treemux 基于tree模型的golang http httprouter

摘要: treemux 是一个新的基于tree结构的httprouter 支持的特性 包装的handler 中间件(handler包装) tree 模式的路由规则 路由组(方便应用扩展) 自定义错误 自定义重定向 参考使用 参考代码 package main ​ import ( "fmt" "net/ht 阅读全文

posted @ 2020-10-16 16:33 荣锋亮 阅读(261) 评论(0) 推荐(0) 编辑

QRGen+thumbnailator生成包含logo 参考配置说明

摘要: 以下主要是说明下生成的一些细节,减少使用难度 参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3 阅读全文

posted @ 2020-10-16 12:30 荣锋亮 阅读(212) 评论(0) 推荐(0) 编辑

golang图片处理的一些包

摘要: 搜索来源子github,主要是进行一些整理 ,方便后期使用 参考项目 https://github.com/golang/image https://github.com/fogleman/primitive https://github.com/disintegration/gift https: 阅读全文

posted @ 2020-10-16 12:25 荣锋亮 阅读(1863) 评论(0) 推荐(0) 编辑

pg 关于使用zfs文件系统的优化参考

摘要: 文章来自go-pg/pg 项目,官方文档有一篇关于pg使用zfs文件系统的优化说明,很不错,所以记录下 ,同时看了这篇文档 大家对于一些性能优化也会有一些收获的-我们实际部署环境的时候最好结合实际的情况,合理选择较优的参数 ,以前经常 和别人说过一个话题: sql server 大家一般使用上配置管 阅读全文

posted @ 2020-10-16 12:24 荣锋亮 阅读(536) 评论(0) 推荐(0) 编辑

2020年10月15日

QRGen+thumbnailator生成包含logo 的 二维码

摘要: 原理很简单:QRGen 生成二维码,同时结合thumbnailator的 水印模式将图片放中心,这样一个支持logo 的二维码就可以了 参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a 阅读全文

posted @ 2020-10-15 23:31 荣锋亮 阅读(262) 评论(0) 推荐(0) 编辑

jdbc连接池工具与pg fdw连接的问题 二

摘要: 上次有简单介绍过关于pg fdw 对于使用连接池故障的问题,经过几天的调试以及摸索 ,印证了上次说的关于 sql 预编译处理的,目前测试发现主要是对于tds-fdw 扩展引起的异常比较严重,会造成db 异常 ,然后自动恢复, 同时会造成连接异常,如果还需要使用连接池比较推荐使用hikari,需要我们 阅读全文

posted @ 2020-10-15 20:29 荣锋亮 阅读(323) 评论(0) 推荐(0) 编辑

2020年10月14日

apache ignite docker集群运行试用

摘要: apache ignite 是一个很不错的内存计算平台 常见参考使用场景 应用缓存加速 数据集成hub 基于容器的集群环境部署 环境准备 说明为了方便基于静态ip发现的模式进行集群的搭建,关于静态ip配置,核心如下 <bean class="org.apache.ignite.spi.discove 阅读全文

posted @ 2020-10-14 19:18 荣锋亮 阅读(936) 评论(0) 推荐(0) 编辑

rr一款强大的应用请求录制以及回放框架

摘要: rr 由mozilla团队开发,可以进行应用进程以及线程的调用的录制以及回放,可以方便的进行应用的性能调试 后边可以尝试使用下,同时此工具也是pg 官方关于追踪pg调用的工具 参考资料 https://github.com/mozilla/rr https://rr-project.org/ htt 阅读全文

posted @ 2020-10-14 13:27 荣锋亮 阅读(616) 评论(0) 推荐(0) 编辑

追踪postgres 后端调用情况

摘要: 以下是篇文章来自官方文档,主要介绍下关于pg 系统如何调试后端调用情况的,后边好好研究下,最近刚好 碰到一个关于pg fdw 调用的问题,可以学习下如果基于工具分析原因 参考资料 https://wiki.postgresql.org/wiki/Getting_a_stack_trace_of_a_ 阅读全文

posted @ 2020-10-14 13:22 荣锋亮 阅读(143) 评论(0) 推荐(0) 编辑

重置idea 配置的方法

摘要: 今天在运行idea的时候发现idea突然不好使了(maven项目内置依赖管理处理问题了,代码提示有问题),直接使用maven 构建命令是没有问题的,直接想到重置默认配置,搜过一些资料发现都不太好事(mac 系统 ),后边发现了官方的一篇介绍 文档,简单清晰 参考操作图 说明 多看官方文档还是很重要的 阅读全文

posted @ 2020-10-14 13:10 荣锋亮 阅读(7268) 评论(5) 推荐(0) 编辑

jdbc连接池工具与pg fdw连接的问题

摘要: 最近一个项目使用了postgres 的fdw 进行跨库的业务数查询分析,直接使用pg 的client 工具以及直接使用pg的datasource 实现PGSimpleDataSource测试都是没有问题的 pg fdw 使用参考 因为项目默认使用了alibaba 的druid 连接池工具发现没请求几 阅读全文

posted @ 2020-10-14 13:00 荣锋亮 阅读(342) 评论(0) 推荐(0) 编辑

2020年10月12日

关于drill http存储插件http 超时的一些说明

摘要: 默认http 存储插件的配置,参考 { "type": "http", "cacheResults": false, "connections": { "sunrise": { "url": "https://api.sunrise-sunset.org/json", "method": "GET" 阅读全文

posted @ 2020-10-12 23:36 荣锋亮 阅读(246) 评论(0) 推荐(0) 编辑

tds-fdw PostgreSQL said: DB-Library error: DB #: 20002, DB Msg: Adaptive Server connection failed, OS #: 0, OS Msg: Success, Level: 9 问题解决.md

摘要: 属于一个常见问题,解决方法还是查看日志,可以配置的参数 配置sql ALTER SERVER mssql_svr OPTIONS (ADD msg_handler 'notice'); SET client_min_messages=DEBUG3; 通过以上配置参数我们可以方便的查看请求日志,进行问 阅读全文

posted @ 2020-10-12 22:25 荣锋亮 阅读(533) 评论(0) 推荐(0) 编辑

2020年10月11日

开发自己的jdbc驱动——可选开发工具

摘要: 前边有简单介绍过关于jdbc驱动开发的说明,以下是一些简单的整理,提供关于快速开发jdbc的一些参考资料 驱动开发的一些说明 需要实现的接口 以下的接口是需要实现的,除过Driver 接口一般都会创建一个抽象类进行扩展 Statement ResultSetMetaData ResultSet Pr 阅读全文

posted @ 2020-10-11 21:15 荣锋亮 阅读(609) 评论(0) 推荐(0) 编辑

2020年10月10日

nexus Invalid state: DELETED; allowed: [STARTED] 问题解决

摘要: 问题 线上nexus因为误操作 blob存储,造成nexus 出现Invalid state: DELETED; allowed: [STARTED],然后就是现有的nexus 也不能使用了(nexus服务异常) 以下是参考的解决方法 解决方法 手工处理相关的blob存储,删除,同时重启nexus服 阅读全文

posted @ 2020-10-10 11:35 荣锋亮 阅读(930) 评论(0) 推荐(0) 编辑

2020年10月9日

airline开发类似git cli 的jar 包

摘要: airline 是一个很不错的用来开发类似git cli 应用的jar包,使用简单,功能强大是一个值得使用的jar包 类似的jar 包有jcommander,picocli,同时picocli也提供了一个比较完整的开源cli 工具比较文章很值 得看看 参考资料 https://github.com/ 阅读全文

posted @ 2020-10-09 22:52 荣锋亮 阅读(243) 评论(0) 推荐(0) 编辑

开发自己的jdbc驱动——基本说明

摘要: jdbc目前支持4种类型的驱动模式 参考如下图,我们需要开发的是type4 100%纯java代码的,以下只是简单的原型,实现一个比较完整的jdbc驱动,后续会逐步完成 项目结构 当前没有依赖任何三方包,对于包含了依赖的,对于驱动的如果使用maven项目推荐使用maven-shade-plugin 阅读全文

posted @ 2020-10-09 20:44 荣锋亮 阅读(2228) 评论(0) 推荐(0) 编辑

2020年10月8日

nessie 安装&&简单试用

摘要: 以下是关于nessie基于容器的简单运行试用 环境准备 docker 运行 docker run -p 19120:19120 projectnessie/nessie 安装cli pip install pynessie 试用 创建分支 nessie create-branch my_branch 阅读全文

posted @ 2020-10-08 22:28 荣锋亮 阅读(476) 评论(0) 推荐(0) 编辑

nessie 类似git 管理数据湖

摘要: nessie 是由dremio团队开源的一个类似git 管理数据湖的系统方案 支持的特性 类似git 模式的版本管理 跨表事物(基于iceberg) 开放式的数据湖支持 参考资料 https://projectnessie.org/ https://www.dremio.com/introducin 阅读全文

posted @ 2020-10-08 15:53 荣锋亮 阅读(427) 评论(0) 推荐(0) 编辑

一些不错的开源大数据虚拟数据sql 查询引擎

摘要: 以下就是一个简单的整理,核心在数据sql查询以及支持的联邦数据处理上 presto 一个通用的sql on anything 工具 apache drill 很不错的多数据源sql 查询引擎,schema on fly dremio 很不错,从官方文档看有点对标presto,但是dremio 更强大 阅读全文

posted @ 2020-10-08 09:58 荣锋亮 阅读(1416) 评论(2) 推荐(0) 编辑

What Is a Data Lake Engine?

摘要: 转自:https://www.dremio.com/what-is-a-data-lake-engine/ A data lake engine is an open source software solution or cloud service that provides critical c 阅读全文

posted @ 2020-10-08 09:38 荣锋亮 阅读(229) 评论(0) 推荐(0) 编辑

2020年10月6日

drill http 存储插件试用

摘要: 以下是对于http 存储插件的试用 环境准备 docker 启动drill (1.18.0 ) docker run -i --name drill-1.18.0 -p 8047:8047 -p 31010:31010 -p 31011:31011 -p 31012:31012 -t apache/ 阅读全文

posted @ 2020-10-06 21:22 荣锋亮 阅读(273) 评论(0) 推荐(0) 编辑

apache drill 1.18.0 新特性

摘要: apache drill 1.18.0 在九月6号,发布了1.18.0 版本,目前官方文档更新的不是很及时,以下大概说明下新的特性 drill metadata 功能,这个文档有写到,可以加速drill 的查询处理,同时方便bi工具 格式插件hdf5 http rest api 存储插件(很期待的功 阅读全文

posted @ 2020-10-06 20:52 荣锋亮 阅读(336) 评论(0) 推荐(0) 编辑

drill 学习 十 drill rest api

摘要: drill 提供了web ui 以及rest api 我们基于rest api 可以开发相关的业务系统(不需要依赖jdbc 驱动) 以下是简单梳理rest api 的使用(关于暴露的系统ui api 没有说明) 查询 api 地址:POST /query.json 请求提内容 { "queryTyp 阅读全文

posted @ 2020-10-06 15:04 荣锋亮 阅读(288) 评论(0) 推荐(0) 编辑

上一页 1 ··· 54 55 56 57 58 59 60 61 62 ··· 121 下一页

导航