03 2023 档案

nginx 1.23.4 发布
摘要:就在最近nginx 1.23.4 发布了,包含了一些新特性 新特性 tls 1.3 默认开启 如果协议多个监听端口重复定义会进行警告提示 如果客户端使用了流水线技术,nginx会关闭连接并清除残留数据 ngx_http_gzip_static_module 支持字节range ,可以优化客户端数据请 阅读全文

posted @ 2023-03-31 08:24 荣锋亮 阅读(186) 评论(0) 推荐(0) 编辑

minio 老版本mc admin update 问题
摘要:问题 mc: Unable to update the server. We encountered an internal error, please try again. (Server update failed, please do not restart the servers yet: 阅读全文

posted @ 2023-03-29 13:12 荣锋亮 阅读(555) 评论(0) 推荐(0) 编辑

minio 升级一些说明
摘要:minio 最近安全问题比较高发,而且基本都是比较高的安全风险,做好minio 的持续升级比较重要 升级操作 更新集群所有节点的minio 二进制程序 (也可以通过minio admin update ) 重启minio 集群(可以使用mc admin servie restart或者基于syste 阅读全文

posted @ 2023-03-29 12:46 荣锋亮 阅读(1682) 评论(0) 推荐(0) 编辑

使用nexus proxy 解决minio 升级软件包下载问题
摘要:minio mc 的admin 命令提供了方便的minio 集群升级能力,但是默认使用的是公网的,对于此种场景,官方是提供了不少方法:本地替换包,以及自己搞镜像 对于镜像模式nexus 是一个很不错的选择 参考玩法 nexus raw proxy 模式 参考配置 升级命令 命令 mc admin u 阅读全文

posted @ 2023-03-28 22:25 荣锋亮 阅读(258) 评论(0) 推荐(0) 编辑

minio server pool+domain模式实现静态website服务能力
摘要:基于server pool 的核心是提供一个灵活的扩容以及灾备能力,基于domain 约定方便进行数据路由,功能上类似aws s3 的 提供的website 托管能力 参考图 简单说明 bucket 格式 bucket 格式类似了aws s3 托管模式 .<minio_domain> domain 阅读全文

posted @ 2023-03-28 14:01 荣锋亮 阅读(461) 评论(0) 推荐(0) 编辑

minio server pool 的一些特点
摘要:minio server pool 是目前minio 官方推荐的集群扩容方案,使用上简单,算是做到了真的集群扩容能力,操作简单,维护成本并不是很大以下说明一些特点 特点 多个server pool 的都是可以上传的以及下载操作的,而且server pool 内的都可以看见所有文件 多个server 阅读全文

posted @ 2023-03-28 09:48 荣锋亮 阅读(367) 评论(0) 推荐(1) 编辑

minio server pool 进行集群扩容测试试用
摘要:minio 以前是推荐联邦解决集群的问题,但是现在已经废弃了,推荐通过server pool 模式进行集群的扩容处理,而且提供了比较全的命令,还是比较方便的以下是一个简单的测试:包含了两个server pool,将1的数据迁移到2中 环境准备 docker-compose 如下包含了两个server 阅读全文

posted @ 2023-03-27 20:22 荣锋亮 阅读(414) 评论(0) 推荐(0) 编辑

mountpoint-s3 rpm 包
摘要:为了方便linux 系统使用mountpoint-s3包(centos)基于自己构建的二进制程序+fpm 制作了一个rpm 可以方便大家使用 参考构建处理 命令 fpm -s dir -t rpm -n mountpoint-s3 --rpm-os linux -v v1.0.0_centos7 \ 阅读全文

posted @ 2023-03-27 16:07 荣锋亮 阅读(76) 评论(0) 推荐(0) 编辑

mountpoint-s3 一些集成玩法
摘要:通过测试发现mountpoint-s3 可以支持多主机文件可见,对于基于s3 的挂载还是很不错的 一种参考玩法 简单说明 每个vm 可以运行一个mountpoint-s3 进程(目前主要是数据的读操作),对于数据的写入操作可以通过s3 gateway 或者直接通过s3 sdk 进行 说明 目前从官方 阅读全文

posted @ 2023-03-27 13:42 荣锋亮 阅读(93) 评论(0) 推荐(0) 编辑

mountpoint-s3 linux 构建一些问题
摘要:依赖包问题 cmake3 yum install -y cmake3 clang 通过scl 解决 yum install centos-release-scl yum install llvm-toolset-7 scl enable llvm-toolset-7 bash fuse yum in 阅读全文

posted @ 2023-03-27 11:40 荣锋亮 阅读(63) 评论(0) 推荐(0) 编辑

mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端
摘要:mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端 特性 当前主要是处理读场景,暂时不支持写入场景,还在规划中 兼容性,主要是aws的s3 服务,应该是可以和其他s3 存储服务兼容 当前不会进行cache 对象数据以及元数据 构建 参考命令 git clon 阅读全文

posted @ 2023-03-27 10:34 荣锋亮 阅读(245) 评论(0) 推荐(0) 编辑

hilla 2.0 发布
摘要:hilla 2.0 发布了,支持了不少新特性,基于了spring boot 3 以及Java 17 ,同时提提升了typescript 的生成,支持了graalvm 生成native 镜像,以及新的sso 工具集,方便快速开发sso 应用 参考资料 https://github.com/vaadin 阅读全文

posted @ 2023-03-26 21:59 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

languageservices github action  语言服务
摘要:languageservices 是github 团队开源的github action 语言服务,可以实现类似vs code 自动提示的能力,这样可以提高github action的开发速度,代码部分还是值得学习参考的 参考资料 https://github.com/actions/language 阅读全文

posted @ 2023-03-25 21:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

dremio 阿里云oss 集成简单说明
摘要:默认dremio 支持了azure,aws,gcs 等存储的访问,但是对于oss 是缺少支持的,实际上都是类似的对象存储 可选模式 直接使用aws s3 模式链接 通过测试是可以的,但是需要进行一些配置,参考如下 通过minio s3 gateway 很简单,但是注意minio 版本(新版本已经移除 阅读全文

posted @ 2023-03-24 14:20 荣锋亮 阅读(158) 评论(0) 推荐(0) 编辑

dremio 汉化的一些问题
摘要:dremio dac 模块包含了后端以及ui 部分,对于简单的汉化可以直接通过修改dac 中ui 模块的locales/en.json 参考修改 运行 修改之后需要重新构建打包 构建命令 mvn clean install -DskipTests 运行 可以直接将官方包的文件进行替换 目录为jars 阅读全文

posted @ 2023-03-24 12:50 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

wails 基于golang 的跨平台开发解决方案
摘要:wails 是可以使用golang 进行跨平台开发的框架 参考使用 依赖 需要go 18+,node 15+ 安装 go install github.com/wailsapp/wails/v2/cmd/wails@latest 创建项目 wails init -n myproject -t van 阅读全文

posted @ 2023-03-22 19:44 荣锋亮 阅读(1040) 评论(3) 推荐(0) 编辑

dragonflydb 1.0 发布了
摘要:就在昨天dragonflydb发布1.0 了,同时也标志着可以生产可用了,同时也支持了master replication 能力 说明 dragonflydb发展很快,目前来说还是缺少对于ha 模式的支持,类似的keydb 就比较方便,其他 dragonflydb 对于sentinel 模式以及集群 阅读全文

posted @ 2023-03-22 11:35 荣锋亮 阅读(453) 评论(0) 推荐(0) 编辑

jenkins jvm内存调整以及一些说明
摘要:jenkins 调整jvm 内存有几个配置地方,比如通过/etc/sysconfig/jenkins 以及通过直接修改systemd 的服务定义(以centos 来说) systemd 配置 /usr/lib/systemd/system/jenkins.service 文件 参考修改 Enviro 阅读全文

posted @ 2023-03-22 10:40 荣锋亮 阅读(2427) 评论(0) 推荐(0) 编辑

ytsaurus yandex 开源的大数据平台
摘要:ytsaurus yandex 开源的 大数据平台 支持的特性 对租户,包含看了mapreduce,sql 查询引擎,job 调度,面向oltp 的key value 存储 可靠以及稳定,无单点故障,自动复制,更新不丢失数据 可扩展,支持百万级别的cpu 以及千级别的GPU,支持EB 级别的HDD, 阅读全文

posted @ 2023-03-21 20:01 荣锋亮 阅读(284) 评论(0) 推荐(0) 编辑

citus 11.2 更好的支持patroni 集群部署
摘要:citus 11.2 可以更好的支持基于patroni 的集群环境部署了,同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署 我以前有简单说明过基于patroni+ citus 11 进行实际部署,目前官方提供了类似的能力,可以省去我们不少时间 部署一些简单说明 参考 阅读全文

posted @ 2023-03-21 18:17 荣锋亮 阅读(296) 评论(0) 推荐(0) 编辑

jenkins 配置注意空格问题
摘要:最近在处理一个jenkins 构建问题碰到了一个空格问题,记录下 问题 昨天还可以一直使用的jenkins remote shell 执行,突然不能使用,日志日志unkonw host,同一批机器只有两台有问题,其他没有问题然后通过ssh 登录测试发现ssh 以及主机都是正常的,通过jenkins 阅读全文

posted @ 2023-03-21 08:13 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

keydb+socket.io 进行实时应用开发
摘要:socket.io 是一个很不错的实时应用开发框架,基于socket.io 开发的实时系统不少,而且socket.io 也支持不少语言框架的集成 参考图 玩法说明 通过keydb 的active-Replica 能力,可以实现一个快速的ha 能力,同时对于业务为了方便业务集成,添加了haproxy 阅读全文

posted @ 2023-03-20 19:57 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

开发一个浏览器插件的一些技巧
摘要:此模式的浏览器插件,并不是chrome 以及firefox 模式的插件,而且可以独立运行,同时包含gui 的浏览器插件(与ie 早期的activex 插件类似) 开发说明一些细节 开启一个windows protocol 可以windows protocol 的目的是提供开启插件gui 的能力,当然 阅读全文

posted @ 2023-03-20 12:12 荣锋亮 阅读(392) 评论(0) 推荐(0) 编辑

使用keydb 简化redis openresty 集成
摘要:openresty 支持redis 的链接管理以及api 集成能力是一个很不错的功能,基于keydb 的多活模式可以简化redis 的维护 同时结合haproxy 可以解决负载的问题 参考玩法 简单说明: keydb 基于Active-Replication 模式,可以同时读写,对于openrest 阅读全文

posted @ 2023-03-19 21:21 荣锋亮 阅读(93) 评论(0) 推荐(0) 编辑

nchan 集成keydb简单测试&一些说明
摘要:因为keydb 是完整兼容redis的,所以对于单机版本的兼容是很简单的,配置就行了 参考单机运行 docker-compose 文件 version: '3' services: db3: image: eqalpha/keydb command: keydb-server /etc/keydb/ 阅读全文

posted @ 2023-03-18 21:55 荣锋亮 阅读(190) 评论(0) 推荐(0) 编辑

PebbleTemplates 模版解析处理简单说明
摘要:以下是一个简单的说明如何集成起来的,详细的可以阅读完整源码 调用 在getPebbleTemplate 部分,参考处理 private PebbleTemplate getPebbleTemplate(String templateName, Loader loader, Object cacheK 阅读全文

posted @ 2023-03-17 12:11 荣锋亮 阅读(70) 评论(0) 推荐(0) 编辑

PebbleTemplates 默认一些安全处理
摘要:PebbleTemplates 支持了不少安全控制(这个是也模版引擎普遍存在的问题) 内容转义 核心是规避xss 问题,包含了自定以及手工处理,包含了html,js,css,url_param 。。。。 方法访问的 因为模版很容易引入一些非安全方法引用,官方包含了一个方法访问校验 MethodAcc 阅读全文

posted @ 2023-03-17 12:10 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

PebbleTemplates 一种集成玩法
摘要:PebbleTemplates 具有比较灵活的扩展性,扩展下可以做一些比较有意思的玩法 参考图 简单说明 模版官方部分基于了s3 进行存储,我们可以通过ci/cd 工具,或者利用git api 进行管理将模版存储到s3中,当然也可以自己开发相关的console api (利用s3 api)进行管理对 阅读全文

posted @ 2023-03-17 12:09 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

PebbleTemplates 自定义tag&filter&function 开发简单说明
摘要:PebbleTemplates 的扩展能力还是很强大的,开发起来也比较方便,以下是一个简单的说明,更加复杂的推荐查看官方源码学习 filter 开发 参考代码 此filter 直接返回rongfengliang public class LoginFilter implements Filter { 阅读全文

posted @ 2023-03-16 20:14 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

PebbleTemplates 模版引擎使用
摘要:PebbleTemplates 是一个类似jinja 的java 模版引擎(受twig启发)支持的能力还是很多的,而且扩展性很不错,比如模版资源加载,模版缓存 自定义扩展。。。。,是一个值得使用的模版引擎 一个s3 loader 参考代码 基于了minio client 通过配置指定 public 阅读全文

posted @ 2023-03-16 13:06 荣锋亮 阅读(188) 评论(0) 推荐(0) 编辑

sbom +dependencytrack 进行软件组件安全性分析
摘要:随着安全越来越重要,日常中我们对于自己开发的软件进行安全扫描同时作为一个常规化的任务是比较重要的,对于依赖组件基于sbom+ dependencytrack 是一个很不错的选择,而且成本比较低,管理上比较强大,我们需要做的就是基于ci 工具,或者通过cli 生成sbom,然后基于dependency 阅读全文

posted @ 2023-03-14 19:58 荣锋亮 阅读(606) 评论(2) 推荐(0) 编辑

fdb-record-layer 基于foundationdb 的record存储
摘要:fdb-record-layer 是在foundationdb上包装的一层工具层,可以简化日常的开发 包含的特性 结构化类型,基于了protobuf index 索引支持 复杂类型支持 list,嵌套record 查询,提供了查询api 可以方便使用 基于多record 存储共享schema 非常轻 阅读全文

posted @ 2023-03-12 23:08 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

tigris 基于foundationdb 开发的数据平台
摘要:tigris 是基于foundationdb 开发的数据平台,基于golang 开发,官方的介绍是mongo atlas 的可选替换工具 参考架构 参考资料 https://github.com/tigrisdata/tigrishttps://www.tigrisdata.com/blog/bui 阅读全文

posted @ 2023-03-12 22:40 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

keydb redis 兼容协议服务
摘要:keydb 是完全兼容redis 协议的服务,同时支持了不少其他特性,比如多主,多复制,对于我们的集群环境部署简化了不少而且还有一个不错的优势是性能(利用了多线程提供了不错的性能)官方也有明确的比较说明 说明 目前dragonfly 是另外一个热度比较高的redis 兼容协议,但是不像keydb 基 阅读全文

posted @ 2023-03-12 20:01 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑

snowflake 元数据存储一些参考资料
摘要:今天在写完关于使用一个开源kv 系统替换dremio 的kv 服务的之后,搜了下发现snowflake 的元数据系统就是基于foundationdb的,同时官方也有不少介绍可以参考学习 参考资料 https://medium.com/snowflake/part-2-migrating-snowfl 阅读全文

posted @ 2023-03-07 22:58 荣锋亮 阅读(95) 评论(0) 推荐(0) 编辑

dremio 替换kv 服务的一些思路
摘要:我以前简单介绍过dremio 内部协调服务(基于了zk)以及数据存储的说明(实际上是基于了kv存储rocksdb)同时dremio 入口会创建DACDaemonModule (此类可以通过配置修改),如果需要修改修改就可以从此处下手,以下只是一个简单的说明,后续等有时间了实现下 当前方案 可以看出对 阅读全文

posted @ 2023-03-07 19:08 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

napi 简单使用
摘要:内容来自官方文档,主要是体验下napi 的使用 安装cli npm install -g @napi-rs/cli 创建 按照提示操作,比如我的package名称为@dalongrong/napi-demo napi new 构建 cd <dir name> yarn build 使用 添加link 阅读全文

posted @ 2023-03-05 20:32 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

napi 基于rust 开发nodejs addons 的框架
摘要:目前基于rust 开发nodejs addons 的框架是很多了,而且都不错,同时对于安装会基于跨平台构建+github release 模式进行安装(对于企业内部不是很友好)napi 是一个新的基于rust 的开发框架,同时官方也与neon进行了对比介绍,而且从目前来说napi社区相比neon 更 阅读全文

posted @ 2023-03-05 19:54 荣锋亮 阅读(157) 评论(0) 推荐(0) 编辑

cube.js dremio-odbc-cubejs-driver TypeError: Do not know how to serialize a BigInt 问题
摘要:因为cube.js cache 部分使用了json 进行key 的存储,但是因为odbc 部分数据类型会有bigint,cube.js 会报错 解决方法 通过hack 的模式 const CubejsServer = require('@cubejs-backend/server'); const 阅读全文

posted @ 2023-03-02 19:47 荣锋亮 阅读(320) 评论(0) 推荐(0) 编辑

基于odbc 开发一个高性能的dremio cube.js driver
摘要:我以前简单写过,基于odbc 的cube.js driver 开发简单说明,一直没有实现, 最近研究下了,发现实现起来还是很简单的 所以就写了一个,方便使用,对比下来性能提升是很大的 参考开发 核心是基于odbc 对于query以及testConnection 的实现,部分借鉴了http 协议的实现 阅读全文

posted @ 2023-03-02 19:37 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

iframe sandbox 造成附件下载问题解决
摘要:问题场景,iframe 通过src 加载三方website,同时三方website 调用api 生成 web 页面,页面中会包含click 链接(打开新页面)之后会包含文件下载 参考图如下 问题 对于通过api 生成的web page ,click 打开是另外一个web page (那怕是新打开浏览 阅读全文

posted @ 2023-03-02 08:40 荣锋亮 阅读(157) 评论(0) 推荐(0) 编辑

haproxy 2.x 请求头安全问题
摘要:就在最近haproxy 官方发布了一个通知关于安全漏洞的,包含了2.0 以及最新版本的,对于使用了2.x 版本的用户最好升级下 临时解决方案 frontend myfrontend http-request deny if { fc_http_major 1 } !{ req.body_size 0 阅读全文

posted @ 2023-03-01 21:01 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

cube.js 自定义驱动 static dialectClass 方法说明
摘要:实际上官方文档有过描述关于此方法的作用,可以进行自动query 方言的转换处理,同时官方不少插件也使用了此功能 以下做一个简单的说明 作用 主要是对于dbtype 可以方便的找到数据库查询方言 参考开发 export class OceanBaseDriver extends BaseDriver 阅读全文

posted @ 2023-03-01 00:00 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

导航