荣锋亮 - 博客园

gotenberg+ chromiumly + pdf.js 进行office 文档转换以及预览处理

摘要：日常中office 预览是一个比较常见的问题，基于微软的office online 是一个选择，但是移动端效果不是很好就有pdf 以及一些基于生成图片的方案也是不错的，以下是基于gotenberg+ chromiumly 的一个尝试简单说明 gotenberg 是基于golang 开发的包装了C 阅读全文

posted @ 2023-04-12 20:22 荣锋亮阅读(230) 评论(0) 推荐(0) 编辑

arroyo sql 处理

摘要：我在arroyo docker 镜像处理的时候简单说过一个arroyo 的编译服务，在看了官方介绍之后发现官方是有说明的参考处理基于datafusion解析查询以及计划生成查询计划编译为arroyo 逻辑dataflow 计划 dataflow 逻辑计划，生成rust 代码 rust 代码编译阅读全文

posted @ 2023-04-11 21:41 荣锋亮阅读(46) 评论(0) 推荐(0) 编辑

arroyo single docker 镜像说明

摘要： arroyo single docker 镜像使用了ubuntu 作为基础镜像，里边包含了不少服务，同时基于supervisord 进行服务管理具体dockerfile 参考github 我简单介绍一些其他服务 supervisord配置 /opt/arroyo/src/docker/single 阅读全文

posted @ 2023-04-11 08:58 荣锋亮阅读(49) 评论(0) 推荐(0) 编辑

arroyo 开发说明

摘要：因为arroyo 基于rust 开发，了解开发流程有助于学习源码（注意当前主要是ubuntu，其他环境官方暂时没说明，应该也是可以的） pg arroyo 需要一个pg 数据库，对于数据库是通过环境变量处理的对于迁移基于了refinery，同时基于了 cornucopia 对于sql 查询生成安全可阅读全文

posted @ 2023-04-11 08:40 荣锋亮阅读(101) 评论(0) 推荐(0) 编辑

arroyo集群部署简单说明

摘要： arroyo 推荐的调度是基于nomad 当然也可以基于内置的运行配置 pg arroyo 基于了refinery 管理迁移 s3 进行checkpoints 存储，通过controller 以及worker 进行的状态写入运行服务 arroyo 集群包含了多特api server 以及一个c 阅读全文

posted @ 2023-04-11 08:26 荣锋亮阅读(55) 评论(0) 推荐(0) 编辑

arroyo 组件简单说明

摘要： arroyo 架构上与k8s 的架构特别类似，包含了控制面板:api server 、controler、存储（k8s 是etcd，arroyo 是pg）、web ui （类似dashboard）数据面板: scheduler 以及worker（serverless 具体执行的地方），对于状态存储基阅读全文

posted @ 2023-04-11 08:03 荣锋亮阅读(83) 评论(0) 推荐(0) 编辑

arroyo+redpanda 集成试用

摘要： arroyo 对于kafka 有着很不错的集成支持（目前版本可以说是优先支持的），使用原生kafka 是一个选择，但是部署以及管理感觉比较费事以前简单介绍过redpanda，所以尝试下集成环境准备 docker-compose 包含了redpandadata console，connect，以及阅读全文

posted @ 2023-04-11 07:25 荣锋亮阅读(260) 评论(0) 推荐(0) 编辑

arroyo 基于rust开发的流处理引擎

摘要： arroyo 基于rust开发的流处理引擎包含的特性 sql 以及rust pipelines 可以直接每秒百万级别的事件支持windows 以及joins 的状态处理基于状态checkpointing 的支持容错以及恢复的pipelines 通过dataflow 模型的及时流处理使用场景阅读全文

posted @ 2023-04-10 13:51 荣锋亮阅读(541) 评论(0) 推荐(0) 编辑

asciinema 方便的终端录屏方案

摘要： asciinema 方便的终端录屏方案，我们可以直接使用cli 工具就可以方便的进行终端录制了，然后可以自己提供一份website 基于官方提供的asciinema-player 进行播放参考玩法简单说明：我们可以基于s3 以及asciinema 提供的工具自己包装一个ui 当然也可以直接使用阅读全文

posted @ 2023-04-07 10:45 荣锋亮阅读(60) 评论(0) 推荐(0) 编辑

neondatabase 开源的k8s postgres autoscaling 工具

摘要： autoscaling neondatabase 开源的pg 扩展工具(核心是解决neondatabase的一些问题)，但是设计上有不少值得学习参考的地方参考架构说明 autoscaling 设计上实现了自己的一个vm （支持在线迁移业务影响小）,实现了自己的scheduler，也算是一个不错的阅读全文

posted @ 2023-04-05 23:36 荣锋亮阅读(53) 评论(0) 推荐(0) 编辑

使用sealos 快速部署生产可用的k8s环境

摘要： sealos 是一个很不错的k8s 部署工具，内部实际上也是基于了kubeadm ，但是sealos 做了不少方便的扩展比如自己搞了一层基于lvs 的ha ，可以简化我们k8s 环境ha 的问题（但是如果需要外部访问还是需要一层ha 方案的）同时sealos 提供了自己的一套容器镜像仓库，离线部阅读全文

posted @ 2023-04-05 10:30 荣锋亮阅读(407) 评论(0) 推荐(0) 编辑

highlight 开源全栈监控平台

摘要： highlight 开源全栈监控平台，支持error 监控，网络监控，session 回放，log 记录说明对于web 录制，目前看是基于了rrwev 框架处理的，代码部分使用golang 开发，同时提供了不少web 框架的支持，值得学习使用下参考资料 https://github.com/h 阅读全文

posted @ 2023-04-04 13:04 荣锋亮阅读(349) 评论(0) 推荐(0) 编辑

grafana admin 密码重置

摘要：有时可能碰到grafana admin 密码忘记的问题，我们可以通过重置解决参考命令命令 grafana-cli admin reset-admin-password xxxxxxxx 参考资料 https://community.grafana.com/t/admin-password-res 阅读全文

posted @ 2023-04-01 20:54 荣锋亮阅读(128) 评论(0) 推荐(0) 编辑

"cni0" already has an IP address different from 问题解决

摘要：解决方法删除历史的 ip link set cni0 down brctl delbr cni0 // 可以通过 yum install bridge-utils 安装 systemctl restart containerd && systemctl restart kubelet // 可选的阅读全文

posted @ 2023-04-01 20:53 荣锋亮阅读(107) 评论(0) 推荐(0) 编辑

nginx 1.23.4 发布

摘要：就在最近nginx 1.23.4 发布了，包含了一些新特性新特性 tls 1.3 默认开启如果协议多个监听端口重复定义会进行警告提示如果客户端使用了流水线技术，nginx会关闭连接并清除残留数据 ngx_http_gzip_static_module 支持字节range ，可以优化客户端数据请阅读全文

posted @ 2023-03-31 08:24 荣锋亮阅读(186) 评论(0) 推荐(0) 编辑

minio 老版本mc admin update 问题

摘要：问题 mc: Unable to update the server. We encountered an internal error, please try again. (Server update failed, please do not restart the servers yet: 阅读全文

posted @ 2023-03-29 13:12 荣锋亮阅读(555) 评论(0) 推荐(0) 编辑

minio 升级一些说明

摘要： minio 最近安全问题比较高发，而且基本都是比较高的安全风险，做好minio 的持续升级比较重要升级操作更新集群所有节点的minio 二进制程序（也可以通过minio admin update ）重启minio 集群（可以使用mc admin servie restart或者基于syste 阅读全文

posted @ 2023-03-29 12:46 荣锋亮阅读(1681) 评论(0) 推荐(0) 编辑

使用nexus proxy 解决minio 升级软件包下载问题

摘要： minio mc 的admin 命令提供了方便的minio 集群升级能力，但是默认使用的是公网的，对于此种场景，官方是提供了不少方法：本地替换包，以及自己搞镜像对于镜像模式nexus 是一个很不错的选择参考玩法 nexus raw proxy 模式参考配置升级命令命令 mc admin u 阅读全文

posted @ 2023-03-28 22:25 荣锋亮阅读(258) 评论(0) 推荐(0) 编辑

minio server pool+domain模式实现静态website服务能力

摘要：基于server pool 的核心是提供一个灵活的扩容以及灾备能力，基于domain 约定方便进行数据路由，功能上类似aws s3 的提供的website 托管能力参考图简单说明 bucket 格式 bucket 格式类似了aws s3 托管模式 .<minio_domain> domain 阅读全文

posted @ 2023-03-28 14:01 荣锋亮阅读(460) 评论(0) 推荐(0) 编辑

minio server pool 的一些特点

摘要： minio server pool 是目前minio 官方推荐的集群扩容方案，使用上简单，算是做到了真的集群扩容能力，操作简单，维护成本并不是很大以下说明一些特点特点多个server pool 的都是可以上传的以及下载操作的，而且server pool 内的都可以看见所有文件多个server 阅读全文

posted @ 2023-03-28 09:48 荣锋亮阅读(366) 评论(0) 推荐(1) 编辑

minio server pool 进行集群扩容测试试用

摘要： minio 以前是推荐联邦解决集群的问题，但是现在已经废弃了，推荐通过server pool 模式进行集群的扩容处理，而且提供了比较全的命令，还是比较方便的以下是一个简单的测试：包含了两个server pool，将1的数据迁移到2中环境准备 docker-compose 如下包含了两个server 阅读全文

posted @ 2023-03-27 20:22 荣锋亮阅读(412) 评论(0) 推荐(0) 编辑

mountpoint-s3 rpm 包

摘要：为了方便linux 系统使用mountpoint-s3包（centos）基于自己构建的二进制程序+fpm 制作了一个rpm 可以方便大家使用参考构建处理命令 fpm -s dir -t rpm -n mountpoint-s3 --rpm-os linux -v v1.0.0_centos7 \ 阅读全文

posted @ 2023-03-27 16:07 荣锋亮阅读(76) 评论(0) 推荐(0) 编辑

mountpoint-s3 一些集成玩法

摘要：通过测试发现mountpoint-s3 可以支持多主机文件可见，对于基于s3 的挂载还是很不错的一种参考玩法简单说明每个vm 可以运行一个mountpoint-s3 进程（目前主要是数据的读操作），对于数据的写入操作可以通过s3 gateway 或者直接通过s3 sdk 进行说明目前从官方阅读全文

posted @ 2023-03-27 13:42 荣锋亮阅读(93) 评论(0) 推荐(0) 编辑

mountpoint-s3 linux 构建一些问题

摘要：依赖包问题 cmake3 yum install -y cmake3 clang 通过scl 解决 yum install centos-release-scl yum install llvm-toolset-7 scl enable llvm-toolset-7 bash fuse yum in 阅读全文

posted @ 2023-03-27 11:40 荣锋亮阅读(63) 评论(0) 推荐(0) 编辑

mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端

摘要： mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端特性当前主要是处理读场景，暂时不支持写入场景，还在规划中兼容性，主要是aws的s3 服务，应该是可以和其他s3 存储服务兼容当前不会进行cache 对象数据以及元数据构建参考命令 git clon 阅读全文

posted @ 2023-03-27 10:34 荣锋亮阅读(245) 评论(0) 推荐(0) 编辑

hilla 2.0 发布

摘要： hilla 2.0 发布了，支持了不少新特性，基于了spring boot 3 以及Java 17 ，同时提提升了typescript 的生成，支持了graalvm 生成native 镜像，以及新的sso 工具集，方便快速开发sso 应用参考资料 https://github.com/vaadin 阅读全文

posted @ 2023-03-26 21:59 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

languageservices github action 语言服务

摘要： languageservices 是github 团队开源的github action 语言服务，可以实现类似vs code 自动提示的能力，这样可以提高github action的开发速度，代码部分还是值得学习参考的参考资料 https://github.com/actions/language 阅读全文

posted @ 2023-03-25 21:00 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

dremio 阿里云oss 集成简单说明

摘要：默认dremio 支持了azure，aws，gcs 等存储的访问，但是对于oss 是缺少支持的，实际上都是类似的对象存储可选模式直接使用aws s3 模式链接通过测试是可以的，但是需要进行一些配置，参考如下通过minio s3 gateway 很简单，但是注意minio 版本（新版本已经移除阅读全文

posted @ 2023-03-24 14:20 荣锋亮阅读(158) 评论(0) 推荐(0) 编辑

dremio 汉化的一些问题

摘要： dremio dac 模块包含了后端以及ui 部分，对于简单的汉化可以直接通过修改dac 中ui 模块的locales/en.json 参考修改运行修改之后需要重新构建打包构建命令 mvn clean install -DskipTests 运行可以直接将官方包的文件进行替换目录为jars 阅读全文

posted @ 2023-03-24 12:50 荣锋亮阅读(44) 评论(0) 推荐(0) 编辑

wails 基于golang 的跨平台开发解决方案

摘要： wails 是可以使用golang 进行跨平台开发的框架参考使用依赖需要go 18+，node 15+ 安装 go install github.com/wailsapp/wails/v2/cmd/wails@latest 创建项目 wails init -n myproject -t van 阅读全文

posted @ 2023-03-22 19:44 荣锋亮阅读(1040) 评论(3) 推荐(0) 编辑

dragonflydb 1.0 发布了

摘要：就在昨天dragonflydb发布1.0 了，同时也标志着可以生产可用了，同时也支持了master replication 能力说明 dragonflydb发展很快，目前来说还是缺少对于ha 模式的支持，类似的keydb 就比较方便，其他 dragonflydb 对于sentinel 模式以及集群阅读全文

posted @ 2023-03-22 11:35 荣锋亮阅读(453) 评论(0) 推荐(0) 编辑

jenkins jvm内存调整以及一些说明

摘要： jenkins 调整jvm 内存有几个配置地方，比如通过/etc/sysconfig/jenkins 以及通过直接修改systemd 的服务定义（以centos 来说） systemd 配置 /usr/lib/systemd/system/jenkins.service 文件参考修改 Enviro 阅读全文

posted @ 2023-03-22 10:40 荣锋亮阅读(2420) 评论(0) 推荐(0) 编辑

ytsaurus yandex 开源的大数据平台

摘要： ytsaurus yandex 开源的大数据平台支持的特性对租户，包含看了mapreduce，sql 查询引擎，job 调度，面向oltp 的key value 存储可靠以及稳定，无单点故障，自动复制，更新不丢失数据可扩展，支持百万级别的cpu 以及千级别的GPU，支持EB 级别的HDD，阅读全文

posted @ 2023-03-21 20:01 荣锋亮阅读(284) 评论(0) 推荐(0) 编辑

citus 11.2 更好的支持patroni 集群部署

摘要： citus 11.2 可以更好的支持基于patroni 的集群环境部署了，同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署我以前有简单说明过基于patroni+ citus 11 进行实际部署，目前官方提供了类似的能力，可以省去我们不少时间部署一些简单说明参考阅读全文

posted @ 2023-03-21 18:17 荣锋亮阅读(296) 评论(0) 推荐(0) 编辑

jenkins 配置注意空格问题

摘要：最近在处理一个jenkins 构建问题碰到了一个空格问题，记录下问题昨天还可以一直使用的jenkins remote shell 执行，突然不能使用，日志日志unkonw host，同一批机器只有两台有问题，其他没有问题然后通过ssh 登录测试发现ssh 以及主机都是正常的，通过jenkins 阅读全文

posted @ 2023-03-21 08:13 荣锋亮阅读(85) 评论(0) 推荐(0) 编辑

keydb+socket.io 进行实时应用开发

摘要： socket.io 是一个很不错的实时应用开发框架，基于socket.io 开发的实时系统不少，而且socket.io 也支持不少语言框架的集成参考图玩法说明通过keydb 的active-Replica 能力，可以实现一个快速的ha 能力，同时对于业务为了方便业务集成，添加了haproxy 阅读全文

posted @ 2023-03-20 19:57 荣锋亮阅读(60) 评论(0) 推荐(0) 编辑

开发一个浏览器插件的一些技巧

摘要：此模式的浏览器插件，并不是chrome 以及firefox 模式的插件，而且可以独立运行，同时包含gui 的浏览器插件（与ie 早期的activex 插件类似）开发说明一些细节开启一个windows protocol 可以windows protocol 的目的是提供开启插件gui 的能力，当然阅读全文

posted @ 2023-03-20 12:12 荣锋亮阅读(392) 评论(0) 推荐(0) 编辑

使用keydb 简化redis openresty 集成

摘要： openresty 支持redis 的链接管理以及api 集成能力是一个很不错的功能，基于keydb 的多活模式可以简化redis 的维护同时结合haproxy 可以解决负载的问题参考玩法简单说明： keydb 基于Active-Replication 模式，可以同时读写，对于openrest 阅读全文

posted @ 2023-03-19 21:21 荣锋亮阅读(93) 评论(0) 推荐(0) 编辑

nchan 集成keydb简单测试&一些说明

摘要：因为keydb 是完整兼容redis的，所以对于单机版本的兼容是很简单的，配置就行了参考单机运行 docker-compose 文件 version: '3' services: db3: image: eqalpha/keydb command: keydb-server /etc/keydb/ 阅读全文

posted @ 2023-03-18 21:55 荣锋亮阅读(190) 评论(0) 推荐(0) 编辑

PebbleTemplates 模版解析处理简单说明

摘要：以下是一个简单的说明如何集成起来的，详细的可以阅读完整源码调用在getPebbleTemplate 部分,参考处理 private PebbleTemplate getPebbleTemplate(String templateName, Loader loader, Object cacheK 阅读全文

posted @ 2023-03-17 12:11 荣锋亮阅读(70) 评论(0) 推荐(0) 编辑

导航

公告