12 2021 档案

TriggerMesh 开源强大的事件驱动的集成平台
摘要:TriggerMesh 是基于k8s&knative 的事件驱动的开发集成平台,我们可以基于声明式的方式进行数据集成处理可以让我们实现集成组件即代码,TriggerMesh 基于hcl 配置搞了一套自己的定义语言(hcl 本来就对于定义配置比较友好) TriggerMesh 的组件 TriggerM 阅读全文

posted @ 2021-12-31 22:20 荣锋亮 阅读(319) 评论(0) 推荐(0) 编辑

juicefs 多s3 bucket 使用
摘要:juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用 环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K 阅读全文

posted @ 2021-12-28 13:27 荣锋亮 阅读(447) 评论(0) 推荐(0) 编辑

juicefs s3 gateway 试用
摘要:前边说明juicefs 支持对象存储进行分布式部署,我们以及minio进行了部署测试,以下是测试s3 gateway 目的 我们以及基于s3进行了存储提供,然后又使用s3 gateway 主要是更好的进行文件访问,因为s3 存储的是chunk块文件 基于s3 gateaway 我们可以更好的进行存储 阅读全文

posted @ 2021-12-28 00:09 荣锋亮 阅读(480) 评论(0) 推荐(0) 编辑

使用juicefs 让s3 更好兼容posix协议
摘要:juicefs 是一个很不错的云原生高性能共享文件系统,以下是s3的测试 环境准备 docker-compose version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY=minio" - "MINI 阅读全文

posted @ 2021-12-27 23:52 荣锋亮 阅读(479) 评论(0) 推荐(0) 编辑

juicefs 单机试用
摘要:juicefs 让我们可以提高对象存储的一致性以及更加方便的进行数据分析 参考架构 参考试用 mac 系统,同时注意mac 系统需要安装osxfuse 安装 brew tap juicedata/homebrew-tap brew install juicefs 创建文件系统 juicefs for 阅读全文

posted @ 2021-12-26 23:02 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑

maven 多模块父模块问题deploy 问题
摘要:很多时候我们只需要发布父pom,对于子模块需要独立处理(发布特定的子模块) 解决方法 忽略递归子模块 mvn clean package deploy -N // 在父pom目录 指定deploy 项目 mvn clean package deploy -pl . // 在父pom目录 参考mave 阅读全文

posted @ 2021-12-24 21:11 荣锋亮 阅读(1867) 评论(0) 推荐(0) 编辑

wundergraph 又一个即将开源强大的graphl 引擎
摘要:wundergraph 是一个即将开源的强大graphl 引擎,基于prisma+go 目前代码暂时还看不到,但是从官方文档上看到wundergraph 是很强大的,而且官方博客也写了关于Hasura 的比较,wundergraph是可以用来高api-mesh的 一些参考图 说明 因为wunderg 阅读全文

posted @ 2021-12-23 12:02 荣锋亮 阅读(233) 评论(0) 推荐(0) 编辑

WebSub 互联网分布式\订阅标准
摘要:WebSub 扩展了atom 以及rss ,主要是为了提供即时更新通知 参考流程 说明 官方文档还是提供了比较完备的信息,但是目前来说此协议使用的范围并不是很广 参考资料 https://w3c.github.io/websub/#tochttps://github.com/w3c/websub 阅读全文

posted @ 2021-12-19 20:22 荣锋亮 阅读(153) 评论(0) 推荐(0) 编辑

k8s集群部署几种方式
摘要:几种可选的工具 kubeadm https://github.com/kubernetes/kubeadm kops https://github.com/kubernetes/kops k0s https://k0sproject.io/ kubespray https://github.com/ 阅读全文

posted @ 2021-12-18 01:05 荣锋亮 阅读(390) 评论(0) 推荐(0) 编辑

webservice 动态调用使用技巧
摘要:参考使用 maven 引用 <dependency> <groupId>org.apache.cxf</groupId> <artifactId>cxf-rt-frontend-jaxws</artifactId> <version>${cxf.version}</version> </depend 阅读全文

posted @ 2021-12-18 00:59 荣锋亮 阅读(191) 评论(0) 推荐(0) 编辑

Why OpenMetadata is the Right Choice for you
摘要:转自: https://blog.open-metadata.org/why-openmetadata-is-the-right-choice-for-you-59e329163cac We’ve had an overwhelming response for the OpenMetadata p 阅读全文

posted @ 2021-12-17 21:17 荣锋亮 阅读(134) 评论(0) 推荐(0) 编辑

jattach最近的一些更新
摘要:jattach 还是一直在更新的,而且目前也支持openj9 了同时对于容器也有了更好的支持 让我们可以更好的使用一个轻量工具实现 jmap+jcmd+jstack+jinfo 的能力 (而且不需要安装jdk) 而且目前还包含了直接基于软件包进行安装 tomcat java 容器 容器没有包含jdk 阅读全文

posted @ 2021-12-15 20:46 荣锋亮 阅读(409) 评论(0) 推荐(0) 编辑

k8s 数据卷需要很长时间才能挂载成功
摘要:这个问题还是比较常见的,尤其是我们在使用了securitycontext 以及挂载的文件很多的时候(碎文件多) 原因 当我们配置了fsGroup 的是否就会很慢,k8s 会进行递归chown 以及chmod 当我们的文件很多的时候问题就很突出了,而且随着文件越多,我们的挂载就越慢 解决方法 k8s 阅读全文

posted @ 2021-12-15 02:54 荣锋亮 阅读(492) 评论(0) 推荐(0) 编辑

使用npm workspace 管理npm 包
摘要:从npm 7.0 开始已经支持workspace了(以前大家使用的比较多的是lerna 以及yarn。。。。) npm 的workspace 使用简单,而且将依赖统一放到了node_moduels 文件夹中,而且可以减少 我们测试的npm link 问题,是值得尝试的 参考使用 初始npm 项目 n 阅读全文

posted @ 2021-12-15 01:33 荣锋亮 阅读(4418) 评论(0) 推荐(0) 编辑

atop 很不错的系统以及进程监控工具
摘要:atop 是一个不错的linux 性能分析工具,基本上也就是一个比较全面的工具了,很值得使用下 下载 wget https://www.atoptool.nl/download/atop-2.6.0-1.el7.x86_64.rpm --no-check-certificate 安装 yum ins 阅读全文

posted @ 2021-12-12 22:39 荣锋亮 阅读(491) 评论(0) 推荐(0) 编辑

使用logux 一种新的连接client 以及server的模式
摘要:logux 创建者是一位牛人(PostCSS and Autoprefixer 的创建者),logux利用了websocket 以及crdt 协议,可以让我们的websocket 服务以及rest api 包装为实时同步的(当然功能更加强大,也利用了一些p2p 的设计模式)。logux也包含了一套自 阅读全文

posted @ 2021-12-12 22:00 荣锋亮 阅读(67) 评论(0) 推荐(0) 编辑

类似nginx include 模式管理haproxy 配置文件
摘要:默认haproxy 是所有配置都在一个文件中,实际上haproxy 的配置是支持基于文件夹管理的以下是 一个参考的使用说明 环境准备 docker-compose version: '3' services: haproxy: image: haproxytech/haproxy-debian:2. 阅读全文

posted @ 2021-12-11 23:22 荣锋亮 阅读(218) 评论(0) 推荐(0) 编辑

使用haproxy golang config-parser 包生成haproxy 配置
摘要:以下只是简单使用,具体复杂操作建议好好学习下haproxy的配置文件说明 demo 代码 go mod module demoapp go 1.16 require github.com/haproxytech/config-parser/v4 v4.0.0-rc2 // indirect main 阅读全文

posted @ 2021-12-11 01:16 荣锋亮 阅读(199) 评论(0) 推荐(0) 编辑

一种基于s3 管理haproxy 配置的模式
摘要:参考图 原理说明 提供一个原子配置模版,比如haproxy 需要包含一个frontend 以及backend,同时也会包含一些global 以及default 配置(共用的)frontend 以及backend 是成对出现的,我们基于数据库进行管理,每对实现一个版本以及状态管理,同时提供一个agen 阅读全文

posted @ 2021-12-11 00:56 荣锋亮 阅读(100) 评论(0) 推荐(0) 编辑

haproxy 动态配置的几种解决方案
摘要:haproxy 新版本特性是比较都的,以下说明集中动态配置的方法 几种参考方法 consul 官方支持基于consul 的服务发现 dns 基于dns 的服务发现 dataplane api 基于dataplan api 进行控制 confd confd 是一个很不错的方案 ingress cont 阅读全文

posted @ 2021-12-11 00:00 荣锋亮 阅读(864) 评论(0) 推荐(0) 编辑

haproxy tcp 白名单配置说明
摘要:基于acl 可以让haproxy 支持强大的访问控制以及流程处理,以下是一个简单的基于tcp-request 进行4层ip白名单的处理 参考配置 环境准备 version: '3' services: haproxy: image: haproxytech/haproxy-debian:2.5.0 阅读全文

posted @ 2021-12-09 17:50 荣锋亮 阅读(835) 评论(0) 推荐(0) 编辑

nginx 动态模块问题
摘要:nginx 的动态模块是一个很不错的模块共享方案,但是也有一些限制而且问题比较明显 限制 必须使用相同的nginx 版本构建,nginx 的升级容易造成服务启动失败(尤其是自己构建的一些三方模块) 推荐解决方法 实际上nginx 官方提供了一套完备的构建(nginx 以及模块)的依体系,如果我们参考 阅读全文

posted @ 2021-12-05 18:40 荣锋亮 阅读(271) 评论(0) 推荐(0) 编辑

基于minio s3 gateway 改造业务系统支持基于webhook的文件处理
摘要:文件上传是我们日常中比较常见的问题,而且我们很多时候是要进行额外的处理的比如缩略图,数据加工(数据分析类的应用),按照传统的模式(本地数据盘,或者一些已知开源工具)是不能很好的支持变动处理的,对于此类情况,我们基于s3 gateway 的webhook 能力,可以方便的实现通知集成简化系统处理的复杂 阅读全文

posted @ 2021-12-05 10:57 荣锋亮 阅读(521) 评论(0) 推荐(1) 编辑

nginx 作为s3 的gateway
摘要:nginx 自己出了一个s3 的gateway ,原理上是基于njs 编写的,同时利用了xsl 模块功能上是一个不错的选择但是就是有点太弱了,而且s3 的兼容性是一个问题(不好说能兼容多少,需要测试) 主要的使用场景 可选认证 cache 压缩 限速 说明 官方目前没有发布docker 镜像,我已经 阅读全文

posted @ 2021-12-05 10:11 荣锋亮 阅读(881) 评论(0) 推荐(0) 编辑

nginx 官方镜像njs 使用
摘要:实际上nginx 官方docker 镜像已经包含了njs 模块了 参考使用 环境准备 version: "3" services: api: image: nginx:1.20.2 volumes: - "./nginx.conf:/etc/nginx/nginx.conf" - "./js:/op 阅读全文

posted @ 2021-12-04 21:45 荣锋亮 阅读(1055) 评论(0) 推荐(0) 编辑

haproxy 推荐的性能优化参数
摘要:通过修改/etc/sysctl.conf 支持(取消如下的注释) 官方参考优化参数 # Limit the per-socket default receive/send buffers to limit memory usage # when running with a lot of concu 阅读全文

posted @ 2021-12-03 23:01 荣锋亮 阅读(335) 评论(0) 推荐(0) 编辑

支持prometheus+lua haproxy 2.5 rpm 包
摘要:为了项目集成使用自己构建了一个包含lua 以及prometheus的rpm包(基于开源的,只是自己构建了下) 参考使用 listen stats bind :9000 #option http-use-htx mode http http-request use-service prometheus 阅读全文

posted @ 2021-12-03 22:35 荣锋亮 阅读(202) 评论(0) 推荐(0) 编辑

edgedb 候选版3发布了
摘要:edgedb 是让人等待时间比较长,但是一直在演进的数据库,目前来说是越来越接近ga了 说明 从介绍上主要是bug修复,总的来说是越来越稳定了,具体可以参考官方文档,估计明天可能会ga 。。。。 参考资料 https://www.edgedb.com/docs/intro 阅读全文

posted @ 2021-12-03 22:21 荣锋亮 阅读(163) 评论(0) 推荐(0) 编辑

haproxy ssl 支持
摘要:参考配置 global log 127.0.0.1 local2 tune.ssl.default-dh-param 2048 # 此选项还是比较重要的,不然会有提示信息的(主要是安全问题) chroot /var/lib/haproxy pidfile /var/run/haproxy.pid m 阅读全文

posted @ 2021-12-03 22:20 荣锋亮 阅读(135) 评论(0) 推荐(0) 编辑

haproxy 2.5 发布
摘要:最近hproxy 发布了2.5 版本,包含了以下特性 新特性 动态server 添加 ssl/tls 增强 简化https 日志格式 线程优化 特性说明 http3 支持目前基本nginx 以及haproxy都在已经开始提到日程上了 动态server 添加2.4 开始就已经包含了,是利用了hapro 阅读全文

posted @ 2021-12-03 22:19 荣锋亮 阅读(451) 评论(0) 推荐(0) 编辑

导航