荣锋亮 - 博客园

dremio 联邦数据源arp 扩展简单说明

摘要： dremio 联邦查询dremio 从代码上没太多高深的东西，实际上也是一个arp 扩展，同时官方做了不少优化核心参考主要是关于arp 扩展的 conf 类 @SourceType( value = "DREMIOTODREMIO", label = "Dremio-to-Dremio (pr 阅读全文

posted @ 2022-12-03 21:38 荣锋亮阅读(67) 评论(0) 推荐(0) 编辑

dremio 联邦查询试用

摘要： dremio 23.1 支持dremio 联邦查询了，以下是一个试用说明环境准备 docker-compose 文件 version: "3" services: mongo: image: mongo:4.2 environment: - "MONGO_INITDB_ROOT_USERNAME= 阅读全文

posted @ 2022-12-01 22:32 荣锋亮阅读(68) 评论(0) 推荐(0) 编辑

dremio 23.1 发布

摘要：就在今天dremio 23.1 发布了，新功能有一个dremio 联邦查询的很不错，其他主要是一些常见bug 的修复主要新特性 hive 以及glue icege table location 支持 array_contains 函数支持 dremio 联邦数据源 snowflake 新数据源 s 阅读全文

posted @ 2022-12-01 15:23 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

lavinmq & rabbitmq压测对比

摘要：环境准备 docker-compose 文件 version: '3' services: lavinmq: image: cloudamqp/lavinmq:1.0.0-beta.8 volumes: - ./mq:/var/lib/lavinmq ports: - 5672:5672 - 156 阅读全文

posted @ 2022-12-01 12:44 荣锋亮阅读(156) 评论(0) 推荐(0) 编辑

使用lavinmq 做为minio amqp 消息服务

摘要：环境准备 docker-compose version: '3' services: minio: image: minio/minio ports: - "9000:9000" - "19001:19001" environment: MINIO_ACCESS_KEY: minio MINIO_S 阅读全文

posted @ 2022-12-01 12:42 荣锋亮阅读(91) 评论(0) 推荐(0) 编辑

使用arrow flight-sql-jdbc-driver 链接dremio

摘要：最近arrow flight-sql-jdbc-driver 发布了，对于dremio 我们直接可以使用flight sql jdbc 驱动链接了，可以极大的提升查询性能（具体性能提升待测试）环境准备 docker-compose 文件 version: "3" services: mongo: 阅读全文

posted @ 2022-12-01 12:32 荣锋亮阅读(321) 评论(0) 推荐(0) 编辑

lavinmq cloudamqp 开源的amqp server

摘要： lavinmq 是cloudamqp 基于Crystal 开发的amqp 协议server，目前暂时不吃你集群，但是可以通过federation以及shovel 暂时解决ha 问题 lavinmq 包含的特性持久exchange 较多语言支持（rabbitmq 以及amqp 周边生态）真正开源阅读全文

posted @ 2022-11-29 12:26 荣锋亮阅读(114) 评论(0) 推荐(0) 编辑

一些不错的开源内网穿透工具

摘要：整理一些可以支持内网穿透的工具，方便日常使用说明工具仅供参考学习使用参考资料 https://github.com/ffay/lanproxyhttps://github.com/ginuerzh/gosthttps://github.com/fatedier/frphttps://githu 阅读全文

posted @ 2022-11-29 12:10 荣锋亮阅读(491) 评论(0) 推荐(0) 编辑

一个历史k8s维护碰到的一些网络问题说明

摘要：最近在处理一个历史k8s 环境的调整，碰到一个问题，整理下 docker 相关 docker 1.12 之后 iptables FORWARD DROP，解决方法是添加iptables -P FORWARD ACCEPT，可以通过systemd 的ExecStartPost 解决，ExecStar 阅读全文

posted @ 2022-11-29 10:39 荣锋亮阅读(64) 评论(0) 推荐(0) 编辑

jdwp+rinetd 进行java 容器应用的远程调试

摘要：实际上就是一个玩法，实际上因为jdwp 是基于tcp 协议的，我们可以使用任何合适的tcp lb 工具解决（iptables 也是可以的）只是rinetd 使用起来还是比较简单的，同时包含了一些简单的访问控制还是不错的 jdwp 使用玩法集成参考图环境&测试一个spring boot 应用，启阅读全文

posted @ 2022-11-26 20:26 荣锋亮阅读(86) 评论(0) 推荐(0) 编辑

rinetd tcp/udp 端口重定向服务

摘要： rinetd 支持tcp 以及udp 协议的端口重定向，功能还是比较有用的，比如进行一些流量转发，配置上也是比较方便的，同时支持一些简单的访问控制处理构建 git clone https://github.com/samhocevar/rinetd.git cd rinetd ./bootstr 阅读全文

posted @ 2022-11-26 20:14 荣锋亮阅读(193) 评论(0) 推荐(0) 编辑

graylog 新版本报警处理

摘要： graylog 的报警编码上并不是很难，核心就是一个job，然后对于event 进行关联聚合查询，之后对于符合规则的event 触发不同的报警规则（邮件，http，遗留模式）几个核心参考类功能 job 定义事件通知job 通知实现聚合消息处理一个问题因为graylog 对于日志处理基于了本阅读全文

posted @ 2022-11-25 00:26 荣锋亮阅读(268) 评论(0) 推荐(0) 编辑

parseable datadog &splunk& elk 可选开源方案

摘要： parseable 是基于rust 编写的datadog &splunk& elk 可选开源方案，提供了方便的rest api 能力支持的特性云原生（无状态）开放模式（基于parquet）简单数据访问（/基于sql 兼容的api）部署简单，内置ui 进行日志查看以及可视化 alert 报阅读全文

posted @ 2022-11-24 23:53 荣锋亮阅读(223) 评论(0) 推荐(0) 编辑

spring boot 应用 systemd 管理简单说明

摘要：基于systemd 的spring boot 应用管理有一个比较方便的能力，就是不用复杂的java 进程处理了，应用发布只需要进行jar 文件的copy 处理，然后就是服务的重启了systemctl restart <servicename> 应用权限处理 chmod 500 /opt/my-ap 阅读全文

posted @ 2022-11-19 19:51 荣锋亮阅读(149) 评论(0) 推荐(0) 编辑

ldap 认证密码为空问题

摘要： ldap 协议使用使用simple 协议同时没有包含密码的情况就会存在自动转换为匿名认证，但是如果同时ad 开启了需要null bind 就会造成木有输入密码也可以认证成功的问题，机制上是协议栈的设计，但是对于如果ad 系统开启了此选项的问题就比较突出了，就会有安全隐患了，具体可以参考以下内容参考阅读全文

posted @ 2022-11-17 13:15 荣锋亮阅读(220) 评论(0) 推荐(0) 编辑

rqlite 基于sqlite 的轻量级分布式关系数据库

摘要： rqlite 是基于sqlite 做为存储的分布式关系数据库，对于分布式处理基于了raft 协议包含的特性部署简单使用简单，包含了http api 以及，命令行接口，以及client sdk 完整企业级的sql 数据库，包含了全文检索，以及json 文档支持支持节点服务发现（consul,e 阅读全文

posted @ 2022-11-13 23:31 荣锋亮阅读(664) 评论(0) 推荐(0) 编辑

github codespaces 简单说明

摘要：运行机制我们的codespace 服务是运行在azure 的linux 虚拟机上，里边包含了不少容器运行环境参考流程 github 官方文档包含了一个完整的介绍说明，比如代码clone，linux 主机创建，容器创建，连接codespaces，清理hook 应用运行参考图端口转发云ide 阅读全文

posted @ 2022-11-12 00:06 荣锋亮阅读(402) 评论(0) 推荐(0) 编辑

github codespaces 可以使用了

摘要：最近github 的codespaces可以使用了，很方便，实际上就是web 版的vscode，内部应该使用了一个轻量的虚拟机，里边部署了不少工具比如docker，kubectl 说明 github codespaces 值得体验使用了，默认不是root 账户，如果需要使用root 可以通过sudo 阅读全文

posted @ 2022-11-11 23:26 荣锋亮阅读(185) 评论(0) 推荐(0) 编辑

parcel segmentation fault 问题以及解决方法

摘要： parcel 是一个很不错的all-in-one 的简单工具，可以方便web 构建，因为使用mac 构建没有发现问题，但是在linux 上运行的时候发现是有问题的，出现了段错误问题，尝试了几种解决方法（升级npm 、node，yarn 版本）但是都没有解决，同时尝试使用了 strace 信息如下阅读全文

posted @ 2022-11-11 21:33 荣锋亮阅读(174) 评论(0) 推荐(0) 编辑

go workspace 试用

摘要： golang workspace 提供了类似单体仓库管理模块的能力，类似npm 的yarn workspace 或者lerna ,当然npm 也提供了类似的能力，maven，gradle 都可以提供类似的能力参考使用项目结构 ├── cli │ ├── go.mod │ └── main.go 阅读全文

posted @ 2022-11-10 22:45 荣锋亮阅读(539) 评论(0) 推荐(0) 编辑

go-npm 基于npm 进行跨平台分发golang 二进制程序

摘要：一个不错的工具，对于基于npm 分发golang 二进制文件的是一个不错的工具，很值得使用比如gomplate 就基于了此工具参考资料 https://www.npmjs.com/package/go-npmhttps://github.com/sanathkr/go-npmhttps://www 阅读全文

posted @ 2022-11-08 22:49 荣锋亮阅读(98) 评论(0) 推荐(0) 编辑

grafana agent 动态配置内部机制简单说明

摘要： grafana agent 动态配置目前属于一个体验特性，但是设计上利用了gomplate 一个强大的模版引擎工具参考配置运行配置参考 agentv2: image: grafana/agent:main ports: - 12345:12345 - 12347:12347 entrypoint 阅读全文

posted @ 2022-11-08 21:49 荣锋亮阅读(533) 评论(0) 推荐(0) 编辑

minio 一些配置策略

摘要：整理一些策略，方便使用参考配置获取删除上传下载 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:GetObject", "s3:PutOb 阅读全文

posted @ 2022-11-08 18:38 荣锋亮阅读(623) 评论(0) 推荐(1) 编辑

minio policy 使用

摘要： minio 参考aws s3 实现了用户的iam 访问控制，使用体验是一致的，而且比较方便，比如我们创建了一个用户或者组之后就需要进行权限创建分配环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio port 阅读全文

posted @ 2022-11-08 18:36 荣锋亮阅读(851) 评论(0) 推荐(0) 编辑

grafana agent 配置支持faro-web-sdk试用

摘要： faro-web-sdk对于grafana 周边的使用属于一个all-in-one 模式的，都是通过grafana agent 进行转发处理的参考架构实际玩法实际上并不是需要grafan cloud，实际上基于grafana agent 就可以了参考配置核心是利用了grafana agen 阅读全文

posted @ 2022-11-07 23:09 荣锋亮阅读(532) 评论(0) 推荐(0) 编辑

grafana agent metrics 集成victoriametrics 试用

摘要：以下是grafana agent metrics 集成victoriametrics 的一个简单试用，主要是metrics 的，对于log 以及trace 的后边会介绍环境准备 docker-compose 文件 version: "3" services: postgres: image: po 阅读全文

posted @ 2022-11-07 13:28 荣锋亮阅读(332) 评论(0) 推荐(0) 编辑

dragonfly 兼容redis 以及memcached 的替代工具

摘要： dragonfly 是兼容redis 以及memcached 的替代工具，性能很强悍，基于c 编写，支持多线程，同时武共享的架构说明目前dragonfly 提供了社区版以及企业版，社区版不支持集群、复制、以及s3 快照，对于如果单机够用，或者只做为共享模式使用的服务还是一个很不错的选择，毕竟性能阅读全文

posted @ 2022-11-06 22:07 荣锋亮阅读(210) 评论(0) 推荐(0) 编辑

grafana agent metrics 使用简单使用

摘要： grafana agent 的能力还是比较强大的，支持log，metrics，trace，以下简单说明下简单模式只包含了metrics，不包含集成模式核心点是metrics 配置，包含了remote write 以及静态或者动态配置（比喻基于文件的服务发现以及基于k8s 的服务发现） serv 阅读全文

posted @ 2022-11-06 21:53 荣锋亮阅读(903) 评论(0) 推荐(0) 编辑

基于grafana agent+ vmagent+VictoriaMetrics + Nightingale 监控报警平台简单构建

摘要：个人比较喜欢VictoriaMetrics的轻量以及简单，监管grafana 也提供了mimir 的prometheus 存储解决方案，但是比较费事以下方案，同时集成了vmagent 以及grafana agent ，vmagent 的好处是可以将pull 模式转变为push 模式同时轻量简单，可以阅读全文

posted @ 2022-11-06 20:40 荣锋亮阅读(378) 评论(0) 推荐(0) 编辑

grafana jpprof jdk 8 支持探索

摘要：问题运行问题 java.lang.NoSuchMethodError: java.nio.ByteBuffer.flip()Ljava/nio/ByteBuffer; at jpprof.one.jfr.JfrReader.<init>(JfrReader.java:80) ~[jpprof-0. 阅读全文

posted @ 2022-11-04 17:54 荣锋亮阅读(73) 评论(0) 推荐(0) 编辑

grafana phlare 试用

摘要：主要是简单试用下grafana phlare 环境准备 docker-compose 文件 version: '3' services: phlare: image: grafana/phlare:latest ports: - "4100:4100" command: -config.file=/ 阅读全文

posted @ 2022-11-04 17:53 荣锋亮阅读(308) 评论(0) 推荐(0) 编辑

grafana jpprof 使用的一些问题

摘要：容器运行版本问题如下图可以看出使用的也是基于libasyncProfiler 所以容器运行环境本地比较重要，parca java 解决方案也是使用了类似的技术（alpine 镜像就比较费事了，推荐使用其他java 技基础镜像，比如 amazoncorretto:11.0.17）容器运行cap能阅读全文

posted @ 2022-11-04 17:51 荣锋亮阅读(48) 评论(0) 推荐(0) 编辑

cube.js 支持views 模式

摘要： views 类似db 的view ，可以将多个cube 进行组合，可以从一下参考图看出来功能参考图说明 cube views是一个很不错的新功能，很值得使用，实际上以前cube 有一个context 目前来看你们没啥用了，官方博客的介绍很值得使用参考资料 https://cube.dev/bl 阅读全文

posted @ 2022-11-04 11:31 荣锋亮阅读(68) 评论(0) 推荐(0) 编辑

grafana jpprof 试用

摘要： grafana jpprof 是为了方便grafana phlare 对于java 语言支持开发的一个包，可以让java 语言方便的自持pprof 格式的内容，进行持续性能优化以下是一个简单的试用环境准备 pom 文件 <?xml version="1.0" encoding="UTF-8"?> 阅读全文

posted @ 2022-11-04 11:30 荣锋亮阅读(118) 评论(0) 推荐(0) 编辑

grafana phlare 开源持续优化平台

摘要：对于持续优化我以前介绍过几个开源工具，目前grafana 也开源了一个自己的，还是很不错的参考架构支持的语言目前支持java，golang，rust，python 说明 parca 也是一个不错的工具，但是目前来说似乎木有grafana phlare 的强大，但是如果利用了grafana ja 阅读全文

posted @ 2022-11-04 09:57 荣锋亮阅读(137) 评论(0) 推荐(0) 编辑

grafana faro-web-sdk web 可观测性sdk

摘要：最近grafan 大会开源了不少好东西，faro-web-sdk 就是一个很不错的前端监控方案参考架构说明 phlare 也是grafana 开源的一些持续profle 的一个方便工具，faro-web-sdk 可以实现log，metrics 以及exception 管理，目前不同处理基于了gr 阅读全文

posted @ 2022-11-04 09:14 荣锋亮阅读(184) 评论(0) 推荐(0) 编辑

arrow flight-sql-jdbc-driver 提供了

摘要：就是最近apache arrow 提供了flight sql jdbc driver，但是目前还没有发布，从功能上还是比较期待的，内部实现了是基于了calcite 的子项目avatica 开发的，代码量并不是很大，可以学习下，以后对于dremio 的链接我们就多了一种选择了，实际上dremio 的j 阅读全文

posted @ 2022-11-03 09:33 荣锋亮阅读(135) 评论(0) 推荐(0) 编辑

docker-compose 一些有用的新功能

摘要： docker-compose 可以方便我们进行多容器环境的管理，通过也提供了一些比较有意思的功能，比如extends，以及profiles extends 的场景比如我们需要使用一些模版进行服务的扩展，就可以使用次能力，模版是独立的docker-compose 文件定义格式，我们可以使用对于的某一阅读全文

posted @ 2022-11-02 20:52 荣锋亮阅读(530) 评论(0) 推荐(0) 编辑

backstage 面向开发者门户框架再次简单试用

摘要：很早以前我试用过backstage，同时写过简单的介绍，随着目前backstage 越来越强大，而且进入了linux 基金会，同时还是cncf 孵化项目对于backstage需要重新深入学习研究下了，以下只是简单的运行参考使用初始化项目官方提供了cli 脚手架工具，很方便按照提示操作就行阅读全文

posted @ 2022-11-01 22:51 荣锋亮阅读(250) 评论(0) 推荐(0) 编辑

graylog 索引数据查询处理简单说明

摘要：参考请求地址从ui 看到的,类似一个job 的执行,支持异步以及同步数据查询处理，还包含了相对时间、绝对时间查询的 /api/views/search/<id>/execute /api/views/search /api/views/search/metadata 查询适配参考实现主要是对于阅读全文

posted @ 2022-11-01 19:57 荣锋亮阅读(337) 评论(0) 推荐(0) 编辑

导航

公告