荣锋亮 - 博客园

JadConfig classpathRepository 扩展

摘要： JadConfig 默认包含了基于内存，properties 文件，系统属性，以及环境变量的Repository，但是对于classpath 的文件处理不是很方便我们可以自己在扩展接口实现定义 public interface Repository { /** * Opens the confi 阅读全文

posted @ 2022-09-26 23:40 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

buildg 交互式dokcerfile debuger 工具

摘要： buildg 的设计是比较有意思的，使用buildg 可以解决我们dockerfile 调试的问题，内部基于了buildkit 类似的工具 buildkitcntrcontainerd 参考资料 https://github.com/ktock/buildghttps://github.com/mo 阅读全文

posted @ 2022-09-25 23:57 荣锋亮阅读(72) 评论(0) 推荐(0) 编辑

JadConfig 注解驱动的java 配置管理包

摘要： JadConfig 是graylog 开源的一个基于注解驱动的java 配置管理包，graylog server 对于配置的管理就是使用了此包 JadConfig 使用比较简单，但是功能还是很强大的，配置包含了校验处理参考使用使用默认PropertiesRepository 处理 Configu 阅读全文

posted @ 2022-09-25 23:33 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

qperf 网络测试工具

摘要： qperf 是测试延迟以及带宽的工具，一般的用法是一个机器使用不带参数的，另外一个机器使用qperf hostname tests或者其他命令支持的tests Miscellaneous conf Show configuration quit Cause the server to quit S 阅读全文

posted @ 2022-09-20 22:47 荣锋亮阅读(548) 评论(0) 推荐(0) 编辑

使用 victoriametrics vmagent 解决 coroot prometheus 大量存储以及push 问题

摘要：日常环境我们经常需要使用push 模式进行metrics 的处理，vmagent 是一个很不错的选择，尽管官方提供了一个promtun 但是很不好使用参考玩法如下图，直接使用vmagent 解决push的问题，基于victoriametrics 强大的能力，可以扩展多租户的支持环境准备 doc 阅读全文

posted @ 2022-09-19 22:32 荣锋亮阅读(368) 评论(0) 推荐(0) 编辑

coroot 简单试用

摘要：主要是体验下coroot ，基于虚拟机+docker-compose 混合模式参考玩法本次玩法 coroot server 以及prometheus 使用容器部署（docker-compose），因为内核原因原因，node-agent 基于了虚拟机，同时安装了,5.4 的内核环境配置 dock 阅读全文

posted @ 2022-09-19 19:49 荣锋亮阅读(220) 评论(0) 推荐(0) 编辑

coroot 玩法简单说明

摘要： coroot 与一般基于ebpf 进行系统监控的工具不一样，coroot 将log 也放到了prometheus 中玩法参考图对于metrics 以及log 都是通过prometheus exporter push 到中央的prometheus 中，同时coroot 的server 做为一个pr 阅读全文

posted @ 2022-09-19 17:30 荣锋亮阅读(498) 评论(0) 推荐(0) 编辑

coroot 开源微服务架构监控以及问题解决工具

摘要： coroot 的架构设计上基于了prometheus，同时也依赖了ebpf（已经成为业界问题分析的标配了），同时官方也开源了不少exporter，比如node，pg，aws 。。。。包含的特性 tcp 链接追踪包含了tcp 事件，比如connect，listen 日志提取包含了/var/log 阅读全文

posted @ 2022-09-19 11:41 荣锋亮阅读(176) 评论(0) 推荐(0) 编辑

linux kernel 下载地址

摘要：日常中centos7 内核版本一直比较保守，比较低，很多时候我们需要新版本的，同时也可能会需要一个已经归档的版本，以下整理以下资料方便使用最新kernel 版本可以使用elrepo ，具体可以参考如下链接已经归档的可以已经归档的可以使用coreix 的镜像，具体参考如下链接安装之后需要的阅读全文

posted @ 2022-09-19 11:40 荣锋亮阅读(104) 评论(0) 推荐(0) 编辑

wunderbase wundergraph 团队开源的一个serverless graphql database

摘要： wunderbase 是基于sqlite,prisma 以及firecracker 的开发的serverless graphql databasewunderbase 内部利用了prisma 的查询引擎，将graphql 查询，转换为sql，wundergraph团队添加了一个基于golang 开发阅读全文

posted @ 2022-09-18 22:33 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

buf connect-go 路由

摘要： buf connect-go 的路由，只是利用了golang http handler 的特性参考使用 package main import ( "context" "log" "net/http" "github.com/bufbuild/connect-go" userloginv1 "gi 阅读全文

posted @ 2022-09-18 21:00 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

observIQ 开源的OpenTelemetry collector 实现

摘要： OpenTelemetry collector 是一个标准，有官方的实现以及社区的实现， observiq-otel-collector 是社区开源实现目前看着还是不错的，只得尝试下，而且背后的团队是一家公司参考资料 https://github.com/observIQ/observiq-ote 阅读全文

posted @ 2022-09-18 18:01 荣锋亮阅读(79) 评论(0) 推荐(0) 编辑

buf connect-go 试用

摘要： golang 包含一个grpc-web 可以让浏览器运行grpc，但是是需要一些中间件工具的，connect-go 简化了处理，可以基于post 通过 http 协议就可以试用grpc 了包含的特性基于http 简单多协议支持，包含了grpc，grpc-web 参考试用初始化注意还需要配置阅读全文

posted @ 2022-09-18 17:50 荣锋亮阅读(190) 评论(0) 推荐(0) 编辑

buf buf.work.yaml 一个好用的功能

摘要：实际上此功能是在学习中发现的，按照一般的玩法，buf 的包是需要一个buf.yaml 文件的，但是假如没有，同时想进行管理（比如使用buf generate）我们可以通过一个buf.work.yaml 配置，就可以不用添加buf.yaml 了参考 proto 定义 └── proto └── u 阅读全文

posted @ 2022-09-18 17:47 荣锋亮阅读(147) 评论(0) 推荐(0) 编辑

buf 的bsr

摘要： bsr 是buf 的schema 仓库，实现了类似npm 的能力，属于云服务 bsr 的目的中心化仓库依赖管理 ui 以及文档代码生成说明尽管buf 的bsr 没有开源，但是bsr 的proto schema 定义是开放了的，似乎我们可以参考此实现一个简单的私有仓库具体schema 路径p 阅读全文

posted @ 2022-09-18 11:00 荣锋亮阅读(117) 评论(0) 推荐(0) 编辑

buf 工具对于buf使用的学习

摘要： buf 就是基于buf 开发的，有不少实践可以参考学习 buf buf 项目结构如下图使用说明 buf.yaml 主要定义包包命名代码生成基本模式包含复杂插件的说明以及是一个简单的说明，buf 就是基于buf 开发的，通过学习buf 项目，我们可以学习到一些buf 的实践玩法，同时也阅读全文

posted @ 2022-09-18 10:33 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

buf 工具简单学习

摘要： buf实际上是一个围绕protocol buffers 的工具链，包含了不少东西，对于我们来说使用比较多的就是buf cli 以下主要说明下buf cli 的简单使用 buf 的能力包含了lint，gen，workspace 管理，formater，deps 管理简单使用初始化项目项目目的，阅读全文

posted @ 2022-09-17 22:18 荣锋亮阅读(643) 评论(0) 推荐(0) 编辑

buf 工具的一些概念

摘要： buf 可以使用类似包管理的概念解决protocol buffers 管理的问题 buf 包定义 buf 的包，部分功能是借鉴了类似npm 的一些玩法，只是对象简单一些，一个包是包含了一个buf.yaml 文件的服务定义buf 包里边包含了protoc 文件，buf.yaml 文件同时包含了prot 阅读全文

posted @ 2022-09-17 21:50 荣锋亮阅读(321) 评论(0) 推荐(0) 编辑

parca 项目protocol buffers 管理学习

摘要： parca 是基于pprof+ebpf 实现的持续profile 工具，开发基于golang，使用了不少protocol buffers 比如协议定义rpc 服务契约等,以下是一些整理学习 protocol buffers 版本以及依赖管理工具 protocol buffers 是很不错，但是版本管阅读全文

posted @ 2022-09-16 11:55 荣锋亮阅读(81) 评论(0) 推荐(0) 编辑

pyroscope 最近的一些变动

摘要： pyroscope 是一个不错的持续profiler 工具，与parca 是一类东西，但是两个使用的技术栈是不一样的，后边会对比下支持的语言支持的语言越来越多了，同时也添加了ebpf 的支持参考下图额外扩展 lambda api 的处理添加了grafana plugin remote wri 阅读全文

posted @ 2022-09-14 13:27 荣锋亮阅读(182) 评论(0) 推荐(1) 编辑

parca && pyroscope 对比

摘要：简单对比下parca 以及pyroscope，两个都是持续profile 平台工具技术核心 parca 利用了ebpf进行agent 的push 处理，当然也支持基于google 的pprof，parca 核心就利用了pprof pyroscope 属于自己定义的格式，语言支持 pyroscop 阅读全文

posted @ 2022-09-14 13:24 荣锋亮阅读(391) 评论(0) 推荐(1) 编辑

tilt 解决dev 环境微服务部署的工具

摘要： tilt 核心是解决部署在k8s 上的微服务，让我们的开发环境即代码官方的说法kuberntes for prod Tilt for devtilt 可以类似我们的一些操作docker build && kubectl apply 以及docker-compose up tilt 自动化了所有步骤阅读全文

posted @ 2022-09-12 22:34 荣锋亮阅读(161) 评论(0) 推荐(0) 编辑

parca 对于frostdb 的使用简单说明

摘要： parca 使用badger 存储元数据，使用frostdb 列存，存储采样数据简单集成使用说明 frostdb 官方文档提供了一些简单的集成demo，值得学习参考参考代码pkg/parca/parca.go ，pkg/scrape/manager.go，pkg/scrape/scrape.go 阅读全文

posted @ 2022-09-12 20:36 荣锋亮阅读(83) 评论(0) 推荐(0) 编辑

fgprof golang profiler 支持on cpu 以及off cpu

摘要： fgprof 是相比golang 默认pprof 方便的工具，可以用来方便的分析on cpu 以及off cpu ，相比官方的提升不少说明没有银弹，fgprof 也有缺点的：不支持c 函数，当前实现依赖go 的调度器，一些数据可能不准确，parca 也依赖了此包具体是在parca serve 阅读全文

posted @ 2022-09-12 18:18 荣锋亮阅读(208) 评论(0) 推荐(0) 编辑

polarsignals frostdb golang嵌入式列存

摘要： frostdb 是parca 内部存储的核心，是一个列式存储包含的特点 golang 开发，方便golang 应用嵌入不可变数据集数据包含动态列，列可能在运行时扩展技术上基于了apache parquet （存储）以及apache arrow （查询）参考资料 https://githu 阅读全文

posted @ 2022-09-12 17:50 荣锋亮阅读(82) 评论(0) 推荐(0) 编辑

event-ruler 简单试用

摘要： event-ruler 目前event-ruler 似乎还没有发布 maven 仓库，可以自己构建构建命令 mvn clean package install -Dmaven.test.skip 参考使用 package com.dalong; import software.amazon.eve 阅读全文

posted @ 2022-09-12 10:36 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

event-ruler aws 开源的events 规则匹配包

摘要： event-ruler 核心是处理对于event 的规则匹配，比如做为数据校验，数据查询使用目前官方是包含了几种使用模式使用状态机 Machine 包含了addRule、deleteRule 以及rulesForJSONEvent 等方法使用静态函数 Ruler.matchesRule 方法阅读全文

posted @ 2022-09-12 10:13 荣锋亮阅读(84) 评论(0) 推荐(0) 编辑

parca 简单试用

摘要： parca 支持多种模式的数据ingestion 以下测试下基于pull 模式的数据ingestion 模式参考图环境准备 docker-compose.yaml version: '3' services: app: build: ./ ports: - "3000:3000" parca: 阅读全文

posted @ 2022-09-11 23:16 荣锋亮阅读(181) 评论(0) 推荐(0) 编辑

buf 新的使用protocol buffers 的工具

摘要： buf 解决了现有基于protocol buffers 进行api 开发的一些问题 buf 的特性管理protobuf 资产、包含了插件、模版、以及buf 的schema 仓库 liner 支持，可以开发更好的api 可以增强源码以及协议级的兼容基于配置模版的生成器格式化器，基于工业级标准的格阅读全文

posted @ 2022-09-11 18:08 荣锋亮阅读(315) 评论(0) 推荐(0) 编辑

parca ingestion 模式说明

摘要： parca ingestion 模式从上图可以看出parca 支持的模式，包含了pull以及push 模式说明 push 模式基于agent 进行push 处理，利用ebpf 进行获取处理，然后转换为pprof，然后push 到后端存储 pull 模式核心是基于pprof client 生成对阅读全文

posted @ 2022-09-11 15:00 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

parca-agent 安全问题

摘要： parca-agent 运行在root 账户，或者需要cap 能力（CAP_SYS_ADMIN ），同时官方为了安全对于执行文件进行了签名同时对于依赖以及代码使用了安全工具进行处理，对于bpf 的处理基于了libbpf 包，不依赖clang 以及llvm 说明 ebpf 是很不错的，但是ebpf 运阅读全文

posted @ 2022-09-11 11:12 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

parca-agent 数据处理一些简单说明

摘要： parca-agent 在parca 中属于一个比较重要的组件 parca-agent 参考处理包含的步骤目标发现，发现运行的cgroups 使用bpf 程序每10s进行一些原始栈数据的采样转换原始栈数据为pprof 格式的profile 如果需要记性处理（比如可能会提取debug 符号信息）阅读全文

posted @ 2022-09-11 11:06 荣锋亮阅读(38) 评论(0) 推荐(0) 编辑

基于wireshark 分析waf 响应处理慢的问题

摘要：主要是记录下当时对于出现问题的一个解决思路问题因为安全需要，一部分业务需要集成到waf 中，原有业务包含了一个nginx 做为流量入口，在加入waf 之后同时修改本地host 发现从waf 的请求是时快时慢而且大部分时间都是很慢的，但是通过nginx 的一直很快（本来就是一直没有问题）业务参考阅读全文

posted @ 2022-09-11 10:48 荣锋亮阅读(309) 评论(0) 推荐(0) 编辑

victoriametrics 与Grafana Mimir 的一个性能对比

摘要：内容来自victoriametrics 官方，主要说明了victoriametrics 与Grafana Mimir 的性能差异说明 victoriametrics 以及Mimir 都是我比较喜欢的prometheus metrics 存储服务，但是从能力上来说victoriametrics 更好阅读全文

posted @ 2022-09-11 00:06 荣锋亮阅读(133) 评论(0) 推荐(0) 编辑

parca持续内存&cpu 分析工具

摘要： parca 是利用了ebpf 以及google 的pprof 功能实现的内存以及cpu propfiler 工具包含的特性多维数据模型，通过官方文档可以了解到支持的数据处理是不错的内置优化的存储支持基于pull，以及push 模式，部分实际上是借鉴了prometheus 格式的，但是支持了p 阅读全文

posted @ 2022-09-10 22:51 荣锋亮阅读(141) 评论(0) 推荐(0) 编辑

uptrace 基于opentelemetry的开源apm

摘要： uptrace 是一个开源的apm 工具，集成了trace，log，以及metrics，核心使用了opentelemetry对于数据存储使用了clickhouse，实际技术实现上与signoz 类似，都是基于了opentelemetry 同时基于clickhouse 进行存储对于配置存储上感觉都不太阅读全文

posted @ 2022-09-06 21:42 荣锋亮阅读(779) 评论(0) 推荐(0) 编辑

frida 简单试用

摘要：内容来自官方访问，主要是一个学习试用安装frida 推荐基于venv python3 -m venv venv source venv/bin/activate pip install frida-tools 案例进行分析c 语言的函数调用 hello.c #include <stdio.h> 阅读全文

posted @ 2022-09-04 20:00 荣锋亮阅读(60) 评论(0) 推荐(0) 编辑

frida 动态检测工具集

摘要： frida 是面向开发、反向工程、安全研究的动态检测工具集特性脚本化可移植强，支持多种语言的免费完备的测试说明 frida 核心部分基于c 编写，使用quickjs 注入到目标进程，使用python 以及js 我们可以进行系统异常的捕捉,frida 是一个不错的工具集对于我们碰到的一些疑阅读全文

posted @ 2022-09-04 18:46 荣锋亮阅读(157) 评论(0) 推荐(0) 编辑

java password hash 几个安全工具包

摘要： password 安全存储是一个比较重要的东西，以下是一个可选的工具包，值得再项目中使用，提升系统的安全性几个参考工具包 password4j jhash wg/scrypt 参考资料 https://github.com/Password4j/password4jhttps://github.c 阅读全文

posted @ 2022-09-04 12:30 荣锋亮阅读(119) 评论(0) 推荐(0) 编辑

Why No Password Is Better than One Password 文章学习

摘要： Why No Password Is Better than One Password 是由curity 团队写的一篇文章，说明了No Password的一种实践详细的参考链接，以下是一些整理什么是无密码界面中不需要输入任何密码，key 可选的模式比如早期的sms，邮件，实际上解决方法很多使阅读全文

posted @ 2022-09-04 11:50 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

导航

公告