随笔分类 -  VictoriaMetrics

上一页 1 2 3 下一页

一个极快的监控系统
【发现一个问题】VictoriaMetrics中,vm-select与vm-storage之间的协议存在版本兼容性问题
摘要:使用中发现,vm-select 1.76版本,查询vm-storage的1.70版本,报以下错误: cannot execute rpcName="search_v5" on vmstorage "30.43.xx.x:8401" 版本不能兼容是个大问题,这无疑给后续的运维带来很大的麻烦。 1.如果 阅读全文

posted @ 2022-05-07 15:42 ahfuzhang 阅读(153) 评论(0) 推荐(0) 编辑

【记录一个问题】VictoriaMetrics的vmstorage因为慢查询导致大量写入失败
摘要:作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 见上图。 一直以为vmstorage中的查询协程会让位于写入协程,使得写入始终能够正常。 从监控曲线看,慢查询仍然影响了写入。 vm版本为 1.70.0, 后 阅读全文

posted @ 2022-04-28 19:33 ahfuzhang 阅读(300) 评论(0) 推荐(0) 编辑

【发现一个问题】VictoriaMetrics中,所有vmstorage在中午12:00切换索引,导致所有vm-insert发生oom
摘要:请看我提的issue: https://github.com/VictoriaMetrics/VictoriaMetrics/issues/2464 bug: vm v1.70.0, all vmstorage switch indexdb in same time at 12:00pm, caus 阅读全文

posted @ 2022-04-13 16:26 ahfuzhang 阅读(158) 评论(0) 推荐(0) 编辑

【发现一个问题】VictoriaMetrics中,突然某个时间段新增的data point无法查询出来
摘要:写了一个很简单的python程序,使用remote write协议发数据到vm-insert。 可是有个时段突然查询不出来数据了。 百思不得其解。 吃完中午饭,刷新页面又出来了。 还不清楚问题出现在哪里! 如图,我在12:21的时候不断查询,但是数据在11:26后就没有出现了。 午休后,另一个窗口刷 阅读全文

posted @ 2022-03-30 15:19 ahfuzhang 阅读(174) 评论(0) 推荐(0) 编辑

【VictoriaMetrics源码阅读】: vm中对map的优化
摘要:作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu github 公众号:一本正经的瞎扯 具体代码请看:https://github.com/ahfuzhang/victoria-metrics-1.72.0/blob/master/Victori 阅读全文

posted @ 2022-03-11 16:18 ahfuzhang 阅读(163) 评论(0) 推荐(0) 编辑

VictoriaMetrics 1.73.1 值得关注的新特性
摘要:作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu 公众号:一本正经的瞎扯 VictoriaMetrics 1.73.1 的changelog: https://github.com/VictoriaMetrics/VictoriaMetrics/ 阅读全文

posted @ 2022-03-02 12:22 ahfuzhang 阅读(133) 评论(0) 推荐(0) 编辑

【一个构想】pull方式获取expoter上的数据,如何更加精简?
摘要:作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu 公众号:一本正经的瞎扯 背景 已知:在prometheus中,每个业务节点通过prometheus client API 来在本地汇聚数据。 然后提供HTTP协议,通过 /metrics 路径把业 阅读全文

posted @ 2022-02-28 12:39 ahfuzhang 阅读(123) 评论(0) 推荐(0) 编辑

【调研】VictoriaMetrics的上报api能否替换prometheus的api?
摘要:prometheus的上报api在:https://github.com/prometheus/client_golang VictoriasMetrics的上报API在:https://github.com/VictoriaMetrics/metrics/releases/tag/v1.18.1 阅读全文

posted @ 2022-02-28 09:47 ahfuzhang 阅读(351) 评论(0) 推荐(0) 编辑

VictoriaMetrics源码阅读:极端吝啬,vm序列化数据到磁盘的细节
摘要:作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu 公众号:一本正经的瞎扯 源码请看:https://github.com/ahfuzhang/victoria-metrics-1.72.0/blob/30549db23e6067affea7f2f 阅读全文

posted @ 2022-02-24 16:27 ahfuzhang 阅读(733) 评论(0) 推荐(0) 编辑

源码阅读:VictoriaMetrics中的golang代码优化方法
摘要:全文请移步:https://zhuanlan.zhihu.com/p/469239020 或关注我的公众号: 公众号:一本正经的瞎扯 阅读全文

posted @ 2022-02-21 11:28 ahfuzhang 阅读(218) 评论(0) 推荐(0) 编辑

【VictoriaMetrics源码阅读】vm中仿照RoaringBitmap的实现:uint64set
摘要:作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu 公众号:一本正经的瞎扯 正文 VictoriaMetrics中使用uint64类型来表示一个MetricID,且MetricID是递增的。 因此有这些一些需求: 需要缓存某一类metricID的集 阅读全文

posted @ 2022-02-16 16:30 ahfuzhang 阅读(375) 评论(0) 推荐(0) 编辑

golang源码阅读:VictoriaMetrics中协程优先级的处理方式
摘要:在阅读VictoriaMetrics的源码的时候,读到了那么平平无奇的一段: // AddRows adds the given mrs to s. func (s *Storage) AddRows(mrs []MetricRow, precisionBits uint8) error { if 阅读全文

posted @ 2022-01-26 18:38 ahfuzhang 阅读(712) 评论(0) 推荐(1) 编辑

【VictoriaMetrics】vm单机版和vm-storage的查询功能的对比
摘要:1.vm-storage源码调用表 文件 行号 函数 说明 app/vmstorage/main.go 53 main 入口94行调用srv.RunVMSelect() app/vmstorage/transport/server.go 151 func (s *Server) RunVMSelec 阅读全文

posted @ 2022-01-17 15:16 ahfuzhang 阅读(624) 评论(0) 推荐(0) 编辑

【VictoriaMetrics】vm-select源码阅读
摘要:调用层次表格 源文件 行号 函数 说明 app/vmselect/main.go 63 main 入口 92行调用 requestHandler app/vmselect/main.go 132 -requestHandler 处理http协议的入口 222行调用 selectHandler app 阅读全文

posted @ 2022-01-17 12:15 ahfuzhang 阅读(733) 评论(0) 推荐(0) 编辑

【源码阅读】vm-insert与vm-storage之间的通讯
摘要:先说结论 vm-insert与vm-storage之间采用极其简单的通讯协议 对于简单的场景,越简单性能越高 vm-insert连接到vm-storage后,先发送字符串vminsert.02,vm-storage收到后回复字符串ok,然后握手成功 vm-insert发送一个字节的压缩标志给vm-s 阅读全文

posted @ 2022-01-14 15:08 ahfuzhang 阅读(459) 评论(0) 推荐(0) 编辑

【问题排查过程】vm-backup的snapshots导致磁盘满
摘要:使用中发现,vm-storage节点仅仅过了6天,就占用了800GB的硬盘空间。很不正常。下面是排查过程: 1.查看磁盘占用情况: 先登录容器,执行: df -h /dev/vdb 1012.8G 870.2G 142.7G 86% /var/victoria-metrics/data 2.查看节点 阅读全文

posted @ 2022-01-11 20:09 ahfuzhang 阅读(386) 评论(0) 推荐(0) 编辑

【分享数据】vm-insert的压缩比达到29倍
摘要:vm-insert采用remote-write的http协议来接收metric数据,然后按照一定算法转发到vm-storage群集。 vm-insert到vm-storage这里是用了自己的二进制协议的(数据序列化的方式还没看),从测试数据来看,这里转发数据的压缩比达到了29倍!!! 输入的HTTP 阅读全文

posted @ 2022-01-07 15:38 ahfuzhang 阅读(183) 评论(0) 推荐(0) 编辑

VictoriaMetrics:使用vmctl来实现vm-storage向victoria-metrics-prod(单机版)迁移数据
摘要:前一篇提到了,vm-storage的备份数据,无法被victoria-metrics-prod(单机版)读取。 继续翻文档发现vmctl可以实现这个效果: 1.启动vm-restore恢复数据 vmrestore-prod \ -configFilePath="/etc/cos/config.ini 阅读全文

posted @ 2021-12-31 11:19 ahfuzhang 阅读(1170) 评论(0) 推荐(0) 编辑

【源码阅读】VictoriaMetrics中理解vm-backup中设置origin地址的用途
摘要:lib/backup/actions/backup.go: // 118 行 partsToCopy := common.PartsDifference(srcParts, dstParts) //要上传的文件列表 originCopyParts := common.PartsIntersect(o 阅读全文

posted @ 2021-12-30 09:44 ahfuzhang 阅读(231) 评论(0) 推荐(0) 编辑

【一个小发现】VictoriaMetrics中:vm-storage的备份文件,无法给单机版使用
摘要:首先导入一个按天的备份: vmrestore-prod \ -configFilePath="/etc/cos/config.ini" \ -credsFilePath="/etc/cos/creds.ini" \ -customS3Endpoint="https://cos.ap-guangzho 阅读全文

posted @ 2021-12-29 11:02 ahfuzhang 阅读(429) 评论(0) 推荐(0) 编辑

上一页 1 2 3 下一页