也无风雨也无qing

2020年12月8日

filebeat导致磁盘空间不足

摘要: 1.一次生产的小问题,应用上线没多久就收到磁盘空间不足的告警,排查发现是日志的磁盘,停了filebeat进程,空间立刻就降下来了。 2.这是filebeat的一个典型问题,对于每个采集的文件,filebeat都会启动一个harvest来提供读取和监控变化,并写到位移(注册)文件;如果这期间文件被删除 阅读全文

posted @ 2020-12-08 16:17 也无风雨也无qing 阅读(585) 评论(0) 推荐(0) 编辑

2020年9月3日

flume1.7---源码探索和改进--由于初学java-比较详细

摘要: 一:生产碰到的问题总结 1.采集文件能否加入对于文件或者目录的一个时间判断,比如24h之前的日志不采集 2.轮转的日志不要采集。特点:inode相同,文件名不同 3.文件句柄不释放问题 4.重复采集问题 二:官方文档 第一件事是阅读官方文档,查看相应的说明。其中idleTimeout说明了,两分钟后 阅读全文

posted @ 2020-09-03 16:44 也无风雨也无qing 阅读(253) 评论(0) 推荐(0) 编辑

2020年6月15日

kibana 制图随记

摘要: 谨记:每个图都要有其含义和表达的思想,所以制作每个图前都要了解该索引下的内容。否则数据与数据脑海里关联不起来,还如何谈制图。 一 基础知识: 1.图形内 2.基本概念 二 常用图形: 1.TSVB 制作介绍 可视化构建的应用场景: 在日志模板中 用于一段时间的总和 和 期间内的每一个时间点的和的对比 阅读全文

posted @ 2020-06-15 10:14 也无风雨也无qing 阅读(578) 评论(0) 推荐(0) 编辑

2020年6月12日

k8s 部署filebeat sidecar模式

摘要: 2020-06-12 小试牛刀: 先在自己本地wmware上尝试k8s中日志的收集方式。一般有两种方式: 一:sidecar模式,就是一个pod中部署两个容器,一个跑应用,一个采集日志,用emptdir的共享目录形式。 缺点:一个应用一个收集日志的容器,后期的话资源消耗是个问题。 二:节点模式,一个 阅读全文

posted @ 2020-06-12 17:24 也无风雨也无qing 阅读(6393) 评论(0) 推荐(0) 编辑

导航