ELK~fluentd将日志文件增量读到es里
之前的文章说过通过sidecar实现fluentd插件在容器上的挂载,直接将容器某个目录的log文件收集到es里,(相关文章:https://www.cnblogs.com/lori/p/12559323.html)在这里就不在重复说了,今天主要说一下关于fluentd.config的配置,就是在k8s里的configmap文件。
<source>
type tail
format json
path /home/apps/logs/*.log #日志文件
pos_file /home/apps/logs/*.log.pos #偏移
tag lind #标签,对于 match.logstash_prefix,最后在kinaba的索引配置里体现
</source>
<match lind>
@id elasticsearch
@type elasticsearch
@log_level INFO
type_name _doc #只接受_doc
host elasticsearch.elk
port 9200
include_tag_key true
tag_key @log_name
logstash_format true
logstash_prefix fluentd-${tag}
flush_interval 10s
</match>
分类:
日志收集(ELK)
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· 【.NET】调用本地 Deepseek 模型
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
2018-08-19 我的那些年(6)~在更大的学校当老师
2015-08-19 我心中的核心组件(可插拔的AOP)~分布式文件上传组件~基于FastDFS
2014-08-19 系统架构~高并发日志系统设计
2013-08-19 陷阱~EF中的Update与Insert共用一个数据上下文
2011-08-19 MVC如何将用户控件(分部视图,RenderPartial,ViewUserControl)内容转换为字符串并输出
2011-08-19 MVC为Html对象建立一个扩展方法,使用自己的控件就像使用TextBox一样方便
2011-08-19 .NET平台把其它域名下的数据表内容列出来,比如新闻表(两个网站不在同一服务器)