随笔分类 -  fluentd

摘要:设置多worker进程 当通过如下的命令,设置多个worker进程时: <system> workers 4 </system> 示例配置 可以特定的插件与进程进行绑定,如: <system> workers 4 </system> # 该插件运行在所有的worker上 <source> @type 阅读全文
posted @ 2022-12-12 14:16 Zhai_David 阅读(105) 评论(0) 推荐(0) 编辑
摘要:在fluentd中,可以设置多个worker进程,来提高日志采集、处理的效率 设置方法如下: <system> workers 4 </system> 修改配置前: 1个守护进程,1个worker进程 修改配置后: 1个守护进程,4个worker进程 阅读全文
posted @ 2022-12-12 13:49 Zhai_David 阅读(101) 评论(0) 推荐(0) 编辑
摘要:in_sample输入插件的作用是什么? sample输入插件,用来产生样本事件。 主要用于:测试,调试,和压力测试。 这个插件,包含在fluentd的核心代码中 sample是由dummy插件而来。dummy在1.11.1版本之后,改名为sample. 示例配置 <source> @type sa 阅读全文
posted @ 2022-12-12 11:18 Zhai_David 阅读(152) 评论(0) 推荐(0) 编辑
摘要:td-agent使用 rpm 方式安装。 方法 1 : 查看启动日志 方法 2: 查看使用的ruby命令 [root@centos7 bin]# ps -ef |grep fluentd td-agent 4096 1 0 22:04 ? 00:00:00 /opt/td-agent/bin/rub 阅读全文
posted @ 2022-12-09 11:07 Zhai_David 阅读(255) 评论(0) 推荐(0) 编辑
摘要:如何在fluentd中设置,日志级别? 通过在配置文件的,system指令,log_level参数,进行设置。 示例 <system> log_level error </system> fluentd中有哪些日志级别? 6种 trace debug info warn error fatal fl 阅读全文
posted @ 2022-12-09 10:42 Zhai_David 阅读(144) 评论(0) 推荐(0) 编辑
摘要:在fluentd的配置文件中,有如下的配置: # http://<ip>:9880/myapp.access?json={"event":"data"} <source> @type http port 9880 </source> <filter myapp.**> @type stdout </ 阅读全文
posted @ 2022-11-18 10:46 Zhai_David 阅读(177) 评论(0) 推荐(0) 编辑
摘要:source : 指令 @type : 参数。指定插件的名字。 forward/http: 插件的名字。 port : 插件的参数。 阅读全文
posted @ 2022-11-17 14:23 Zhai_David 阅读(43) 评论(0) 推荐(0) 编辑
摘要:http http插件提供一个http端点来接收http消息。 forward forward提供一个tcp端点来接收tcp包。 比如: # 从24224端口接收tcp 事件 # 用于日志转发,比如rsyslog <source> @type forward port 24224 </source> 阅读全文
posted @ 2022-11-17 14:18 Zhai_David 阅读(124) 评论(0) 推荐(0) 编辑
摘要:一、问题描述 使用fluentd的mongodb插件,将nginx的日志,存储到mongodb数据库中,配置如下: <source> @type tail path /var/log/nginx/access.log pos_file /var/log/td-agent/nginx.access_l 阅读全文
posted @ 2022-11-17 10:40 Zhai_David 阅读(305) 评论(0) 推荐(0) 编辑
摘要:当将输出定位到ES,kafka,mongodb等后端的时候,由于有缓存,所以不是立马知道自己的配置是否正确,那么要进行配置的调试,该怎么办呢? 告诉你一个方法,在配置文件中增加如下的插件 filter_stdout: <filter syslog.**> @type stdout </filter> 阅读全文
posted @ 2022-11-15 14:25 Zhai_David 阅读(188) 评论(0) 推荐(0) 编辑
摘要:安装 通过如下的命令,安装特定版本的插件(-v 指定具体要安装的版本) td-agent-gem install elasticsearch -v 6.1.0 安装之后,通过td-agent-gem list 命令进行查看 [root@centos7 gems]# td-agent-gem list 阅读全文
posted @ 2022-11-15 14:01 Zhai_David 阅读(600) 评论(0) 推荐(0) 编辑
摘要:通过下面的命令,轻松查看fluentd中已经安装了哪些插件及版本信息 td-agent-gem list 示例: 括号内是插件的版本 [root@centos7 gems]# td-agent-gem list | more addressable (2.8.1) async (1.30.3) as 阅读全文
posted @ 2022-11-15 13:41 Zhai_David 阅读(404) 评论(0) 推荐(0) 编辑
摘要:问题描述 通过fluentd的配置文件,将fluentd的输出定向到elasticsearch中,配置文件如下: <match syslog.**> @type elasticsearch host 172.20.58.152 port 19200 logstash_format true <buf 阅读全文
posted @ 2022-11-15 13:34 Zhai_David 阅读(1158) 评论(0) 推荐(0) 编辑
摘要:结论:在配置文件中定义的! 在配置文件td-agent.conf中设置,如下: <source> @type tail path /var/log/messages tag system.log <parse> @type syslog </parse> @label @systemlog </so 阅读全文
posted @ 2022-11-14 15:06 Zhai_David 阅读(131) 评论(0) 推荐(0) 编辑
摘要:1、什么fluentd event? fluentd event 也叫做 fluent event数据。 是由fluentd 输入插件,基于输入的日志数据,产生的一种fluentd使用的数据结构。 注意:输入插件负责从数据源生成Fluentd事件 2、fluentd event是结构是什么样的? f 阅读全文
posted @ 2022-11-14 13:47 Zhai_David 阅读(145) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示