随笔分类 - fluentd
摘要:设置多worker进程 当通过如下的命令,设置多个worker进程时: <system> workers 4 </system> 示例配置 可以特定的插件与进程进行绑定,如: <system> workers 4 </system> # 该插件运行在所有的worker上 <source> @type
阅读全文
摘要:在fluentd中,可以设置多个worker进程,来提高日志采集、处理的效率 设置方法如下: <system> workers 4 </system> 修改配置前: 1个守护进程,1个worker进程 修改配置后: 1个守护进程,4个worker进程
阅读全文
摘要:in_sample输入插件的作用是什么? sample输入插件,用来产生样本事件。 主要用于:测试,调试,和压力测试。 这个插件,包含在fluentd的核心代码中 sample是由dummy插件而来。dummy在1.11.1版本之后,改名为sample. 示例配置 <source> @type sa
阅读全文
摘要:td-agent使用 rpm 方式安装。 方法 1 : 查看启动日志 方法 2: 查看使用的ruby命令 [root@centos7 bin]# ps -ef |grep fluentd td-agent 4096 1 0 22:04 ? 00:00:00 /opt/td-agent/bin/rub
阅读全文
摘要:如何在fluentd中设置,日志级别? 通过在配置文件的,system指令,log_level参数,进行设置。 示例 <system> log_level error </system> fluentd中有哪些日志级别? 6种 trace debug info warn error fatal fl
阅读全文
摘要:在fluentd的配置文件中,有如下的配置: # http://<ip>:9880/myapp.access?json={"event":"data"} <source> @type http port 9880 </source> <filter myapp.**> @type stdout </
阅读全文
摘要:source : 指令 @type : 参数。指定插件的名字。 forward/http: 插件的名字。 port : 插件的参数。
阅读全文
摘要:http http插件提供一个http端点来接收http消息。 forward forward提供一个tcp端点来接收tcp包。 比如: # 从24224端口接收tcp 事件 # 用于日志转发,比如rsyslog <source> @type forward port 24224 </source>
阅读全文
摘要:一、问题描述 使用fluentd的mongodb插件,将nginx的日志,存储到mongodb数据库中,配置如下: <source> @type tail path /var/log/nginx/access.log pos_file /var/log/td-agent/nginx.access_l
阅读全文
摘要:当将输出定位到ES,kafka,mongodb等后端的时候,由于有缓存,所以不是立马知道自己的配置是否正确,那么要进行配置的调试,该怎么办呢? 告诉你一个方法,在配置文件中增加如下的插件 filter_stdout: <filter syslog.**> @type stdout </filter>
阅读全文
摘要:安装 通过如下的命令,安装特定版本的插件(-v 指定具体要安装的版本) td-agent-gem install elasticsearch -v 6.1.0 安装之后,通过td-agent-gem list 命令进行查看 [root@centos7 gems]# td-agent-gem list
阅读全文
摘要:通过下面的命令,轻松查看fluentd中已经安装了哪些插件及版本信息 td-agent-gem list 示例: 括号内是插件的版本 [root@centos7 gems]# td-agent-gem list | more addressable (2.8.1) async (1.30.3) as
阅读全文
摘要:问题描述 通过fluentd的配置文件,将fluentd的输出定向到elasticsearch中,配置文件如下: <match syslog.**> @type elasticsearch host 172.20.58.152 port 19200 logstash_format true <buf
阅读全文
摘要:结论:在配置文件中定义的! 在配置文件td-agent.conf中设置,如下: <source> @type tail path /var/log/messages tag system.log <parse> @type syslog </parse> @label @systemlog </so
阅读全文
摘要:1、什么fluentd event? fluentd event 也叫做 fluent event数据。 是由fluentd 输入插件,基于输入的日志数据,产生的一种fluentd使用的数据结构。 注意:输入插件负责从数据源生成Fluentd事件 2、fluentd event是结构是什么样的? f
阅读全文