摘要：
如果你的日志请求达到了5000条/秒，这里描述的技术点可用于调优。 检查操作系统配置 在安装Fluentd之前，进行操作系统参数优化。 通过top查看系统瓶颈 如果发现Fluentd运行效率不佳，可先查看一下当前系统瓶颈在哪里：CPU？内存？磁盘IO？ 避免额外运算 不要在Fluentd中执行过多的 阅读全文
摘要：
对于高访问量的web站点或者服务，可以采用Fluentd的高可用配置模式。 消息分发语义 Fluentd设计初衷主要是用作事件日志分发系统的。这类系统支持几种不同的分发模式： 至多一次。消息被立即发送，若传输成功，该消息不会再被发送。发送失败，则会导致消息丢失。现实环境下会有很多情况导致发送失败，比 阅读全文
摘要：
监控的目的是确保日志采集能稳定高效运行。 Fluentd内部运行指标 Fluentd内部保存着一些运行指标，这些指标可通过REST api直接获取，也支持通过第三方工具，如Prometheus，来访问。Prometheus是官方推荐的监控工具。 进程监控 Fluentd运行后会产生两个ruby进程， 阅读全文
摘要：
Fluentd是用来处理其他系统产生的日志的，它本身也会产生一些运行时日志。Fluentd包含两个日志层：全局日志和插件级日志。每个层次的日志都可以进行单独配置。 日志级别 Fluentd的日志包含6个级别：fatal、error、warn、info、debug和trace。级别依次递增，高级别的日 阅读全文
摘要：
Fluentd的全局配置项，诸如开启RPC、使用多worker模式等。可在配置文件中通过<system>进行配置，或通过命令行进行配置。 参数 workers：指定worker进程数，默认为1 root_dir：配置root目录 log_level：设置日志级别，可选值为trace、debug、in 阅读全文
摘要：
事件（Event）是Fluentd内部处理流程使用的数据结构，日志记录一旦进入Fluentd便被封装成一个event。Event由三部分组成：tag、time、record。 tag: 标识事件的来源，或者说类型，用于内部消息路由，即后续交由哪个插件处理； time: 是事件的发生时间； recor 阅读全文
摘要：
Fluentd通过读取配置文件来加载各插件，日志经由各插件的处理完成输入到输出的整个路由。 本文通过一个最简单的示例来说明配置文件的结构。td-agent.conf默认位于/etc/td-agent/下，先来看一下配置文件： <source> @type tail @id input_tail <p 阅读全文
摘要：
Fluentd是一个跨平台的开源系统，支持在Linux（Redhat、Ubuntu、Debian）、Windows平台上运行。MacOS呢？官方并没有明显指出，但是在安装说明中列出了通过Ruby Gem进行安装的方法，想必也支持MacOS系统。 Fluentd是用C+Ruby来开发的，考虑到很多开发 阅读全文