12 2019 档案
摘要：前情回顾 前文我们完成了日志采集系统基本功能，包括日志监控，日志采集，配置热更新，协程动态启动和关闭等。 本节目标 前文我们是通过将要监控的日志路径配置在配置文件中，根据配置文件热更新动态监控日志。本节将etcd服务加入系统中，可以将要监控的日志文件路径和主题序列化为字符串保存到etcd中，这样系统
阅读全文
摘要：前情回顾 前文我们完成了日志采集系统的日志文件监控，配置文件热更新，协程异常检测和保活机制。 本节目标 本节加入kafka消息队列，kafka前文也介绍过了，可以对消息进行排队，解耦合和流量控制的作用，为什么一定要用kafka呢？主要原因就是在日志高并发读取后，如果直接将消息发给前端或者写入数据库，
阅读全文
摘要：前情回顾 前文我们完成了如下功能1 根据配置文件启动多个协程监控日志，并启动协程监听配置文件。2 根据配置文件热更新，动态协调日志监控。3 编写测试代码，向文件中不断写入日志并备份日志，验证系统健壮性。 本节目标 我们旨在编写一个健壮性较强的日志监控系统，不得不考虑这样一个问题，当某个日志监控协程崩
阅读全文
摘要：前情回顾 前文我们完成了如下目标1 项目架构整体编写2 使框架支持热更新 本节目标 在前文的框架基础上，我们1 将之前实现的日志监控功能整合到框架中。2 一个日志对应一个监控协程，当配置热更新后根据新配置动态关闭和启动协程。3 编写测试代码，模拟向文件中不断写入日志，并备份日志，观察监控功能是否健壮
阅读全文
摘要：前文中已经完成了文件的监控，kafka信息读写，今天主要完成配置文件的读写以及热更新。并且规划一下系统的整体结构，然后将之前的功能串起来形成一套完整的日志采集系统。 前情提要 上一节我们完成了如下目标1 完成kafka消息读写2 借助tailf实现文件监控，并模拟测试实时写文件以及文件备份时功能无误
阅读全文
