ELK—filebeat收集单个类型日志写入redis
Filebeat 支持将数据直接写入到 redis 服务器,本步骤为写入到 redis ,另外 filebeat 还支持写入到 elasticsearch、logstash 等服务器。
grep -v "#" /etc/filebeat/filebeat.yml | grep -v "^$" filebeat.prospectors: - input_type: log paths: - /var/log/messages - /var/log/*.log exclude_lines: ["^DBG","^$"] document_type: system-log-1512 output.redis: hosts: ["192.168.15.12:6379"] key: "system-log-1512" #为了后期日志处理,建议自定义 key 名称 db: 1 #使用第几个库 timeout: 5 #超时时间 password: 123456 #redis 密码
配置 logstash 从 redis 读取上面的日志
cat /etc/logstash/conf.d/redis-systemlog-es.conf input { redis { host => "192.168.15.12" port => "6379" db => "1" key => "system-log-1512" data_type => "list" } } output { if [type] == "system-log-1512" { elasticsearch { hosts => ["192.168.15.11:9200"] index => "system-log-1512" } } }
越学越感到自己的无知
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步