ELK—filebeat收集单个类型日志写入redis

Filebeat 支持将数据直接写入到 redis 服务器,本步骤为写入到 redis ,另外 filebeat 还支持写入到 elasticsearch、logstash 等服务器。

复制代码
grep -v "#" /etc/filebeat/filebeat.yml | grep -v "^$"
filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/messages
    - /var/log/*.log
  exclude_lines: ["^DBG","^$"]
  document_type: system-log-1512

output.redis:
  hosts: ["192.168.15.12:6379"]
  key: "system-log-1512" #为了后期日志处理,建议自定义 key 名称
  db: 1 #使用第几个库
  timeout: 5 #超时时间
  password: 123456 #redis 密码
复制代码

配置 logstash 从 redis 读取上面的日志

复制代码
cat /etc/logstash/conf.d/redis-systemlog-es.conf
input {
  redis {
    host => "192.168.15.12"
    port => "6379"
    db => "1"
    key => "system-log-1512"
    data_type => "list"
  }
}

output {
  if [type] == "system-log-1512" {
    elasticsearch {
      hosts => ["192.168.15.11:9200"]
      index => "system-log-1512"
    }
  }
}
复制代码

 

posted @   不会跳舞的胖子  阅读(197)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示