随笔- 60 文章- 0 评论- 6 阅读- 12万

2.filebeat配置日志采集2024-01-22

filebeat配置日志采集

filebeat部署

一、二进制包部署

　　1、官网下载二进制包。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.0.0-linux-x86_64.tar.gz

　　2、解压，并移动目录至/usr/local/下

tar zxf filebeat-8.0.0-linux-x86_64.tar.gz
mv filebeat-8.0.0-linux-x86_64 /usr/local/filebeat

　　3、配置systemd管理

[Unit]
Description=Filebeat
After=network-online.target

[Service]
ExecStart=/usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml

[Install]
WantedBy=multi-user.target

二、docker部署

　　直接使用docker run命令部署，配置文件和数据目录映射到本地。

docker run -d --name=filebeat --restart=always -v /data/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /data/filebeat/data/:/usr/share/filebeat/data/ elastic/filebeat:8.0.0

三、k8s部署

　　1、创建config-filebeat.yaml文件，使用k8s的cm来保存filebeat的配置信息。

vim config-filebeat.yaml
#加入以下配置
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
  namespace: monitor
  labels:
    app: filebeat
data:
  filebeat.yml: |-
    filebeat.autodiscover:
      providers:
        - type: kubernetes
          templates:
            - condition:
              equals:
                kubernetes.namespace: "%{[kubernetes.namespace]}"
              config:
                - type: log
                  containers.ids:
                    - "${data.kubernetes.container.id}"
                  paths:
                    - "/var/lib/kubelet/pods/${data.kubernetes.pod.uid}/volumes/kubernetes.io~empty-dir/logs/*/*.log"
                  encoding: utf-8
                  scan_frequency: 1s
                  tail_files: true
                  fields_under_root: true
                  fields:
                    type: "%{[kubernetes.namespace]}"
    processors:
    - add_kubernetes_metadata:
        in_cluster: true
    output.elasticsearch:
      hosts: ["xxx.xxx.xxx.xxx:9200"]
      indices:
        - index: "k8s-%{[kubernetes.namespace]}-%{+yyyy.MM.dd}"
          when.contains:
            type: "%{[kubernetes.namespace]}"

　　　　该配置需求比较特殊，通过namespace来区分index名称，采集POD容器中的日志文件，并非是docker的日志文件，POD必须要使用emptyDir类型的本地卷组。

　　2、创建filebeat.yaml文件，使用DaemonSet部署filebeat服务，包含权限、数据目录映射到本地和引入filebeat的配置文件。

---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: filebeat
  namespace: monitor
  labels:
    app: filebeat
spec:
  selector:
    matchLabels:
      app: filebeat
  template:
    metadata:
      labels:
        app: filebeat
    spec:
      serviceAccountName: filebeat
      terminationGracePeriodSeconds: 30
      containers:
      - name: filebeat
        image: elastic/filebeat:8.0.0
        args: [
          "-c", "/etc/filebeat.yml",
          "-e",
        ]
        env:
        - name: ELASTICSEARCH_HOST
          value: "xxx.xxx.xxx.xxx"
        - name: ELASTICSEARCH_PORT
          value: "9200"
        securityContext:
          runAsUser: 0
        resources:
          limits:
            memory: 500Mi
          requests:
            cpu: 100m
            memory: 100Mi
        volumeMounts:
        - name: config
          mountPath: /etc/filebeat.yml
          readOnly: true
          subPath: filebeat.yml
        - name: data
          mountPath: /usr/share/filebeat/data
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        - name: varlibkubeletpods
          mountPath: /var/lib/kubelet/pods
          readOnly: true
      volumes:
      - name: config
        configMap:
          defaultMode: 0600
          name: filebeat-config
      - name: varlibkubeletpods
        hostPath:
          path: /var/lib/kubelet/pods
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
      - name: data
        hostPath:
          path: /data/filebeat-data
          type: DirectoryOrCreate
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: filebeat
subjects:
- kind: ServiceAccount
  name: filebeat
  namespace: monitor
roleRef:
  kind: ClusterRole
  name: filebeat
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: filebeat
  labels:
    app: filebeat
rules:
- apiGroups: [""]
  resources: ["*"]
  verbs: ["*"]
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: filebeat
  namespace: monitor
  labels:
    app: filebea

filebeat配置日志采集，输出到elasticsearch。

一、采集服务日志文件

　　1、修改elasticsearch配置。不使用https方式访问es。

vim /opt/elasticsearch-8.0.0/config/elasticsearch.yml
#将
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12
#修改为：
xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12

　　2、设置kibana_system用户密码，需要手动输入密码信息。

/opt/elasticsearch-8.0.0/bin/elasticsearch-reset-password -u kibana_system -i

　　3、重启es

systemctl restart elasticsearch

　　4、修改kibana配置

vim /opt/kibana-8.0.0/config/kibana.yml
#需要加入以下配置
elasticsearch.hosts: ["http://xxx.xxx.xxx.xxx:9200"]
elasticsearch.username: "kibana_system"
elasticsearch.password: "xxxxxxxx"

　　5、重启kibana

systemctl restart kibana

　　6、配置filebeat，采集nginx服务日志。

vim /opt/filebeat-8.0.0/filebeat.yml
#修改为以下配置
#logging.level: debug
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/*.log
  encoding: utf-8
  fields:
    type: "nginx"
  fields_under_root: true

- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/*
  encoding: utf-8
  multiline.pattern: '^\[' 
  multiline.negate: true 
  multiline.match: after                    
  fields:
    type: "app"
  fields_under_root: true
  exclude_files: ['\.tgz$']            
  exclude_lines: ['^DEBUG', '^INFO']   
  include_lines: ['^WARN', '^ERROR']   
  #scan_frequency: 10s                 
  #ignore_older: 10m                     
  #harvester_buffer_size: 16384       
  #max_bytes: 1024000                  
  #backoff: 1s                     
  #close_eof: false               
  #close_inactive: 5m                 
  #close_removed: true         
  #close_renamed: false                 

setup.ilm.enabled: false    #ilm生命周期管理，默认值是true。                 

output.elasticsearch:
  hosts: ["xxx.xxx.xxx.xxx:9200"]
  username: "elastic"
  password: "xxxxxxxxxxxxxxxx"
  indices:
    - index: "nginx-%{+yyyy.MM.dd}"
      when.contains:
        type: "nginx"

    - index: "app-%{+yyyy.MM.dd}"
      when.contains:
        type: "app"

　　对以上可能会用到的配置项做一些解释。

exclude_files: ['\.tgz$']              # 排除一些正则匹配的文件
exclude_lines: ['^DEBUG', '^INFO']     # 排除日志文件中正则匹配的那些行
include_lines: ['^WARN', '^ERROR']     # 只采集日志文件中正则匹配的那些行。默认采集所有非空的行。该操作会在 exclude_lines 之前执行
scan_frequency: 10s                    # 每隔多久扫描一次 registry 中的所有日志文件，如果文件有变化，则创建 harvester 进行采集,默认值是10s
ignore_older: 10m                      # 不扫描最后修改时间在多久之前的文件，默认不限制时间。其值应该大于 close_inactive
harvester_buffer_size: 16384           # 每个 harvester 在采集日志时的缓冲区大小，单位 bytes，默认是16384
max_bytes: 1024000                     # 每条日志的 message 部分的最大字节数，超过的部分不会发送（但依然会读取）。默认为 10 M 。
backoff: 1s                            # 如果 harvester 读取到文件末尾，则每隔多久检查一次文件是否更新，默认1s
close_eof: false                       # 如果 harvester 读取到文件末尾，则立即关闭，默认是false
close_inactive: 5m                     # 如果 harvester 读取到文件末尾之后，超过该时长没有读取到新日志，则立即关闭，默认值5m
close_removed: true                    # 如果 harvester 读取到文件末尾之后，检查发现日志文件被删除，则立即关闭，默认值为true
close_renamed: false                   # 如果 harvester 读取到文件末尾之后，检查发现日志文件被重命名，则立即关闭，默认值为false
setup.ilm.enabled: false               # ilm生命周期管理，默认值是true。
encoding: utf-8                        # 读取日志文件时的编码格式
fields_under_root: true                # 控制是否将 fields 中定义的字段直接添加到事件的顶层，默认值是false
multiline.pattern: '^\['               # 设置多行日志的匹配模式。匹配 [ 开头的日志。mulitline.pattern: '^[[:space:]]'匹配空格。
multiline.negate: true                 # 设置为 true，表示只有当下一行不匹配 multiline.pattern 时，才将其与上一行合并，设置为false则是匹配了mulitline.pattern了才与上一行合并。
multiline.match: after                 # 设置为 after，表示合并到下一行。

二、配置采集docker日志文件

　　其他步骤参考以上信息，这里只配置配置文件。

#logging.level: debug
#logging.to_files: true
filebeat.inputs:
filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true
      processors:
        - add_docker_metadata:
          match_source: true
      templates:
        - condition:
          config:
            - type: log
              containers.ids:
                - "${data.docker.container.id}"
              paths:
                - "/var/lib/docker/containers/${data.docker.container.id}/*.log"
              fields:
                type: "docker"
              fields_under_root: true


setup.ilm.enabled: false
output.elasticsearch:
  hosts: ["xxx.xxx.xxx.xxx:9200"]
  username: "elastic"
  password: "xxxxxxxxxxxx"
  indices:
    - index: "docker-%{+yyyy.MM.dd}"
      when.contains:
        type: "docker"