随笔分类 - ELK/EFK
摘要：优化 filebeat 采集的日志 现实情况下，filebeat 采集过多无用的日志会造成 CPU，内存，带宽的浪费，尽量控制采集有用的日志 根据实际业务情况，这边控制采集 K8S 4个命名空间下的日志，其他命名空间的日志抛弃 cat cm.yaml apiVersion: v1 kind: Con
阅读全文
摘要：部署 logstash mkdir -p /data/yaml/k8s-logging/logstash cd /data/yaml/k8s-logging/logstash cat cm.yaml apiVersion: v1 kind: ConfigMap metadata: name: log
阅读全文
摘要：部署 filebeat mkdir -p /data/yaml/k8s-logging/filebeat cd /data/yaml/k8s-logging/filebeat cat rbac.yaml # Source: filebeat/templates/filebeat-service-ac
阅读全文
摘要：日志收集过程：filebeat(收集) → kafka(缓存) → logstash(处理) → elasticsearch(存储) → kibana(展示) 注意该集群的 Kakfa 无法在K8S集群外使用，若有需求可以参考 https://www.cnblogs.com/klvchen/p/15
阅读全文
摘要：过程：filebeat(收集) -> kafka(缓存) -> logstash(处理) -> elasticsearch(存储) -> kibana(展示) 本次实验使用了2台虚拟机 | IP | 服务 | | | | | 172.16.16.109 | elasticsearch, kibana
阅读全文
摘要：过程： filebeat(收集) -> elasticsearch(存储) -> kibana(展示) 优点：简单，快速，容易上手 缺点：filebeat 把收集到的日志全部存入 elasticsearch，日志量大，有并发问题 # 建立目录 mkdir -p /data/docker-compos
阅读全文
摘要：背景使用 EFK 收集 K8S 日志(K8S 容器运行时是 containerd) 安装 es 集群 # 创建目录 mkdir -p /data/yaml/kube-logging/{elasticsearch,filebeat,kibana} cd /data/yaml/kube-logging/
阅读全文
摘要：使用 Docker 搭建好 ELK ( https://www.cnblogs.com/klvchen/p/9268510.html ) 环境后，如需查看 elasticsearch 的索引可采取以下方式： docker run --rm --network logs_elk appropriate
阅读全文
摘要：架构 前端展示 --> 索引搜索 ←- 日志提取及过滤 --> 日志缓存 ←- 日志收集 Kibana --> Elastash ←- Logstash --> redis ←- filebeat 操作系统： CentOS 7.4 相关软件：filebeat-6.3.0-linux-x86_64.t
阅读全文
