随笔分类 - ES
摘要：一、Filebeat收集单个日志 1.配置收集日志到文件 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.l
阅读全文
摘要：一、filebeat学习 1.简介 Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。 Fi
阅读全文
摘要：一、Logstash将数据收集到Redis 0.建议 · 不要将es和redis存放在一台服务器中，两者都消耗内存，防止内存不足，下列操作仅供案例参考。 1.准备环境 主机 IP 部署的服务 web01 172.16.1.7 nginx，tomcat，logstash db01 172.16.1.5
阅读全文
摘要：ELK日志收集分离篇 一、Logstash收集日志 1.Logstash的配置文件 [root@web01 ~]# vim /etc/logstash/logstash.yml path.config: /etc/logstash/conf.d 2.logstash收集日志文件到文件 [root@w
阅读全文
摘要：ELK学习 一、ELK介绍 1.什么是ELK ELK是三个软件 1.E：elasticsearch java程序 存储，查询日志 2.L: logstash java程序 收集、过滤日志 3.K: kibana java程序 提供web服务，将数据页面化 4.F: filebeat go 收集、过滤
阅读全文
摘要：一、ES优化 1.限制内存 1.启动内存最大是32G 2.服务器一半的内存全都给ES 3.设置可以先给小一点，慢慢提高 4.内存不足时 1）让开发删除数据 2）加节点 3）提高配置 5.关闭swap空间 2.文件描述符 1.配置文件描述符 [root@db02 ~]# vim /etc/securi
阅读全文
摘要：Elasticsearch数据备份与恢复 前提 # 注意： 1.在进行本地备份时使用--type需要备份索引和数据（mapping,data） 2.在将数据备份到另外一台ES节点时需要比本地备份多备份一种数据类型（analyzer,mapping,data,template） 一.本地备份与恢复 #
阅读全文
摘要：kibana安装 & 增删改查 & es集群搭建 一.kibana安装 es官网： https://www.elastic.co/ 1）安装kibana #上传代码包 [root@db01 ~]# rz kibana-6.6.0-x86_64.rpm #安装 [root@db01 ~]# rpm -
阅读全文
摘要：Elasticsearch 介绍及基础安装 搜索引擎式数据库 一、生活中的数据 1.生活中的数据分类 1）结构化数据 行数据，以二维表的形式展示的数据 2）非结构化数据 没有具体结构，视频，文本，音乐文件 3）半结构化数据 xml表格办公软件，HTML 2.搜索的种类 1）结构化数据搜索 结构化数据
阅读全文
