随笔分类 - ElK
日志管理
摘要:#一、编写脚本 [root@ES-Log-1 ~]# vim delete_es_indices.sh #!/bin/bash #主机IP host_ip="172.16.1.24:9200" #超过10天的索引将要删除 delete_overday=10 function del_red_indi
阅读全文
摘要:#一、常见报错:shared小了 ##1.报错 #ES日志报错: Validation Failed: 1: this action would add [2] total shards, but this cluster currently has [4999]/[5000] maximum sh
阅读全文
摘要:#一、filebeat收集单日志到本地文件 ##1.配置 #编辑Filebeat配置文件 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var/l
阅读全文
摘要:#一、logstash收集日志写入redis ##1.配置logstash收集单个日志到redis [root@web01 ~]# vim /etc/logstash/conf.d/file_redis.conf input { file { path => "/var/log/nginx/acce
阅读全文
摘要:#一、ELK搭建 ##1.ES搭建 ##2.logstash搭建 ###1)安装java环境 ###2)安装logstash ###3)配置环境变量 ###4)logstash的插件 INPUT:插件使Logstash能够读取特定的事件源。 OUTPUT:插件将事件数据发送到特定的目的地,OUTPU
阅读全文
摘要:#一、ELK搭建 ##1.ES搭建 ##2.logstash搭建 ###1)安装java环境 ###2)安装logstash ###3)配置环境变量 ###4)logstash的插件 INPUT:插件使Logstash能够读取特定的事件源。 OUTPUT:插件将事件数据发送到特定的目的地,OUTPU
阅读全文
摘要:#一、数据备份与恢复 ##1.安装npm工具 ###1)下载上传包 #下载地址:http://nodejs.cn/download/ [root@es01 ~]# rz [root@es01 ~]# ll -rw-r--r-- 1 root root 21609252 2020-12-02 17:2
阅读全文
摘要:#一、集群的介绍 ##1.集群的介绍 1.集群部署好以后,不论在哪一台节点操作,都可以互相看到数据 2.head插件连接任意一台机器都能看到三台 3.数据会自动调度到多个分片 4.如果主节点的分片出现故障,副节点的分片会自动切换为主分片 5.如果主节点出现问题,那么数据节点会自动切换为主节点 ##2
阅读全文
摘要:#一、回顾 ##1.介绍ES ##2.ES原理 ##3.ES功能 ##4.ES使用场景 ##5.ES安装 ###1)ES配置文件(单点配置) [root@es01 ~]# grep '^[a-z]' /etc/elasticsearch/elasticsearch.yml node.name: es
阅读全文
摘要:#一、生活中的数据 ##1.数据的分类 ###1)结构化数据 行数据,以二维表的形式存储 ###2)非结构化数据 没有具体的结构,视频,文本,音乐文件 ###3)半结构化数据 xml表格,word文档,PPT,html文件 ##2.搜索的种类 ###1)结构化数据搜索 数据之间我们会对他建立一定的关
阅读全文