随笔分类 - ELK
摘要:生活中的数据 搜索引擎是对数据的检索,所以我们先从生活中的数据说起。我们生活中的数据总体分为两种: 结构化数据 非结构化数据 结构化数据:也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。指具有固定格式或有限长度的数据,如数据库,元
阅读全文
摘要:一、前言 在 Elasticsearch 的日常中,有很多如存储 「系统日志」、「行为数据」等方面的应用场景,这些场景的特点是数据量非常大,并且随着时间的增长 索引 的数量也会持续增长,然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使用(热数据),而历史数据几乎没有作用或者很少会被使
阅读全文
摘要:Filebeat收集单个日志 1.配置收集日志到文件 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/nginx/access.log
阅读全文
摘要:一、Logstash收集日志 1.Logstash的配置文件 [root@web01 ~]# vim /etc/logstash/logstash.yml path.config: /etc/logstash/conf.d #默认是这个目录 2.logstash收集日志文件到文件 [root@web
阅读全文
摘要:ELK学习 #配置Filebeat来发送日志行到Logstash 在你创建Logstash管道之前,你需要先配置Filebeat来发送日志行到Logstash。Filebeat客户端是一个轻量级的、资源友好的工具, 它从服务器上的文件中收集日志,并将这些日志转发到你的Logstash实例以进行处理。
阅读全文
摘要:分片和副本 elasticsearch中,分片所在的位置与节点无关 主节点负责调度数据,从节点负责接收数据 主分片被读写,副本只是做备胎 elasticsearch中,一个文档存储在哪个节点由算法决定,算法决定主分片的数量不能修改,所以,后期想要增加主节点的话,需要把数据重新存储(节点自动迁移 复制
阅读全文
摘要:kibana 数据的存储 检索 1.全文检索,模糊查询 GET name/doc/_search?q==xx 2.聚合,group by,分组 #添加,修改 POST aa/doc/1 { "name":"aa" } Get aa/doc/_search #格式化 POST aa/doc/1?pre
阅读全文
摘要:环境 角色 主机 elasticsearch 10.0.0.51 elasticsearch 10.0.0.52 elasticsearch 10.0.0.53 条件 1.恢复快照,基础优化 2.每台elasticsearch服务器需要配置2G内存 以下以db01为例进行配置 服务器时间同步 [ro
阅读全文
摘要:Elasticsearch 学习 jdk下载 elasticsearch 是一个'实时分布式搜索和分析引擎',它用于全文搜索,结构化搜索,分析 搜索引擎原理就是建立反向索引 elasticsearch也是master-slave架构,也实现了数据的分片和备份 es所在主机内存做好是2G,1G用来给e
阅读全文