01 2024 档案
摘要:1、Elasticsearch原理概述 分布式架构:Elasticsearch是一个分布式系统,隐藏了复杂的处理机制,使得各个节点能够独立地提供搜索服务。每个节点(包括主节点)都可以接收请求并将它们转发到正确处理的节点上。 分片机制:ElasticSearch通过分片技术实现了水平拓展和高可用性。每
阅读全文
摘要:1、环境准备 1.1、安装部署ES 参考:(二):ElasticSearch环境安装。 1.2、安装部署FileBeat 参考:(十五):FileBeat。 1.3、安装部署Kibana 参考:(三):Kibana安装。 1.4、安装部署Logstash 参考:(十三):Logstash安装。 2、
阅读全文
摘要:1、FileBeat简介 Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视用户指定的日志文件或位置,收集日志事件,并将日志数据转发到Elasticsearch或Logstash进行索引。 Logstash运行在JVM中,对内存、cpu、io等资源消耗比较高,Beats所
阅读全文
摘要:在Logstash安装中演示了Logstash标准输入输出。标准输入输出模块,可以使Logstash读取键盘输入内容,并将结果直接打印在屏幕上。 1、Logstash配置结构与内容 1.1、配置结构 # this is a comment input { value... } filter { va
阅读全文
摘要:1、下载Logstash Logstash下载地址:https://www.elastic.co/cn/downloads/past-releases#logstash。这里选择7.10.0版本1,和我这边的ElasticSearch版本保持一致。 下载完成后解压文件,详情如下: 2、配置Logst
阅读全文
摘要:1、Logstash的概念 Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到选择的目的地。 2、Logstash的特点 2.1、日志与指标 Logstash可以处理所有类型的日志数据,轻松地摄取大量的web日志(如A
阅读全文
摘要:1、ES API的两种方式 Elasticsearch 的API 分为 REST Client API(http请求形式)以及 transportClientAPI两种。相比来说transportClient API效率更高,transportClient是通过Elasticsearch内部RPC的
阅读全文
摘要:ElasticSearch默认的内置分词器standard是针对英文等拉丁语系设计的,是不支持中文分词的。IK分词器是一个开源的中文分词器插件,丰富和优化了 Elasticsearch 的设计。 ES默认分词器standard对中文分词结果如下: 1、IK分词器的特点 IK分词器是ES的一个插件,有
阅读全文
摘要:聚合查询文档:https://www.elastic.co/guide/en/elasticsearch/reference/7.4/search-aggregations.html。 聚合查询与Mysql中的 group by 类似,可以实现对数据统计、分析。如热点商品、销量等信息。 Elasti
阅读全文
摘要:ElasticSearch提供了一个可以执行的JSON风格的DSL(domain-specific language 领域特定语言),被称为Query DSL。 1、准备工作 1.1、测试数据下载 测试数据下载:https://download.elastic.co/demos/kibana/get
阅读全文
摘要:映射配置与关系数据库中表的DDL类似,在ES中映射时定义文档的过程,定义了文档包含哪些字段,并对文档字段是否保存、是否索引、是否分词等进行设置。 1、查看映射字段 GET /索引名/_mapping 详情如下: 2、创建映射字段 创建映射字段语法: PUT /索引库名/_mapping/类型名称 {
阅读全文
摘要:ElasticSearch服务的客户端,有以下三种方式: ·elasticsearch-head插件 ·elasticsearch提供的Restful接口直接访问 ·elasticsearch提供的API进行访问 1、elasticsearch-head插件 启动插件后,访问 http://loca
阅读全文
摘要:1、ElasticSearch Elasticsearch是面向文档(document oriented)的,这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中,你可以对文档(而非成行成列的数据
阅读全文
摘要:ElasticSearch不同于Solr自带图形化界面,但可以通过安装ElasticSearch的head插件,完成图形化界面的效果,完成索引数据的查看。ElasticSearch head插件安装流程如下。 1、安装依赖 1.1、node依赖 下载node,地址:https://nodejs.or
阅读全文
摘要:Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。 Ki
阅读全文
摘要:1、安装Jdk 版本选择:java8、java11、java4,为了兼容Logstash等的兼容性。 2、Elasticsearch安装 2.1、Elasticsearch下载 下载地址 :https://www.elastic.co/cn/,点击即刻体验 选择下载 获取历史版本 选择下载Elast
阅读全文
摘要:1、Elastic Stack四大金刚 - ELKB Elasticsearch: 基于Json的分布式搜索与分析引擎 (搜索、聚合分析、大数据存储) Logstash: 动态数据收集管道 (采集,以插件的形式存在) Kibana: 提供数据可视化界面,Kibana 是 Elastic 技术栈的窗户
阅读全文