随笔分类 - ElasticSearch
摘要：1、ElasticSearch简介 1.1 Lucene Doug Cutting开发 是apache软件基金会4 jakarta项目组的一个子项目 是一个开放源代码的全文检索引擎工具包 不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与
阅读全文
摘要：1、lucene基本概念 目前以 Lucene 为基础建立的开源可用全文搜索引擎主要是 Solr 和 Elasticsearch。 Solr 和 Elasticsearch 都是比较成熟的全文搜索引擎，能完成的功能和性能也基本一样。 但是 ES 本身就具有分布式的特性和易安装使用的特点，而 Solr
阅读全文
摘要：一、生活中的数据 搜索引擎是对数据的检索，所以我们先从生活中的数据说起。我们生活中的数据总体分为两种： 结构化数据 非结构化数据 结构化数据： 也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。指具有固定格式或有限长度的数据，如数据
阅读全文
摘要：https://kubernetes.io/zh/docs/home/ 了解 Kubernetes Kubernetes 是什么？ 此页面是 Kubernetes 的概述。 Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kuber
阅读全文
摘要：集群配置 ElasticSearch共有两个配置文件，都位于config目录下，分别是elasticsearch.yml和logging.yml，其中，elasticsearch.yml 是全局配置文件，用于在服务器级别对ElasticSearch进行配置。ElasticSearch的配置选项分为静
阅读全文
摘要：索引操作 创建索引 es创建索引的请求方式如下： https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html PUT /<index> 请求的方法用PUT。 /后面直接跟索引的名称即可。 索引的设置和字段都放在
阅读全文
摘要：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html https://www.kancloud.cn/aiyinsi-tan/logstash/849518 Logstash IntroductionLo
阅读全文
摘要：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html Elasticsearch教程 Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎，可以说 L
阅读全文
摘要：一、 介绍1、日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 2、通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使
阅读全文
摘要：Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。 你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。 你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。 Kibana使得理解大量数据变得很容易。它简
阅读全文
摘要：1. 关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 关于Filebeat，记住两点： 轻量级日志采集器 输送至 Elasticsearch 或
阅读全文
摘要：Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 集中、转换和存储你的数据 Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“
阅读全文
摘要：一、深度分页方式from + size es 默认采用的分页方式是 from+ size 的形式，在深度分页的情况下，这种使用方式效率是非常低的，比如我们执行如下查询 1 GET /student/student/_search 2 { 3 "query":{ 4 "match_all": {} 5
阅读全文
摘要：MySQL：关系型数据库，主要面向OLTP，支持事务，支持二级索引，支持sql，支持主从、Group Replication架构模型（本文全部以Innodb为例，不涉及别的存储引擎）。 HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天
阅读全文
摘要：前言 很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400G
阅读全文
摘要：image.png 为什么 Elasticsearch/Lucene 检索可以比 mysql 快 Mysql 只有 term dictionary 这一层，是以 b-tree 排序的方式存储在磁盘上的。检索一个 term 需要若干次的 random access 的磁盘操作。而 Lucene 在 t
阅读全文
摘要：这篇博客主要讲：分词器概念、ES内置分词器、ES中文分词器。 一、分词器概念 1、Analysis 和 Analyzer Analysis： 文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词。Analysis是通过Analyzer来实现的。 当一个文档被索引时，每个Field
阅读全文
摘要：上一篇讲了Elasticsearch聚合查询中的Metric聚合：Elasticsearch(8) 聚合查询(Metric聚合) 说明 本文主要参考于Elasticsearch 官方文档 7.3版本。 Bucket Aggregations 概念：Bucket 可以理解为一个桶，它会遍历文档中的内容
阅读全文
摘要：在Mysql中，我们可以获取一组数据的 最大值(Max)、最小值(Min)。同样我们能够对这组数据进行 分组(Group)。那么对于Elasticsearch中 我们也可以实现同样的功能，聚合有关资料官方文档内容较多，这里大概分两篇博客写这个有关Elasticsearch聚合。 官方对聚合有四个关键
阅读全文
摘要：复合查询有：bool query(布尔查询)、boosting query(提高查询)、constant_score （固定分数查询）、dis_max(最佳匹配查询）、function_score(函数查询）。 一、bool query(布尔查询) 1、概念 定义 可以理解成通过布尔逻辑将较小的查询
阅读全文