随笔分类 - ELK
摘要：安装es集群 1.前提准备 服务器 内存 172.16.8.41 给es分配4G 172.16.8.42 给es分配4G 172.16.8.43 给es分配4G 安装好jdk环境 [root@k8s-master glusterfs]# java -version openjdk version "
阅读全文
摘要：ElasticSearch的Query和Filter区别 这个其实在官网也有一定的介绍：https://www.elastic.co/guide/en/elasticsearch/reference/7.4/full-text-queries.html 相关性分数 默认情况下，Elasticsear
阅读全文
摘要：ElasticSearch的深度分页 coordinate node节点 搜索和bulk等请求可能会涉及到多个节点上的不同shard里的数据，比如一个search请求，就需要两个阶段执行，首先第一个阶段就是一个coordinating node接收到这个客户端的search request。接着，c
阅读全文
摘要：链接的url变成：http://192.168.1.206:9200/?auth_user=admin&auth_password=admin@123
阅读全文
摘要：说明 默认情况下ElasticSearch索引的refresh_interval为1秒，这意味着数据写1秒才就可以被搜索到。 每次索引refresh会产生一个新的 lucene 段，这会导致频繁的 segment merge 行为，对系统 CPU 和 IO 占用都比较高。 如果产品对于实时性要求不高
阅读全文
摘要：ES的分词 1.什么是分析 分析是在文档被发送并加入倒排索引之前，Elasticsearch在其主体上进行的操作。一般会经历下面几个阶段。 字符过滤：使用字符串过滤器转变字符串。 文本切分为分词：将文本切分为单个或多个分词。 分词过滤：使用分词过滤器转变每个分词。 分词索引：将这些分词存储到索引中。
阅读全文
摘要：一、概述 背景 Loki的第一个稳定版本于2019年11月19日发布，是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。 Grafana 对 Loki 的描述如下： Loki: like Prometheus, but for logs. Loki
阅读全文
摘要：1． 评分机制详解 1.1． 评分机制 TF\IDF 1.1.1 算法介绍 relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度。 Elasticsearch使用的是 term frequency/inverse document frequ
阅读全文
摘要：1． Java 简单api 1.1 es技术特点 1es技术比较特殊，不像其他分布式、大数据课程，haddop、spark、hbase。es代码层面很好写，难的是概念的理解。 2es最重要的是他的rest api。跨语言的。在真实生产中，探查数据、分析数据，使用rest更方便。 3本课程将会大量讲解
阅读全文
摘要：问题定位及分析 通常出现java.lang.NoSuchMethodError 异常说明项目中出现了jar包冲突，项目运行时调用了版本A中的某个类的方法, 但实际上classLoader加载的是版本B的类文件，而版本B中并没有实际调用的方法签名，导致异常出现。 可以看到elasticsearch-r
阅读全文
摘要：ElasticSearch 使用mysql热更新 词库 这个也是《ELK高级搜索》的课件，但是应该是参考这篇博客的：https://blog.csdn.net/wuzhiwei549/article/details/80451302 1热更新 每次都是在es的扩展词典中，手动添加新词语，很坑 （1）
阅读全文
摘要：下面的内容是视频中《ELK高级搜索》的课件，也在网上找到雷同的了，这里就简单记录一下。 1type底层结构及弃用原因 1.1type是什么 type，是一个index中用来区分类似的数据的，类似的数据，但是可能有不同的fields，而且有不同的属性来控制索引建立、分词器. field的value，在
阅读全文
摘要：1． 图解es内部机制 1.1． 图解es分布式基础 1.1.1es对复杂分布式机制的透明隐藏特性 分布式机制：分布式数据存储及共享。 分片机制：数据存储到哪个分片，副本数据写入。 集群发现机制：cluster discovery。新启动es实例，自动加入集群。 shard负载均衡：大量数据写入及查
阅读全文
摘要：Filebeat介绍 Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命
阅读全文
摘要：ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点通过node.name指定节点的名称。在Elasticsearch中，节点的类型主要有4种：master节点 配置文件中node.master属性为true(默认为true)
阅读全文
摘要：我们都去过那里-我们开始计划一个Elasticsearch集群，随后出现的第一个问题是“集群应具有多少个节点？”。如您所知，这个问题的答案取决于很多因素，例如预期的负载，数据大小，硬件等。在本博客中，我不会详细介绍如何调整您的大小集群，而是讨论同样重要的事情-如何避免裂脑问题。 什么是裂脑？ 让我们
阅读全文
摘要：什么是分词 分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。举例：我是中国人 --> 我/是/中国人 结果： { "tokens": [ { "token": "hello", "start_offset": 0, "end_offse
阅读全文
摘要：文档在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如： { "_index": "haoke", "_type": "user", "_id": "1001", "_version": 1, "found": true, "_source": { "id": 1001
阅读全文
摘要：简介 官网：https://www.elastic.co/cn/products/elasticsearch 安装版本说明Elasticsearch的发展是非常快速的，所以在ES5.0之前，ELK的各个版本都不统一，出现了版本号混乱的状态，所以从5.0开始，所有Elastic Stack中的项目全部
阅读全文
摘要：ES和Solr是2个比较常见的搜索引擎，但是Solr有控制台页面,ES就没有自带的，下面就推荐2个毕竟使用的工具。 ElasticHD ElasticHD 支持 ES监控、实时搜索、Index template快捷替换修改、索引列表信息查看， SQL converts to DSL工具等。是一款非常
阅读全文
