随笔- 452
文章- 302
评论- 28
阅读-
64万
随笔分类 - elasticsearch
elasticsearch
elk分布式日志系统2
摘要：《接着上篇文章 elk分布式日志系统1,继续学习》 【Filebeat + Logstash + es】 filter不做任何处理，直接输出到logstash 到es 1，输出日志到logstash 编辑配置文件filebeat.yml， 关闭output.elasticsearch配置 开启log
阅读全文
elk分布式日志系统1
摘要：概述： 1.1什么是Eastic (ELK)Stack)(ELKB) “ELK"是三个开源项目的首字母缩写，这三个项目分别是: Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集
阅读全文
elasticsearch快照 备份和还原 可搜索快照
摘要：快照是什么 快照是从正在运行的Elasticsearch集群中获取的备份。可以针对整个集群拍摄快照，也可以针对整个集群的数据流和索引。也可以仅对集群中的特定数据流或索引进行快照。备份集群的唯一可靠且受支持的方法是拍摄快照。不可通过复制其节点的数据目录来备份Elasticsearch集群。不支持从文件
阅读全文
elasticsearch集群安全策略
摘要：1、集群安全策略 1.1版本支持不同版本对Security 的支持不同， 1.1.1对于ES 6.x或之前版本对于ES 6.8及之前版本，需要手动安装x-pack bin/elasticsearch-plugin install x-packbin/kibana-plugin install x-p
阅读全文
elastic索引管理-数据流
摘要：数据流 索引周期管理如下： 索引周期缺点：数量过多，性能无法保证，性能安全 数据流数据流允许您跨多个索引存储仅附加的时间序列数据，同时为您提供单个命名资源用于请求。数据流非常适合日志、事件、指标和其他连续生成的数据。您可以将索引和搜索请求直接提交到数据流。流自动将请求路由到存储流数据的支持索引。您可
阅读全文
ES运维常见的十个故障诊断指令汇总
摘要：文章目录1、查询分配未分配的原因1.1 问题场景描述1.2 诊断方式1.3 解决方案1.4 所有 12 种分片未分配原因汇总2、查询集群的健康状况2.1 健康状态2.2 查看状态信息3、查看集群中所有节点的节点属性3.1 常见使用场景4、查看集群中所有节点的分配信息4.1 常见使用场景5、查询集群/
阅读全文
ES中的Multi_match深入解读：best_fields、most_fields、cross_fields用法一览
摘要：1、multi_match是啥 概念： 多字段检索，是组合查询的另一种形态，考试的时候如果考察多字段检索，并不一定必须使用multi_match，使用bool query，只要结果正确亦可，除非题目中明确要求（目前没有强制要求过） 语法： GET <index>/_search { "query":
阅读全文
elastic索引管理常用api，故障诊断 压缩 别名 滚动索引 生命周期 数据流等
摘要：1，常用API 1.1 cat apicat/nodes: 查询节点分配情况cat/nodeattrs: 查询节点属性cat/shards: 查询分片分配情况cat/allocation: 查看节点的硬盘占用和剩余cat/count/<index>: 查看索引的文档数量，可以用 count 替代ca
阅读全文
elasticsearch运维调优-集群和冷热集群
摘要：集群： node1-node3专用主节点 node3仅投票节点 启动服务： ./bin/elasticsearch 后台启动守护进程 ./bin/elasticsearch 推荐方式 ./bin/elasticsearch -d -p pid 关闭进程 ps -ef|grep elastic 杀进程
阅读全文
bm25算法与tf-idf比较,区别，已经使用长江
摘要：bm25算法与tf-idf算法比较 一、tf-idf算法介绍 词频（TF）=某篇文章中某个关键词出现的次数/文章总字数，逆文档频率（IDF） = log（语料库文章总数/包含该关键词的文章总数+1），tfidf=tf*idf，下面给大家举个实例，你大概就明白了，例如语料库中有以下三篇文章： 第一篇：
阅读全文
B端业务仓储系统扣减库存更新库存汇总出现mysql Deadlock found when trying to get lock死锁怎么办
摘要：在B端业务中由于业务流转繁琐，所处事物或者嵌套事务很长，经常由于程序员代码书写不规范或者经验不足等问题出现类似 Deadlock found when trying to get lock的报错，那该如何去避免呢？ { "message": "SQLSTATE[40001]: Serializati
阅读全文
elasticsearch--高手进阶篇7读写原理及调优
摘要：elasticsearch--读写原理及调优 Es写入过程 1.1 ES支持四种对文档的数据写操作create: 如果在PUT数据的时候当前数据已经存在，则数据会被覆盖，如果在PUT的时候加上操作类型create，此时如果数据已存在则会返回失败，因为已经强制指定了操作类型为create，ES就不会再
阅读全文
elasticsearch--高手进阶篇8并发问题
摘要：elasticsearch--并发问题 悲观锁 乐观锁 悲观锁对于一个共享数据，某个线程访问到这个数据的时候，会认为这个数据随时有可能会被其他线程访问而造成数据不安全的情况，因此线程在每次访问的时候都会对数据加一把锁。这样其他线程如果在加锁期间想访问当前数据就只能等待，也就是阻塞线程了。 乐观锁乐观
阅读全文
elasticsearch--高级进阶篇4-相关度评分算法
摘要：elasticsearch--相关度评分算法 相关度评分 TF-IDF算法 BM25算法 SHARD LOCAL IDF Relevance Score 精准控制频分和干预排序 1、相关度评分:score 1.1 相关度31.1.1 相关性概念相关性指的是召回结果和用户搜索关键词的匹配程度，也就是和
阅读全文
elasticsearch--高级进阶篇5-高级聚合
摘要：1、正排索引 1.1 正排索引（doc values ）和倒排索引 概念：从广义来说，doc values 本质上是一个序列化的 列式存储 。列式存储 适用于聚合、排序、脚本等操作，所有的数字、地理坐标、日期、IP 和不分词（ not_analyzed ）字符类型都会默认开启，不支持text和ann
阅读全文
elasticsearch-高级进阶篇6高级检索-多字段检索mutil_match
摘要：1、多字段检索 1.1 多字段检索（multi_match）是啥？ 概念：多字段检索，是组合查询的另一种形态，考试的时候如果考察多字段检索，并不一定必须使用multi_match，使用bool query，只要结果正确亦可，除非题目中明确要求（目前没有强制要求过） 语法： GET <index>/_
阅读全文
elasticsearch--高级进阶篇3-倒排索引底层原理
摘要：Elasticsearch核心概念 什么是搜索引擎？ 全文搜索引擎 自然语言处理（NLP）、爬虫、网页处理、大数据处理 如谷歌、百度、搜狗、必应等等 垂直搜索引擎 有明确搜索目的的搜索行为 各大电商网站、OA、站内搜索、视频网站等 搜索引擎应该具备哪些要求？ 面向海量数据，如何达到“搜索引擎”级别的
阅读全文
elasticsearch--高级进阶篇1-分布式原理 分片策略 集群
摘要：elasticsearch--分布式原理 1、单机服务有哪些问题 单机服务性能有限 可用性差 维护不便 2、分布式的好处 高可用性：集群可容忍部分节点宕机而保持服务的可用性和数据的完整性 易扩展：当集群的性能不满足业务要求时，可以方便快速的扩容集群，而无需停止服务。 高性能：集群通过负载均衡器分摊并
阅读全文
elasticsearch-索引的批量操作
摘要：elasticsearch-索引的批量操作 批量查询和批量增删改 批量查询 GET /_mget 批量写入： OST /_bulk POST /<index>/_bulk {"action": {"metadata"}} {"data"} 注意： bulk api对json的语法有严格的要求，除
阅读全文
elasticsearch-模糊查询和智能搜索推荐
摘要：elasticsearch-模糊查询和智能搜索推荐 prifix前缀搜索 wildcard通配符 regexp正则表达式 fuzzy模糊查询 match_phrase_prefix短语前缀 以及前缀中缀后缀的搜索优化方案（ngram edge gram）
阅读全文
