随笔分类 - Elasticsearch
摘要：转自：https://www.cnblogs.com/rodge-run/p/7760308.html ES的基本概念 1> 集群和节点 一个es集群是由一个或多和es节点组成的集合 每一个集群都有一个名字, 如之前的wali 每个节点都有自己的名字, 如之前的master, slave1, sla
阅读全文
摘要：TP=Top Percentile，Top百分数，是一个统计学里的术语，与平均数、中位数都是一类。TP50、TP90和TP99等指标常用于系统性能监控场景，指高于50%、90%、99%等百分线的情况。首先给出Google到的答案：The tp90 is a minimum time under wh
阅读全文
摘要：如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？ 思考 解决思路 由于有的消息队列有过期失效的机制，造成了大量的消息丢失。这种情况只能将丢失的那批数据，写个临时程序，一点一点的查出来，然后重新灌入mq里面去。 大量消息在mq里积压了几个小时了还没解决 几千万条数据在MQ里积压了七
阅读全文
摘要：在解决es入库问题上，之前使用过rest方式，经过一段时间的测试发现千万级别的数据会存在10至上百条数据的丢失问题， 在需要保证数据的准确性的场景下，rest方式并不能保证结果的准确性，因此采用了elasticsearch的BulkProcessor方式来进行数据入库， 实际上采用es客户端不同，r
阅读全文
摘要：前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、《从0到1学习Flink》—— Data Source 介绍 2、《从0到1学习Flink》—— Data Sink 介绍 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的
阅读全文
摘要：参考原博客： https://blog.csdn.net/weixin_44516305/article/details/90258883 1 需求分析 使用Flink对实时数据流进行实时处理，并将处理后的结果保存到Elasticsearch中，在Elasticsearch中使用IK Analyze
阅读全文
摘要：Elasticsearch 官网：https://www.elastic.co/cn/products/elasticsearch Elasticsearch 是一个分布式的基于 RESTful 接口的搜索和分析引擎，它能够解决越来越多的使用场景。作为 Elastic Stack 的核心，它集中存储
阅读全文
