上一页 1 2 3 4 5 6 7 ··· 18 下一页
摘要: 当buckets数量特别多的时候,深度优先和广度优先的原理,图解 假如我们有如下数据数据:每个演员的每个电影的评论。 现在我们的需求是找到前10名的演员所演的电影的评论。这是一个两层聚合题。 查询语句体如下: { "aggs" : { "actors" : { "terms" : { "field" : "actors", ... 阅读全文
posted @ 2018-03-10 21:23 outback123 阅读(357) 评论(1) 推荐(0) 编辑
摘要: 语法: POST /test_index/_mapping/test_type { "properties": { "test_field": { "type": "text", "fielddata": { "filter": { "frequency": { "min": 0.01, "min_ 阅读全文
posted @ 2018-03-10 21:20 outback123 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 课程大纲 fielddata加载 fielddata内存限制 监控fielddata内存使用 circuit breaker 一、fielddata加载 fielddata加载到内存的过程是lazy加载的,也就是说对一个analzyed field执行聚合时才会加载,不是在建立index时加载。而且 阅读全文
posted @ 2018-03-10 21:17 outback123 阅读(362) 评论(0) 推荐(0) 编辑
摘要: 主要知识点: 直接对分词的term进行聚合后果 设置fielddata=true 直接用.keyword进行聚合 doc value 的性能问题 一、直接对分词的term进行聚合后果 对于分词的field执行aggregation,发现报错。。。 1、新建一条数据(隐式创建一个索引和type) POST /test_index/te... 阅读全文
posted @ 2018-03-10 21:16 outback123 阅读(712) 评论(0) 推荐(0) 编辑
摘要: 主要知识点: doc value的原理 doc value性能优化 一、doc value原理 1、 生成时间:index-time生成 PUT/POST的时候,就会生成doc value数据,也就是正排索引 2、 核心原理与倒排索引类似 正排索引,也会写入磁盘文件中,然后呢,os cache先进行缓存,以提升访问doc v... 阅读全文
posted @ 2018-03-10 21:15 outback123 阅读(389) 评论(0) 推荐(0) 编辑
摘要: 主要知识点: 本节没有太懂,以后复习时补上 聚合分析的内部原理是什么????aggs,term,metric avg max,执行一个聚合操作的时候,内部原理是怎样的呢?用了什么样的数据结构去执行聚合?是不是用的倒排索引? 搜索+聚合,写个示例 GET /test_index/test_type/_search { "query": { "match": {... 阅读全文
posted @ 2018-03-10 21:14 outback123 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 主要知识点: percentile_ranks的用法 percentile的优化 一、percentile_ranks的用法 SLA:就是所提供的服务的标准。 比如一个网站的提供的访问延时的SLA,确保所有的请求100%都必须在200ms以内,在大公司内一般都是要求100%在200ms以内,如果超过1s,则需要升级到A级故障,代表网站的访问性能和用户体验急剧下... 阅读全文
posted @ 2018-03-09 20:29 outback123 阅读(539) 评论(0) 推荐(0) 编辑
摘要: 主要知识点 percentiles的用法 现有一个需求:比如有一个网站,记录下了每次请求的访问的耗时,需要统计tp50,tp90,tp99 tp50:50%的请求的耗时最长在多长时间 tp90:90%的请求的耗时最长在多长时间 tp99:99%的请求的耗时最长在多长时间 一、准备数据 1、建立mappings PUT /website { ... 阅读全文
posted @ 2018-03-09 20:28 outback123 阅读(835) 评论(0) 推荐(0) 编辑
摘要: 主要知识点 precision_threshold参数的理解 HLL算法优化(hash) cardinality,count(distinct),5%的错误率,性能在100ms左右 一、precision_threshold 优化准确率和内存开销 GET /tvs/sales/_search { "size" : 0, "a... 阅读全文
posted @ 2018-03-09 20:27 outback123 阅读(1022) 评论(0) 推荐(0) 编辑
摘要: 主要知识点 cartinality的用法 es去重用的是cartinality metric算法,对每个bucket中的指定的field进行去重,然后获取去重后的count,类似于count(distcint) cartinality的用法 GET /tvs/sales/_search { "size": 0, "aggs": {"mouth": { ... 阅读全文
posted @ 2018-03-09 20:26 outback123 阅读(212) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 18 下一页