摘要:
1、代码实现 kafkaListener 需要指定id,例如这里是:full-part-id。 消费开关 参考: 1、How can i stop consumers from consuming? 阅读全文
摘要:
参考: MD5 Hashing in Java 阅读全文
摘要:
转自:Caching in Presto Qubole’s Presto-as-a-Service is primarily targeted at Data Analysts who are tasked with translating ad-hoc business questions int 阅读全文
摘要:
1、orc列式存储概念 a)列式存储:orc并不是纯粹的列式存储,也是先基于行对数据表进行分组(行组),然后对行组进行列式存储。 b)查询数据的时候不需要扫描全部数据(磁盘IO),只需查询指定列即可。 c)orc对每一列提供了常规统计信息(min 、 max 、 sum等),加速查询。例如过滤条件f 阅读全文
摘要:
原文地址:We need tool support for keyset pagination 1、offset的定义 …the rows are first sorted according to the <order by clause> and then limited by dropping 阅读全文
摘要:
1、TooManyClause 我们在使用terms query、prefix query、fuzzy query、wildcard query、range query的时候,一不小心就会遇到TooManyClause异常。这个异常是提醒我们查询子句太多了(超过默认阈值1024),而上面这类查询最终 阅读全文
摘要:
1、Index Templates 之前我们聊过Dynamic template,它作用范围是特定的Index,如果我们想针对全局Index进行设置该如何操作呢? Index Templates 可以定义一些模板,新创建index的时候会自动应用相应的模板。 Index templates allo 阅读全文
摘要:
1、ES Mapping 在lucene中,索引中每个字段都需要指定很多属性,例如:是否分词、采用哪个分词器、是否存储等。 在ES中,其实索引中每个字段也需要指定这些属性,我们有时候并没有对这些属性进行设置,这得益于ES的动态映射(Dynamic Mapping)。 参考:Dynamic Mappi 阅读全文
摘要:
1、index、type的初衷 之前es将index、type类比于关系型数据库(例如mysql)中database、table,这么考虑的目的是“方便管理数据之间的关系”。 2、为什么现在要移除type? 2.1 在关系型数据库中table是独立的(独立存储),但es中同一个index中不同typ 阅读全文
摘要:
Dynamic field mapping 1、我们向es提交一个json对象进行索引,es会对json字段和索引字段进行字段类型适配。 规则如下: 2、string字段的转换规则 当date detection、numeric detection开启后,string类型可能转换成:date、num 阅读全文
摘要:
The delete-by-query plugin adds support for deleteing all of the documents which match the specified query. It is a replacement for the problematic de 阅读全文
摘要:
Kibi extends Kibana 4.6.4 with data intelligence features. The core feature of Kibi is the capability to join and filter data from multiple Elasticsea 阅读全文
摘要:
Distributed Result Grouping Caveats Grouping is supported distributed searches, with some caveats: 1)Currently group.func is not supported in any dist 阅读全文
摘要:
转载: http://club.alibabatech.org/article_detail.htm?articleId=61 【导读】本文从商品类目预测的难点分析出发,衍生出一淘商品类目预测的架构以及实现,同时还对商品类目预测的进阶提出了畅想。适合想对商品类目预测有一些了解的同学阅读。 什么是一淘 阅读全文