kudu

java api操作kudu存储引擎的代码练习:https://cloud.tencent.com/developer/article/1628164

kudu 定位是一个既支持随机读写、又支持 OLAP 分析的大数据存储引擎。

原数据存储于HDFS或HBase都有优缺点:

  • 直接存放于HDFS中,适合离线分析,却不利于记录级别的随机读写。

  • 直接将数据存放于HBase/Cassandra中,适合记录级别的随机读写,对离线分析却不友好

kudu基于两者之间。

kudu架构:Master Server集群中的老大,负责集群管理,元数据管理等功能。(单点故障,多台master server,leader master,follower master)

                   Tablet Server数据存储 ,对外提供kudu的数据读写能力。(存储数据时,也会有数据备份,leader对外提供对数据的读写服务,follower只支持数据的读服务,是为了保证数据的对外一致性原则)

tablet:一个表片段,一个主键序列的区间(由多个tablet组成表的数据,有冗余(备份))

 

java实现Impala操作kudu  :https://www.cnblogs.com/Javame/p/12222691.html

impala操作kudu中表时,内部表和外部表的区别:

内部表由Impala管理,当从Impala删除时,数据和表都被删除。

外部表不受Impala管理,并且删除此表不会将表从其源数据(此处为kudu)丢弃。相反,它只会去除Impala和Kudu之间的映射。

 

 

posted @ 2020-06-28 18:04  hulifang  阅读(240)  评论(0编辑  收藏  举报