2020年9月6日

HIVE 工作原理

摘要: HIVE架构 Hive组件 用户接口/界面 Hive是一个数据仓库基础工具软件,可以创建用户和HDFS之间互动。用户界面,Hive支持是Hive的Web UI,Hive命令行,HiveHD洞察(在Windows服务器),用户提交查询的地方。 Meta Store元数据存储 Hive选择各自的数据库服 阅读全文

posted @ 2020-09-06 20:56 淡如清风 阅读(512) 评论(0) 推荐(0) 编辑

Hbase 学习笔记

摘要: HBASE由Google的Bigtable设计而来的面向列族的存储的非关系数据库,主要偏向适合数据分析。 优点和缺点 列式数据库优点,列式数据库会把相同列的数据都放在一块即列为单位存储。当我们查询某一列的时候只需要调出相应的块即可,这样还可以减少很多I/O。 高压缩比 如果数据元素间的相似性很高的话 阅读全文

posted @ 2020-09-06 20:54 淡如清风 阅读(133) 评论(0) 推荐(0) 编辑

KUDU 学习笔记

摘要: Kudu 现存系统针对结构化数据存储与查询的一些痛点问题,结构化数据的存储,通常包含如下两种方式: 静态数据通常以Parquet/Carbon/Avro形式直接存放在HDFS中,吞吐能力大,适合离线分析,随机读写能力差,难以支持单条记录级别的更新。 可变数据的存储通常选择面向列族的HBase或者Ca 阅读全文

posted @ 2020-09-06 20:50 淡如清风 阅读(298) 评论(0) 推荐(0) 编辑

导航