Hive,Hbase,HDFS之间的关系

hive不支持更改数据操作,Hive基于数据仓库,提供静态数据的动态查询。
使用HQL类SQL语言,底层经过编译转为MapReduce程序,在Hadoop上运行,
数据存储在HDFS上。
bin/hadoop dfs -lsr /user/hive 查看HDFS上存储的HIVE表

HDFS是GFS的一种实现,是分布式文件系统,类似于FAT32,NTFS,是一种文件格式。

Hive与Hbase的数据一般存储在HDFS上。hadoop HDFS为他们提供了高可靠性的底层存储支持。

Hbase 是 Hadoop database,即Hadoop数据。它是适用于非结构化数据存储的数据库。
Hbase是基于列,而不是基于行的模式。
Hbase利用Hadoop MapReduce来处理HBase中的海量数据。
Zookeeper为Hbase提供了稳定的服务和failover机制。
Pig和Hive为Hbase提供了高层语言支持,使得Hbase上进行数据统计处理变的简单。

Sqoop则为Hbase提供了方便的RDBMS数据的导入导出功能,使得传统数据库向Hbase迁移变的十分方便。

posted @ 2017-09-14 19:32  HQin  阅读(3655)  评论(0编辑  收藏  举报