一个数据仓库的设计架构

来自服务器大型 RDBMS 的数据通过 Sqoop 工具导入 HDFS/HBase
来自服务器的日志文件通过 Flume 工具导入 HDFS/HBase
数据通过 MapReduce 程序 ,Hive/pig/impala(一个类似 hive 的内存计算框架) 工具进行数据分析,并使用 Oozie/宙斯 进行任务调度
分析以后的数据存到HDFS上,由 sqoop 工具导入 RDBMS 中,供 WEB 服务器使用等

posted @ 2017-07-23 21:57  岑忠满  阅读(471)  评论(0编辑  收藏  举报