摘要:
刚接触Hadoop,看了一周的Hadoop及其相应的组件,感觉效果不是很明显,于是将找个例子练一下手,跑一个流程,加深对hadoop的理解。 设计的流程如下: TPC_H--->HdFS---->MapRecude---->Hive(paration)----->DB 即:从TPC_H生产10G的数据,将数据上传到HDFS中,编写MapReduce函数,对数据进行处理,将处理后的数据存放在Hive中,在Hive中仿照TPC_H的22条sql数据,写22条相应的HQL,并将结果保存在db中。 下面将逐步完成上述的流程一、通过TPC_H生产相应的数据 1. 什么是TPC_H 阅读全文