Hadoop流程---从tpch到hive
刚接触Hadoop，看了一周的Hadoop及其相应的组件，感觉效果不是很明显，于是将找个例子练一下手，跑一个流程，加深对hadoop的理解。
设计的流程如下：
TPC_H--->HdFS---->MapRecude---->Hive(paration)----->DB
即：从TPC_H生产10G的数据，将数据上传到HDFS中，编写MapReduce函数，对数据进行处理，将处理后的数据存放在Hive中，在Hive中仿照TPC_H的22条sql数据，写22条相应的HQL，并将结果保存在db中。
下面将逐步完成上述的流程
一、通过TPC_H生产相应的数据
1. 什么是TPC_H
TPC-H(商业智能计算测试)是TPC的重要测试标准之一，主要用来模拟真实商业的应用环境。
TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系/表,其中表REGION和表NATION的记录数是固定的(分别为5和25)，其它6个表的记录数，则随所设定的参数SF而有所不同，其数据量可以设定从 1GB～3TB 不等。有8个级别供用户选择。
2.从TPC_H导出数据
1) 首先从TPC_H的官方网站下载最新版本的TPC_H压缩包，下载地址为 http://www.tpc.org/tpch/ 。注意下面的操作我是在Linux环境下完成的，在win下也可以，部分设置不一样而已。
2) 解压下载的压缩文件，会有两个文件，1个是dbgen 1个是ref_data
3) 在dbgen目录下，将makefile.sute文件复制，并将文件名修改为makefile.接着修改这个makefile文件按的部分参数
shell>cp makefile.sute makefile
shell>vim makefile
具体改的参数有：
cc = gcc
……
DATABASE = SQLSERVER(也可以选择其他类型的DB)
MACHINE = LINUX(选择运行的平台)
WORKLOAD = TPCH
4) 修改完成后，保存这个文件,然后在命令行进入dbgen的目录下，输入“make”就可以调用make解释器去执行你修改后的makefile了。
shell>make
5) 运行dbgen来生产tbl文件。
shell>./dbgen -s 10
“./”是一个路径，“./dbgen”表示在当前路径下执行dbgen，其后是参数.简单来说，我们可以替换的参数有（1）-s后面的数字，10代表生产10倍的数据（即10G）；
6) 结束后，可以发现在当前的目录下，生成了8个*.tbl文件，总大小为10G
注：TPC_H不是此次的重点，再次只是简单的介绍一下，如果需要详细的了解，请查看官方网站相关说明，再次有一篇比较入门的介绍TPC_H（以及导出数据）的文章，推荐给大家。http://blog.csdn.net/czpthegreat/article/details/6303071
二、将生成的数据从本地复制到HDFS中。
在本地中，我们将TPC_H生成的数据放在如下目录中，
/share/bigdata/tpch_data/data/
这一步操作简单，只需使用如下命令即可
hadoop fs -put /share/bigdata/tpch_data/data /user/root/tpch
在本地中，由于目标的文件都很大，比如lineitem.tbl文件有7个多G的数据，打开这么大的文件显然是很费时，而且也没有必要使用这么大的文件来检验mapreduce函数的正确性（这才是主要的原因），在本例中，我们取其中的一部分作为测试数据，检验我们mapreduce函数的正确性。我写了一个shell脚本，通过此脚本我们可以指定要处理的文件，并指定需要截取的行，并将结果输出到指定的文件中。
shell脚本为：
#!/bin/bash printf "Please input the path of file which need to read: " read fileName printf "Please input the path of file which saves the result: " read outPut printf "startRow: " read startRow printf "endRow:" read endRow #sed -n "$startRow","$endRow"P /share/bigdata/tpch_data/data/$fileName sed -n ""$startRow","$endRow"w $outPut" /share/bigdata/tpch_data/data/$fileName
生成的测试文件放在如下目录中：
/share/bigdata/tpch_data//data/analytics
我们也将这些文件复制至hdfs中：
hadoop fs -put /share/bigdata/tpch_data/data /user/root/tpch
三、编写并运行MapReduce函数
本地中我们只是简单的对lineitem.tbl文件中的quantity列进行处理。选取quantity值>30的行。具体代码如下，由于代码比较简单，因此再次我就不介绍了
FilterItemLine.java(这个名字没取好，应该用FilterLineItem)
package uap.pub.hadoop.tpch.lineitem;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class FilterItemLine {
/**
* @param args
* @throws IOException
* @throws ClassNotFoundException
* @throws InterruptedException
*/
public static void main(String[] args) throws IOException,
InterruptedException, ClassNotFoundException {
Configuration conf = new Configuration();
// conf.set("mapred.job.tracker", "192.168.133.101:9001");// 全局
String[] otherArgs = new GenericOptionsParser(conf, args)
.getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: wordcount <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "Filter ItemLine");
job.setJarByClass(FilterItemLine.class);
job.setMapperClass(FilterItemLineMapper.class);
job.setReducerClass(FilterItemLineReducer.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
job.setMapOutputKeyClass(LongWritable.class);//Map端key输出的格式
job.setMapOutputValueClass(Text.class);//Map端value输出的格式
job.setOutputKeyClass(Text.class);//Reduce端key输出的格式
job.setOutputValueClass(Text.class);//Reduce端value输出的格式
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
FilterItemLineMapper .java
package uap.pub.hadoop.tpch.lineitem;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class FilterItemLineMapper extends
Mapper<LongWritable, Text, LongWritable, Text> {
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString();
// 获取quantity字段
StringTokenizer st = new StringTokenizer(line, "|");
int i = 0;
String str_quantity = null;
while (st.hasMoreTokens()) {
String nextToken = st.nextToken();
if (i == 4) {
str_quantity = nextToken;
break;
}
i++;
}
if (!StringUtils.isEmpty(str_quantity)) {
int quantity = Integer.parseInt(str_quantity);
if (quantity >= 30) {
context.write(key, value);
}
}
}
}
FilterItemLineReducer.java
package uap.pub.hadoop.tpch.lineitem; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class FilterItemLineReducer extends Reducer<LongWritable, Text, Text, Text> { protected void reduce(LongWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException { Iterator<Text> iterator = values.iterator(); while (iterator.hasNext()) { Text value = iterator.next(); context.write(null, value);//本地情况特殊，不需要对数据进行额外的处理，一般情况下，key不设为null } } }
代码写好了，下面就是编译代码，打成jar包，运行代码
1）编译代码
javac -classpath /share/hadoop/hadoop-core-1.0.4.jar:/share/hadoop/lib/commons-lang-2.4.jar -d . FilterItemLineMapper.java
javac -classpath /share/hadoop/hadoop-core-1.0.4.jar:/share/hadoop/lib/commons-lang-2.4.jar -d . FilterItemLineReducer.java
javac -classpath ./:/share/hadoop/hadoop-core-1.0.4.jar:/share/hadoop/lib/* -d . FilterItemLine.java
2)打成jar包
jar -cvf FilterLineItem.jar -C java/ .
3) 运行mapreduce
hadoop jar /share/bigdata/java/FilterLineItem.jar uap.pub.hadoop.tpch.lineitem.FilterItemLine /user/root/tpch/data/lineitem.tbl /user/root/tpch/fileterlineitem_out
注意：运行mapreduce方法时，其中间数据存放的位置为：/share/hadooptmp/mapred/local/taskTracker/root/jobcache/
四、将数据导入到hive中
TPC_H生成的数据有8整个tbl文件，我们将这8个文件导入到hive中去
在hive中表的创建有外部表和内部表，这两个表的区别想必大家都知道，在此处我主要记录自己在创建表的过程中遇到的问题
1） 创建内部表
CREATE TABLE IF NOT EXISTS REGION(NATIONKEY INT,NAME STRING,COMMENT1 STRING) COMMENT 'The file of TPCH is region.tbl' > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '|' > STORED AS TEXTFILE; # > LOCATION '/user/root/hive/data/nation';不要使用LOCATION load data: LOAD DATA INPATH '/user/root/tpch/data/region.tbl'INTO TABLE REGION;//After load data,we cannot find region.tbl in the directory '/user/root/tpch/data/region.tbl',on the contray,we find it in the directory '/user/hive/warehouse/region/'
在建内部表时，不需要使用LOCATION 关键字，如果使用了，则创建后的表的数据（实际的文件）就会放到此目录下，而不是默认的/user/hive/warehouse/目录下
2）创建外部表
除此之外，LOCATION 一定是个目录，不能是个具体的文件，比如下面的例子就报错了
hive> CREATE EXTERNAL TABLE IF NOT EXISTS nation (NATIONKEY STRING,NAME STRING,REGIONKEY STRING ,NATION_COMMENT STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' > STORED AS TEXTFILE > LOCATION '/user/root/tpch/data/nation.tbl';//wrong FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException java.io.FileNotFoundException: Parent path is not a directory: /user/root/tpch/data/nation.tbl at org.apache.hadoop.hdfs.server.namenode.FSDirectory.mkdirs(FSDirectory.java:949) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2068) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2029) at org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:817) at sun.reflect.GeneratedMethodAccessor24.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382) )
3）创建分区表
