（四）伪分布式下jdk1.6+Hadoop1.2.1+HBase0.94+Eclipse下运行wordCount例子

本篇先介绍HBase在伪分布式环境下的安装方式，然后将MapReduce编程和HBase结合起来使用，完成WordCount这个例子。

• HBase在伪分布环境下安装

一、   前提条件

　　已经成功地安装了jdk1.6和hadoop1.2.1。

　　Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方法见：Hadoop1.2.1安装——单节点方式和单机伪分布方式

二、   环境

1. VMware® Workstation 10.04
2. Ubuntu14.04 32位
3. Java JDK 1.6.0
4. hadoop1.2.1
5. hbase0.94.26

三、   HBase0.94伪分布式下的安装步骤

　　（1）下载hbase0.94.26的tar包并解压　　　

tar -zxvf hbase-0.94.26.tar.g

　　（2）去{hbase}/conf目录修改hbase-site.xml

<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
    <!-- 端口号和ip地址要与hadoop配置参数fs.default.name一致 -->
</property>

<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>

　<property>

　　<name>dfs.replication</name>

　　<value>1</value> (伪分布设置为1)

 </property>

</configuration>

　　（3）去{hbase}/conf目录修改hbase-env.sh文件

export JAVA_HOME=/usr/lib/jvm/{jdk}  #jdk安装路径
 
export HBASE_CLASSPATH=/etc/hadoop
 
export HBASE_MANAGES_ZK=true

　　（4）让hbase0.94.26支持hadoop1.2.1

　　hbase0.94.26默认支持的是hadoop1.0.4，我们可以用替换hadoop-core的方式让其支持hadoop1.2.1.

　　a. 将hadoop主目录下的hadoop-core-1.2.1.jar文件复制到hbase/lib目录下去，将hbase/lib 目录下自带的　　　　hadoop-core-1.0.4.jar文件删除，

      b. 再将hadoop/lib目录下的commons-collections-3.2.1.jar和commons-configuration-1.6.jar文件复制到　　   hbase/lib目录下去

rm /home/u14/hbase-0.94.26/lib/hadoop-core-1.0.4.jar
cp /home/u14/hadoop/hadoop-core-1.2.1.jar /home/u14/hbase-0.94.26/lib
cp /home/u14/hadoop/lib/commons-collections-3.2.1.jar /home/u14/hbase-0.94.26/lib
cp /home/u14/hadoop/lib/commons-configuration-1.6.jar /home/u14/hbase-0.94.26/lib

　　（5）启动HBase

　　　　a. 先启动hadoop

　　　　b. 启动Hbase

　　　　　　进入hbase的解压目录下的bin文件夹，执行start-hbase.sh脚本

bin/start-hbase.sh

　　　　　　用jps命令查看相关进程：

SecondaryNameNode 
DataNode 
HQuorumPeer 
TaskTracker 
JobTracker 
Jps 
HRegionServer 
HMaster 
NameNode

　　　　c. 进入shell模式，操作hbase

bin/hbase shell

　　　　d. 停止hbase：先停止hbase，再停止hadoop

stop-hbase.sh
stop-all.sh

 

• 使用Eclipse开发HBase应用程序
  

  a. 在eclipse里新建一个java项目HBase，然后选择项目属性，在Libraries->Add External JARs...,然后选择{hbase}/lib下相关的JAR包，如果只是测试用的话，就简单一点，将所有的JAR选上

  
  b. 在项目HBase下增加一个文件夹conf，将Hbase集群的配置文件hbase-site.xml复制到该目录，然后选择项目属性在Libraries->Add Class Folder，将刚刚增加的conf目录选上。
  

  

  

• 将MapReduce与HBase结合起来完成wordCount例子

在这个例子中，输入文件为：

　　user/u14/hbasetest/file01: hello world bye world

　　user/u14/hbasetest/file02: hello hadoop bye hadoop

程序思想：程序首先从文件中收集数据，在shuffle完成之后进行统计并计算，最后将计算结果存储到hbase中。

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

public class WordCountHBase {
    public static class Map extends Mapper<LongWritable,Text, Text, IntWritable>{
        private IntWritable i = new IntWritable(1);
        public void map(LongWritable key, Text value, Context context) 
                throws IOException, InterruptedException{
            String s[] = value.toString().trim().split(" ");
            for(String m: s){
                context.write(new Text(m), i);
            }
        }
    }
    
    public static class Reduce extends TableReducer<Text, IntWritable, NullWritable>{
        public void reduce(Text key, Iterable<IntWritable> values, Context context) 
                throws IOException, InterruptedException{
            int sum = 0;
            for(IntWritable i: values){
                sum += i.get();
            }
            Put put = new Put(Bytes.toBytes(key.toString())); //put实例化，每一个词存一行
            put.add(Bytes.toBytes("content"),Bytes.toBytes("count"),
                    Bytes.toBytes(String.valueOf(sum))); //列族为content，列修饰符为count，列值为数值
            context.write(NullWritable.get(), put);
        }
    }
    
    public static void createHBaseTable(String tableName) throws IOException{
        HTableDescriptor htd = new HTableDescriptor(tableName);
        HColumnDescriptor col = new HColumnDescriptor("content");
        htd.addFamily(col);
        HBaseConfiguration config = new HBaseConfiguration();
        HBaseAdmin admin = new HBaseAdmin(config);
        if(admin.tableExists(tableName)){
            System.out.println("table exists, trying recreate table!");
            admin.disableTable(tableName);
            admin.deleteTable(tableName);
        }
        System.out.println("create new table: "+ tableName);
        admin.createTable(htd);
    }
    
    public static void main(String args[]) throws Exception{
        String tableName = "wordcountH";
        Configuration conf =  new Configuration();
        conf.set(TableOutputFormat.OUTPUT_TABLE, tableName);
        createHBaseTable(tableName);
        Job job = new Job(conf, "WordCountHbase");
        job.setJarByClass(WordCountHBase.class);
        job.setNumReduceTasks(3);
        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TableOutputFormat.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        System.exit(job.waitForCompletion(true)?0:1);
    }
}

程序成功运行后，通过Hbase Shell检查输出结果：