使用hbase的Bulk Load
1.首先配置$HADOOP_HOME下的conf/hadoop-env.sh文件,修改其中的HADOOP_CLASSPATH为如下
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hadoop/hbase-0.90.3.jar:/hadoop/hbase/hbase-0.90.3-
tests.jar:/hadoop/hbase/conf:/hadoop/hbase/lib/guava-r06.jar:/hadoop/hbase/lib/zookeeper-3.3.2.jar
2.配置$HBASE_HOME下的conf/hbase-env.sh文件,修改其中的HBASE_CLASSPATH为如下
export HBASE_CLASSPATH=$HBASE_CLASSPATH:/hadoop/hadoop-config
3.配置$HADOOP_HOME下的conf/core-site.xml,加入如下信息
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop-namenode,hadoop-datanode1,hadoop-datanode2</value>
<description></description>
</property>
4.重启hbase和hadoop
5.给hdfs上传待导入hbase的数据文件,示例文件为/user/limj/hbaseload/hbase_test2
1 2 row1 test
2 4 row2 test
3 6 row3 test
4 8 row4 test
5 10 row5 test
6.在hbase中创建表t8
create 't8','f1'
7. 在$HADOOP_HOME下执行bin/hadoop jar /hadoop/hbase/hbase-0.90.3.jar importtsv -
Dimporttsv.columns=HBASE_ROW_KEY,f1:a,f1:b,f1:c t8 /user/limj/hbaseload