使用hbase的Bulk Load
1.首先配置$HADOOP_HOME下的conf/hadoop-env.sh文件,修改其中的HADOOP_CLASSPATH为如下
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hadoop/hbase-0.90.3.jar:/hadoop/hbase/hbase-0.90.3-
tests.jar:/hadoop/hbase/conf:/hadoop/hbase/lib/guava-r06.jar:/hadoop/hbase/lib/zookeeper-3.3.2.jar
2.配置$HBASE_HOME下的conf/hbase-env.sh文件,修改其中的HBASE_CLASSPATH为如下
export HBASE_CLASSPATH=$HBASE_CLASSPATH:/hadoop/hadoop-config
3.配置$HADOOP_HOME下的conf/core-site.xml,加入如下信息
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop-namenode,hadoop-datanode1,hadoop-datanode2</value>
<description></description>
</property>
4.重启hbase和hadoop
5.给hdfs上传待导入hbase的数据文件,示例文件为/user/limj/hbaseload/hbase_test2
1 2 row1 test
2 4 row2 test
3 6 row3 test
4 8 row4 test
5 10 row5 test
6.在hbase中创建表t8
create 't8','f1'
7. 在$HADOOP_HOME下执行bin/hadoop jar /hadoop/hbase/hbase-0.90.3.jar importtsv -
Dimporttsv.columns=HBASE_ROW_KEY,f1:a,f1:b,f1:c t8 /user/limj/hbaseload
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· [AI/GPT/综述] AI Agent的设计模式综述