随笔 - 1357  文章 - 0  评论 - 1104  阅读 - 1941万

hadoop整合纪要

版本:hadoop-1.1.1,hbase-0.94.3,hive-0.9.0

一. 版本兼容
1. hadoop-1.1.1与hbase-0.94.3
$HADOOP_HOME/hadoop-core-*.*.*.jar和$HADOOP_HOME/lib/commons-configuration-*.*.jar拷贝到$HBASE_HOME/lib目录下,删除$HBASE_HOME/lib目录下的hadoop-core-*.jar,避免版本冲突和不兼容。

2. hbase-0.94.3和hive-0.9.0
$HIVE_HOME/lib/hbase-0.92.0.jar和$HIVE_HOME/lib/hbase-0.92.0-tests.jar删除掉,$HBASE_HOME/hbase-0.94.3.jar和$HBASE_HOME/hbase-0.94.3-tests.jar拷贝到$HIVE_HOME/lib/目录下,避免版本冲突和不兼容。

二. 整合所需jar
1. Hive和HBase整合所需jar
$HBASE_HOME/lib目录下所有的 jar 包、$HADOOP_HOME/hadoop-core-1.1.1.jar、$HADOOP_HOME/lib/hive*和$HADOOP_HOME/lib/libfb303.jar以及MySQL的JDBC驱动包(mysql-connector-java-5.0.4-bin.jar)添加到工程的Classpath 下。

 

posted on   Ruthless  阅读(1017)  评论(0编辑  收藏  举报
编辑推荐:
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行:
· winform 绘制太阳,地球,月球 运作规律
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 写一个简单的SQL生成工具
· AI 智能体引爆开源社区「GitHub 热点速览」
历史上的今天:
2011-03-07 js获取项目根路径
< 2013年3月 >
24 25 26 27 28 1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31 1 2 3 4 5 6

点击右上角即可分享
微信分享提示