随笔 - 45  文章 - 0 评论 - 7 阅读 - 20万
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

最近试着搭建Hadoop,我使用的操作系统是Centos6.5,Hadoop版本是2.6.0。

在安装过程中总是出现:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。

解决思路如下: apache hadoop2.7需要使用2.14的glibc而我的云主机操作系统的glibc是2.12,所以感觉是操作系统的glibc版本过低。升级完之后该问题顺利解决了。

步骤如下:

1.# ll /lib64/libc.so.6    //查看当前系统glibc版本 

  $ export HADOOP_ROOT_LOGGER=DEBUG,console

  bin/hadoop fs -ls /

  此时会输出debug信息,看到warning找出hadoop需要的glibc版本

2.下载对应版本的glibc安装

 下载地址,找到对应版本的glibc : http://ftp.gnu.org/gnu/glibc/

3. 下载解压之后依次执行以下命令:

   export CFLAGS="-g -O2"

   ./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

   make

   make install

再次尝试,已经不报错了

posted on   一寸相思万千劫  阅读(723)  评论(0编辑  收藏  举报
编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 字符编码:从基础到乱码解决
点击右上角即可分享
微信分享提示