最近试着搭建Hadoop,我使用的操作系统是Centos6.5,Hadoop版本是2.6.0。
在安装过程中总是出现:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。
解决思路如下: apache hadoop2.7需要使用2.14的glibc而我的云主机操作系统的glibc是2.12,所以感觉是操作系统的glibc版本过低。升级完之后该问题顺利解决了。
步骤如下:
1.# ll /lib64/libc.so.6 //查看当前系统glibc版本
$ export HADOOP_ROOT_LOGGER=DEBUG,console
bin/hadoop fs -ls /
此时会输出debug信息,看到warning找出hadoop需要的glibc版本
2.下载对应版本的glibc安装
下载地址,找到对应版本的glibc : http://ftp.gnu.org/gnu/glibc/
3. 下载解压之后依次执行以下命令:
export CFLAGS="-g -O2"
./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install
再次尝试,已经不报错了
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 字符编码:从基础到乱码解决