问题解决：Spark Unable to load native-hadoop library for your platform

软件版本

软件版本
spark2.4.0
hadoop3.2.0
scala2.11.8

问题场景

启动spark-shell的时候，有WARN提示，提示如下：

Unable to load native-hadoop library for your platform

原因

缺少对Hadoop的lib的引用。在环境变量里面进行设置即可。

解决方法

  1. 编辑 /etc/profile

    export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export  PATH=$PATH:$LD_LIBRARY_PATH

  2. 使环境变量生效

    source /etc/profile

  3. 测试
    在这里插入图片描述

posted on   枫夜求索阁  阅读(84)  评论(0)  编辑  收藏  举报

相关博文：
· 问题解决：spark程序运行过程中，集群线程过多，异常中断（Couldn't set up IO streams）
· 问题解决：NameError: name 'platform_system' is not defined
· Hadoop - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
· HADOOP Unable to load native-hadoop library for your platform... using builtin-java classes where
· WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
阅读排行：
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布：重大改进与新特性概览！
· AI与.NET技术实操系列（二）：开始使用ML.NET
· 单线程的Redis速度为什么快？
点击右上角即可分享
微信分享提示
AI FOR CODE 大赛