IDEA 中运行 Hadoop/Spark 程序报错 Could not locate executable null\bin\winutils.exe in the Hadoop binaries

如题，在 Windows 系统下，通过 IDEA 等开发工具运行 Hadoop / Spark 任务，报错如下：

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

可通过下述方式尝试解决：

1）到这里 https://github.com/cdarlint/winutils 下载和你的 Hadoop 版本对应的工具所在的整个目录，比如 hadoop-3.2.0；

2）在本机创建不包含中文和空格的目录（比如 D:\software\hadoop）；

3）把下载的文件中的 winutils.exe 拷贝到上述文件夹中；

4）在代码中设置环境变量：

System.setProperty("hadoop.home.dir", "file:///D:/software/hadoop/");

5）创建临时目录（如 D:\data\hadoop_tmp），并给予 777 权限；

7）Spark Session 中加入下述配置：

.config("spark.sql.warehouse.dir", "file:///D:/data/hadoop_tmp")

再来运行，看还有没有报错吧：-）

版权声明

作者：瘦风(https://healchow.com)

出处：博客园-瘦风的南墙(https://www.cnblogs.com/shoufeng)

感谢阅读，公众号 「瘦风的南墙」 ，手机端阅读更佳，还有其他福利和心得输出，欢迎扫码关注🤝

本文版权归博主所有，欢迎转载，但 [必须在页面明显位置标明原文链接]，否则博主保留追究相关人士法律责任的权利。