win10安装hadoop3.1.3

参考：https://blog.csdn.net/qq_40059532/article/details/103416631

参考：https://blog.csdn.net/songhaifengshuaige/article/details/79575308

 

记录问题：1、hadoop环境变量在系统变量里才生效，我放在用户变量里不生效。

2、这个页面没有创建和删除的权限， 可通过hadoop fs -chmod -R 777 /  来设置权限。  

 

 

 

3、运行mapreduce实例时，报：

MAPREDUCE运行报DOES NOT CONTAIN A VALID HOST:PORT AUTHORITY: 

原因： 我的计算机全名中有特殊字符,造成解析失败。 另外：xml配置时， key和value不要有空格。

 

4、运行mapreduce实例时， 任务does not exist.

原因：yarn-site.xml 需要加聚合配置。 参考：

https://stackoverflow.com/questions/66318101/yarn-logs-disappear-immediately-after-the-application-is-finished

https://blog.csdn.net/qq_43688472/article/details/85251008

我在yarn-site中加了 

    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>

 

5、当遇到job错误时，可以打开job，查看错误再解决

yarn logs -applicationId application_xxx命令,可以查看yarn执行任务的logs。 其中application_xxx是任务的编号

 

6、hadoop无法启动 INFO ipc.Client: Retrying connect to server

 原因： 先关闭防火墙吧。