hadooop2.6 job pending research
https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/ClusterSetup.html
我使用的是已经运行在生产环境中的一套配置文件,去除了一部分我用不到的信息。
但遇到的一些问题如下,
1.我的虚拟机使用双网卡,一个内网互访,一个是访问互联网,使用zookeeper,的时候一直报连接被拒绝的错误,后来解决。
2.使用zookeeper3.5.1 beta版,启动的时候,发现zookeeper admin server 启动占用了8080端口,造成nodemanager启动失败,
随后配置zoo.cfg改动:admin.enableServer=false,当然,也可以改动端口号。
3.hadoop job 提交之后一直pending
首先是自己查看nodemanager的日志,没有发现异常信息,没有报错。
但是观察8088 job的信息,是因为显示无法获取所需的资源,如内存和cpu,
我的虚拟机配置比较低,nn 2g,dn 1g .
找到了问题所在,直接删除了配置中相关的信息。
问题解决。
Looking for a job working at Home about MSBI