CentOs6.8 hadoop集群搭建过程中的问题
网上有很多说是java虚拟机内存不够的,我也试着修改内存大小,但是没起作用,后来发现是文件在传输过程中失真。文件在上传到HDFS后变成乱码,重新上传文件后解决。同样的问题有很多解法,主要还是要细心。
2.MapReduce的任务一直卡在running job
Yarn-site.xml配置错误
3.搭建hive的过程中使用mysql作为元数据库,出现了这个问题,检查发现是配置文件写错了。
4.vmware安装无法打开内核设备 \\.\Global\vmx86: 系统找不到指定的文件
解决方案:
我的电脑--管理--服务--找到VMware开头的服务都打开。
5. mysql安装过程中的pid问题
解决方法:1.进入root用户,执行 vim /etc/selinux/config ,将SELINUX=enforcing改成SELINUX=disabled。重启虚拟机。
2.Ps –ef | grep mysql 找到正在运行的进程,杀掉,重新启动mysql服务。
3.修改/etc/my.ini文件,把里面的有关utf-8的配置项删掉,再执行2步骤。
4.删除/etc/my.ini ,这个我也不知道为什么,没有配置文件反而启动成功。
6.设置动态IP后在开启虚拟机后要检查一下ip是否有变化,ip变化后要改/etc/hosts/文件,在CentOs7中hosts文件改为hostname,在/etc/hostname 中
7.格式化要注意的问题:格式化要删除数据文件hadoopdata,两个节点的hadoopdata都要删除,然后再创建hadoopdata目录,再进行格式化,hadoopdata是分布式中自己配置的路径,如果配置的是伪分布式,默认报错在/tmp下,删除/tmp下所有的文件即可。
8.网络连接不通可以查看下虚拟网络编辑器,建议在打开VMware的时候以管理员身份运行。