CentOs6.8 hadoop集群搭建过程中的问题

1.Error: Java heap space

网上有很多说是java虚拟机内存不够的,我也试着修改内存大小,但是没起作用,后来发现是文件在传输过程中失真。文件在上传到HDFS后变成乱码,重新上传文件后解决。同样的问题有很多解法,主要还是要细心。


2.MapReduce的任务一直卡在running job

Yarn-site.xml配置错误


3.搭建hive的过程中使用mysql作为元数据库,出现了这个问题,检查发现是配置文件写错了。

4.vmware安装无法打开内核设备 \\.\Global\vmx86: 系统找不到指定的文件
解决方案:
    我的电脑--管理--服务--找到VMware开头的服务都打开。

5.  mysql安装过程中的pid问题

解决方法:1.进入root用户,执行 vim  /etc/selinux/config ,将SELINUX=enforcing改成SELINUX=disabled。重启虚拟机。

                   2.Ps –ef | grep mysql 找到正在运行的进程,杀掉,重新启动mysql服务。

                   3.修改/etc/my.ini文件,把里面的有关utf-8的配置项删掉,再执行2步骤。

                   4.删除/etc/my.ini ,这个我也不知道为什么,没有配置文件反而启动成功。

6.设置动态IP后在开启虚拟机后要检查一下ip是否有变化,ip变化后要改/etc/hosts/文件,在CentOs7中hosts文件改为hostname,在/etc/hostname 中

7.格式化要注意的问题:格式化要删除数据文件hadoopdata,两个节点的hadoopdata都要删除,然后再创建hadoopdata目录,再进行格式化,hadoopdata是分布式中自己配置的路径,如果配置的是伪分布式,默认报错在/tmp下,删除/tmp下所有的文件即可。

8.网络连接不通可以查看下虚拟网络编辑器,建议在打开VMware的时候以管理员身份运行。


posted @ 2017-09-23 07:19  Beeman_xia  阅读(100)  评论(0编辑  收藏  举报