hadoop集群安装故障解决
nodemanager进程解决:http://blog.csdn.net/baiyangfu_love/article/details/13504849
编译安装:http://blog.csdn.net/ilovemilk/article/details/44465487
hadoop默认不提供64位的版本,需要自己编译安装
故障:http://blog.csdn.net/u014595668/article/details/52040810
hadoop2.6.2 native架包:http://download.csdn.net/download/kuangkunkui/9298421
hadoop例子:http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples111jar.htm
故障解决:http://wenku.baidu.com/link?url=FeTHNO9ZnIJulDHbJMz7WyoI4RV4Amw6Lfy21xMWtLhlB-21WDolwKlAp2IMDmiJQEwqz4ji2Y8ScKx9sdWbLhInkcfXDGwuWMCi0bxC97C
命令: bin/hadoop jar hadoop-examples-*.jar wordcount /yangqing hdfsOutput
接触警告:
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
如何让你的作业在Hadoop集群中真正实现分布式运行
http://www.cnblogs.com/beanmoon/archive/2013/05/09/3068729.html
启动报错解决:
http://shisiyou.blog.51cto.com/9864147/1608060
启动报错解决:
http://www.chinahadoop.cn/classroom/5/thread/43
warning解决产生这个warning的原因是apache hadoop2.7需要使用2.1.4的glibc而我们云主机操作系统的lib是2.1.2:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
1.
# ll /lib64/libc.so.6 //查看当前系统glibc版本
$ export HADOOP_ROOT_LOGGER=DEBUG,console
hadoop fs -ls /
此事会输出debug信息,看到warning找出hadoop需要的glibc版本
2.下载对应版本的glibc安装
下载地址,找到对应版本的glibc
http://ftp.gnu.org/gnu/glibc/
[root@node1 ~]# export CFLAGS="-g -O2"
[root@node1 ~]# ./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
[root@node1 ~]# make
[root@node1 ~]# make install
此事再尝试hadoop命令,一句没有报错了
[hadoop@node1 hadoop-2.7.0]$ bin/hadoop fs -ls /
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2015-05-21 09:12 /home
直接说步骤和流程: 1、到http://www.gnu.org/software/libc/下载最新版本,我这里下载了glibc-2.14.tar.gz 这个版本,解压到任意目录准备编译(/usr/local) 2、>:cd /usr/local 解压 >:tar -xzvf glibc-2.14.tar.gz 3、需要安装编译工具 gcc >:yum install gcc 4、到解压目录 >:cd /usr/local/glibc-2.14 5、按顺序执行下面的命令 >:mkdir build >:cd build >:../configure --prefix=/opt/glibc-2.14 >:make -j4 >:sudo make install 5、安装完了,还是不行。别急,还需要下面两个命令: >:cp -r /etc/ld.so.c* /opt/glibc-2.14/etc/ >:ln -sf /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6 这样就算完了。参考链接: http://www.cnblogs.com/gw811/p/3676856.html http://bbs.csdn.net/topics/340033648 http://ask.csdn.net/questions/185515 http://blog.chinaunix.net/uid-1840233-id-3147304.html 附:由于spserver 还无法install(install后有其他路径依赖问题),只能用spserver &来启动。但是,在xshell启动后,关闭xshell它会自动关闭, 找到的解决方案是使用nohup执行程序: >:nohup /root/start.sh & 但是有时候在这一步会有问题,当把终端关闭后,进程会自动被关闭,察看nohup.out可以看到在关闭终端瞬间服务自动关闭。 有个操作终端时的细节:当shell中提示了nohup成功后还需要按终端上键盘任意键退回到shell输入命令窗口,然后通过在shell中输入exit来退出终端 nohup-真正的Shell后台运行