hadoop配置遇到问题的解决
1. ssh localhost: 不能登陆：将错误提示中的文件全部删除。原因：登陆过远程主机
2. 问题： 伪分布式datanode启动不了：在datanode的log日志文件出现以下错误提示：
ERROR org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Error getting localhost name. Using 'localhost'...java.net.UnknownHostException: localhost: slave01: Name or service not known
其中 在hdfs-site.xm中的配置是dfs.name.dir是/usr/local/hadoop/hdfs/name. dfs.data.dir是/usr/local/hadoop/hdfs/data
理解知识：
对于第一次使用HDFS，在启动NameNode时，需要先执行-format命令，然后才能正常启动NameNode节点的服务。
在NameNode节点上，有两个最重要的路径，分别被用来存储元数据信息和操作日志，而这两个路径来自于配置文件，它们对应的属性分别是dfs.name.dir和dfs.name.edits.dir，同时，它们默认的路径均是/tmp/hadoop/dfs/name
解决方法：伪分布式下datanode无法启动问题 修改id http://blog.sina.com.cn/s/blog_76fbd24d01017qmc.html
3.无法解析主机kang-01，无法进行一些hadoop下的操作：在root权限下，vim hosts,增加192.168.1.103(本机地址) kang-01
4. 主要配置文件：hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml slaves masters
5. 通过查看日志文件，来了解问题所在。
Problem 1: 程序 'java' 已包含在下列软件包中：
* default-jre
* gcj-4.6-jre-headless
* gcj-4.7-jre-headless
* openjdk-7-jre-headless
* openjdk-6-jre-headless
请尝试：sudo apt-get install <选定的软件包>
解决方法：(手动设置系统默认JDK)
在终端中依次输入命令：
sudo update-alternatives --install /usr/bin/java java /home/landen/UntarFile/jdk1.7.0_17/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /home/landen/UntarFile/jdk1.7.0_17/bin/javac 300
sudo update-alternatives --config java
接下来输入java -version就可以看到所安装JDK的版本信息了。
Problem 2:程序 'jps' 已包含在下列软件包中：
* openjdk-6-jdk
* openjdk-7-jdk
Try: sudo apt-get install <selected package>
It is actually not a Hadoop problem. Hadoop does not use JPS.This problem is caused since you have installed JDK from Oracle (may be).
You can fix this problem by using update-alternatives program to link jps to standard path directory. Use this command to fix this in a terminal
Solution: sudo update-alternatives --install /usr/bin/jps jps /home/landen/UntarFile/jdk1.7.0_17/bin/jps 1
Use the actual jps program path in the appropriate jdk (your version of jdk) instead of jdk1.7 which is specific to me.
5.hadoop伪分布式下Datanode无法启动起来
在hadoop目录下的logs里面查看datanode 的日志文件，错误提示显示hdfs.data.dir的权限应该是rwxr-xr-x，而实际上是rwxrwxr-x
解决办法：先确定hdfs-site.xml里面的配置无误，然后修改hdfs.data.dir的权限
查看目录的相关权限可以采用命令ls -lD，或者直接用ls -la
权限列表
-rw------- (600) 只有所有者才有读和写的权限
-rw-r--r-- (644) 只有所有者才有读和写的权限，组群和其他人只有读的权限
-rwx------ (700) 只有所有者才有读，写，执行的权限
-rwxr-xr-x (755) 只有所有者才有读，写，执行的权限，组群和其他人只有读和执行的权限
-rwx--x--x (711) 只有所有者才有读，写，执行的权限，组群和其他人只有执行的权限
-rw-rw-rw- (666) 每个人都有读写的权限
-rwxrwxrwx (777) 每个人都有读写和执行的权限
修改权限：
修改权限命令
chmod 777 文件名
1.chmod 577 /home/stuser -R
2.umask -p 0200
3.chown XXXX YYYY (XXXX 为用户名 YYYY为文件名）
6.在虚拟机里的eclipse跑hadoop wordcount示例程序出现java heap space的错误
原因：
当rs数据量大（大概800条记录以上）的时候出现javax.servlet.ServletException: Java heap space错误7.Eclipse并安装Subclipse1.6x插件后,使用svn过程中报如下错误:在JVM中如果98%的时间是用于GC且可用的 Heap size 不足2%的时候将抛出此异常信息。 JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置。 例如：java -jar -Xmn16m -Xms64m -Xmx128m MyApp.jar 解决办法： 如果Heap Size设置偏小，除了这些异常信息外，还会发现程序的响应速度变慢了。GC占用了更多的时间，而应用分配到的执行时间较少。 Heap Size 最大不要超过可用物理内存的80%，一般的要将-Xms和-Xmx选项设置为相同，而-Xmn为1/4的-Xmx值。 Heap size的 -Xms -Xmn 设置不要超出物理内存的大小。否则会提示“Error occurred during initialization of VM Could not reserve enough space for object heap”。 这个问题的根源是jvm虚拟机的默认Heap大小是64M,可以通过设置其最大和最小值来实现.设置的方法主要是几个. 1.可以在windows 更改系统环境变量加上JAVA_OPTS=-Xms64m -Xmx512m 2,如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上: set JAVA_OPTS=-Xms64m -Xmx256m 位置在: rem Guess CATALINA_HOME if not defined 这行的下面加合适. 3.如果是linux系统 Linux 在{tomcat_home}/bin/catalina.sh的前面，加 set JAVA_OPTS='-Xms64 -Xmx512'7.
Failed to load JavaHL Library.
These are the errors that were encountered:
no libsvnjavahl-1 in java.library.path
no svnjavahl-1 in java.library.path
/opt/local/lib/libsvnjavahl-1.0.0.0.dylib: no suitable image found. Did find: /opt/local/lib/libsvnjavahl-1.0.0.0.dylib: mach-o, but wrong architecture
原来是缺少一些关联文件,去subclipse的Wiki看了看,说需要安装libsvn-java,在Ubuntu 下安装很简单,命令如下:
sudo apt-get install libsvn-java
安装完后,这文件在/usr/lib//i386-linux-gnu/jni目录下(确认一下),这个目录并不是eclipse的java.library.path路径之一,所以还需要修改eclipse.ini来告诉eclipse去哪找这个libsvn-java相关的文件.
打开eclipse.ini,在最后行加入如下内容(注意换行)
-Djava.library.path=/usr/lib/jni 但是实际上我发现在eclipse的选项中将SVN改成另外的一个库就可以了。。 8.git clone git://git.apache.org/hadoop-common.gitNow I get a failure on:
mvn install -DskipTests [INFO] Apache Hadoop Main ................................ SUCCESS [6.688s] [INFO] Apache Hadoop Project POM ......................... FAILURE [1.548s] ... [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (create-testdirs) on project hadoop-project: Error executing ant tasks: /usr/local/hadoop/hadoop-common/hadoop-project/target/antrun/build-main.xml (No such file or directory) -> [Help 1]The reason being I don't have a "target" folder in
.../hadoop-project. My /hadoop-project folder contains only a "src" folder and that's it.So it appears that folder was not established. Any ideas? Here is the environment:
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (create-testdirs) on project hadoop-project: Error executing ant tasks: /home/sreejith/svn/hadoop-trunk/hadoop-project/target/antrun/build-main.xml (No such file or directory) -> [Help 1]
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (create-testdirs) on project hadoop-project: Error executing ant tasks: /home/sreejith/svn/hadoop-trunk/hadoop-project/target/antrun/build-main.xml (No such file or directory)
at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:217)
at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:153)
at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:145)
at org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(LifecycleModuleBuilder.java:84)
at org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(Li解决办法：Found a solution. Do a sudo chown -R username parent-directory if you haven't already. Now try,mvn install -DskipTests. Everything should go fine and you should getBUILD SUCCESS.
原来 sudo chown -R hadoop:hadoop /usr/local/hadoop 真的很重要，不设置会出现很多莫名的问题
(确保所有的操作都在用户hadoop下完成的)
8.[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is 'libprotoc 2.4.1', expected version is '2.5.0' -> [Help 1]
sudo apt-get remove libprotoc7 （一部分再tab）
再安装相应版本
