centos7搭建hadoop环境（伪集群）（血泪之篇）
在centos7下搭建hadoop环境
确保在hosts文件中已配置红框中文字，bogon是我的系统用户名，跟在@后面的
1.首先安装好jdk，我是直接yum安装的，此处划重点！！一定要安装devel版本！！！！你可以看到它有这么多坑爹的东西==
yum -y install java-1.8.0-openjdk-devel.x86_64
安装好之后有下面这些东西
然后配置环境变量，yum安装的jdk路径基本是/usr/lib/jvm下面，具体版本可酌情修改
vi /etc/profile
在里面加入下面文字
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH
使配置生效
source /etc/profile
然后验证一下,这两个命令出来是同样东西就说明jdk安装配置完成啦~~~~^^
java -version $JAVA_HOME/bin/java -version
2.用root用户创建一个hadoop用户，
useradd hadoop
3.上官网下载hadoop包，hadoop-2.8.3.tar.gz，我下载的是这个，这个要配套jdk1.8
用secureCRT登录系统，hadoop用户，用这个软件的sftp功能将hadoop-2.8.3.tar.gz put到/home/hadoop下
解压
tar -zxf hadoop-2.8.3.tar.gz
此处可查看hadoop版本了，在/home/hadoop/hadoop-2.8.3 下运行下面指令
./bin/hadoop version
然后配置 环境变量，这是个用户级别的环境变量，/etc/profile是全用户的，这个环境变量在每次进入这个用户时都会被加载一次
vim ~/.bashrc
加入以下代码，注意，HADOOP_HOME可酌情更改为自己的路径
export JAVA_HOME=$JAVA_HOME export HADOOP_HOME=/home/hadoop/hadoop-2.8.3 export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使配置生效
source ~/.bashrc
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/tmp/dfs/data</value>
</property>
</configuration>
执行 NameNode 的格式化:
./bin/hdfs namenode -format
开启 NaneNode 和 DataNode 守护进程：
./sbin/start-dfs.sh
启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode
也可以通过http://localhost:50070来查看
注意！！！！
很多人按照网上的各类教程搭建hadoop，但经常在安装好了后，启动hadoop时出现各类的错误，本文就“Error:JAVA_HOME is not set and could not be found ”这一错误提出解决办法。
针对这个错误，其实是hadoop里面hadoop-env.sh文件里面的java路径设置不对，hadoop-env.sh在hadoop-2.8.3/etc/hadoop目录下，具体的修改办法如下：
sudo vim hadoop/etc/hadoop/hdoop-env.sh
将语句 export JAVA_HOME=$JAVA_HOME
修改为 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64
保存后退出。
再次输入start-dfs.sh启动hadoop，则没有报错。
好了环境搭建完成，
接下来
不知道序号多少. 运行Hadoop伪分布式实例
伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录(不是本地目录，不用ls去看了哈)，本人尝试换后面的目录，发现后面创建input时出错，所以就使用/user/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop
在上面的用户目录下创建input，因为我使用的是hadoop用户登录系统，所以这里的input默认创建在/user/hadoop下，然后把./etc/hadoop/下的xml文件复制到input里。
./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put ./etc/hadoop/*.xml input
复制完成后，可以通过如下命令查看 HDFS 中的文件列表：
./bin/hdfs dfs -ls input
运行 MapReduce 作业
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
查看运行结果的命令
./bin/hdfs dfs -cat output/*
将运行结果取回到本地
./bin/hdfs dfs -get output ./output
关闭hadoop
./sbin/stop-dfs.sh
完成！！！！
此处感谢网上找到的一个教程：http://www.powerxing.com/install-hadoop-in-centos/
另外，还有一个坑爹的，用vi或者vim命令修改文件之后，如果用了:X（大写的X），之后会让你输两次密码，这是要加密文件的意思！！！！！！
加密之后文件就显示乱码了，连带我的secureCRT也显示乱码了TT
不要慌，直接用vi再次打开文件（这里输入的也显示乱码，但是是可以打开的），会让你输入密码，输入刚才加密时的密码，就可以打开了，然后直接打:set key =
然后回车，然后:wq保存，就行了。退出secureCRT，重新登录，又是美好的界面~~~~~~~
