CentOS7虚拟机配置、Hadoop搭建、wordCount DEMO运行

安装虚拟机

　　最开始先安装虚拟机，我是12.5.7版本，如果要跟着我做的话，版本最好和我一致，不然后面可能会出一些莫名其妙的错误，下载链接如下（注册码也在里面了）：

　　链接：https://pan.baidu.com/s/1qoqeKcgMsjFKPFQFBFP6lg 
　　提取码：2aog 

　　安装虚拟机直接下一步、下一步就好了，没什么可说的，安装好后，虚拟机询问是否更新，点不更新，更新了就改版本了。

配置虚拟机操作系统

　　接下来开始配置虚拟机系统。首先下载CentOS7的镜像，下载链接如下：

　　链接：https://pan.baidu.com/s/17Guf4e0LKH2KfOgBlgBnNA 
　　提取码：skvu

　　然后打开虚拟机：文件——新建虚拟机，打开新建虚拟机向导（然后配置如下）：

　　虚拟机向导完毕后，在左边出现一个虚拟机选项：右键设置——CD/DVD(IDE)——使用ISO映像文件——浏览，选择前面下载好的CentOS7镜像——确定：

　　点击开启此虚拟机：

　　进入操作系统安装界面，选择Install CentOS 7，回车：

　　待会还有一个回车要按，也可以等待一会它自动确认，然后会启动安装程序：

　　然后再点+号，添加另一个分区：

　　虚拟机系统安装完毕！重启后打开系统：

　　输入root用户名，回车，密码（就是你刚刚创建的密码），回车：

　　用root用户进入操作系统界面（root用户是权限最高的用户，所以执行一些指令都不需要sudo）：

配置虚拟机静态NAT网络

　　接下来配置虚拟机的网络。首先右键你的CentOS虚拟机——设置——网络适配器，右边网络连接选项卡中选择：NAT模式或自定义中的VMnet8，将操作系统网络设置为网络地址转换（NAT）模式，这两种选择的效果是一样的，都是通过VMnet8与物理主机互连，然后点击确定（我这里选择NAT模式选项）。

　　设置好后，在虚拟机界面：编辑——虚拟网络编辑器，点击右下角的更改设置，修改NAT模式的子网等配置。操作如下两张图图：

　　然后在主机windows界面：网络——属性——更改适配器设置，看到里面有个VMware Network Adapter VMnet8，是虚拟器自动生成的，右键它——属性——网络选项卡——点中Internet协议版本4（TCP/IPv4）——属性，修改如下图：

　　外部配置好了，现在开始配置虚拟机内CentOS的静态网络。打开虚拟机进入CentOS的命令界面，登录Root用户，输入ip addr查看网卡名称：

　　接着输入vi /etc/sysconfig/network-scripts/ifcfg-ens33（ens33是网卡名称，如果你的不是ens33，就改成你的网卡名称）（vi是使用一个编辑器的命令，vi 后面加一些文本类文件可以打开它进行编辑），进入网络配置文件修改配置，按键盘Insert键进入编辑模式 ，修改如下图：

　　修改好后按ESC，从编辑模式进入命令模式，输入:wq（w代表write，q代表quit，如输入:q不保存直接退出）再按回车回到命令界面，不要忘记冒号“:”，如果冒号没打，按w会进入recording模式记录你的键盘操作，按q退出这个模式，再重新打:wq就行。然后在命令界面输入service network restart，重新启动网络服务：

　　再接着输入网址，如ping www.baidu.com,就能联网了：

　　按键盘Ctrl+C退出联网，回到命令行：

　　还可以再试一试ping你刚刚填的VMnet8的IP地址，如我这里ping 192.168.157.2

　　在Windows主机打开CMD也可以ping 虚拟机的IP试试，我这里ping 192.168.157.10

　　可以看到三个ping都成功了，说明1、虚拟机能连接外网。2、虚拟机能和物理主机互连。3、物理主机能和虚拟机互连。这样，一个CentOS的静态NAT网络就算配置完成了。

　　ifconfig命令和ip addr命令差不多，也可以查看ip等信息，然而操作系统没有这个命令，因为新安装的Minimal系统中并没有装这个命令，可以用yum install net-tools.x86_64命令从网上下载安装。

　　讲一个坑，害我找了半天的原因。虚拟机系统有时候会出错，关闭不了，甚至直接用任务管理器关闭都不行，再次打开虚拟机那个系统还是被占用不能打开。如果系统里没有保存什么重要的文件，或者有备份的话，就直接把那个系统移除了并在物理主机把它的文件删了一劳永逸。而原来我在网上找了一个方法，说在外部windows的运行中输入msconfig，打开启动项，直接把VMware的服务全都停止了，然后系统会变好，其实并没有用。这些服务中包含了VMware NAT service，一旦停了，虚拟机就不能通过NAT联外部网络了（不能ping www.baidu.com连接外部网络，但是还能ping局域网IP如192.168.157.2），导致我后来浪费好几个小时在这上面。

CentOS主机名修改

　　接下来进行CentOS的主机名修改。这里面有三个“主机名”容易弄混淆：hosts文件保存的主机名、hostname文件保存的主机名、network文件保存的主机名。这三者解释如下：

　　1、hosts保存的是IP地址和域名的对应，比如局域网里有个主机域名叫node1，它的ip是192.168.3.3，那你保存这个对应进去以后，ping node1就等于ping 192.168.3.3。

　　2、network里面保存的就主机域名，现在暂时看不出啥用，因为hosts里面的域名不都是自己写的吗，和别的主机取域名叫啥好像没啥关系，但是为了便于辨认，就要修改。

　　3、hostname保存的是你这个操作系统的名称，自己看的名称而已，与网络没什么关系，为了辨认最好修改成和network里面的域名一样。

　　这三个文件分别这样修改（下面的vim命令是vi的升级版，没有这个命令就yum -y install vim安装一下）：

　　network文件：

　　hosts文件：

　　hostname文件：

　　改好名以后关闭防火墙并取消开机启动，命令如下：

systemctl stop firewalld
systemctl disable firewalld

　　复制命令可能会出错，最好自己手打。然后reboot重启机器，进入root用户，再输入hostname，就可以看到主机名是master：

CentOS安装JDK

　　系统配置完毕，现在给系统安装JDK（Java SE Development Kit）。因为是最简的系统，所以不能用图形界面，我们可以使用物理windows主机下载好jdk传给虚拟机来安装。传输文件需要用到XShell和XFtp这两个软件，以下是下载链接：

　　链接：https://pan.baidu.com/s/1dsLbd5pDZcSXqy1K5M_0qQ 
　　提取码：y80z

　　XFtp是直接用的，无需安装，但是在用之前要先双击一下里面的绿化（重要，别忘了），把XFtp破解一下，它会把注册表信息写进去，这样在XShell里面要用XFtp的时候才会自动打开XFtp。XShell需要安装，直接下一步下一步就好了。安装好后打开Xshell：文件——新建，填入虚拟机系统的IP点击确定就可以实现和虚拟机系统的连接（当然虚拟机系统要打开进入root用户）。

　　双击新建会话：

　　root用户，然后输入操作系统的密码，确定，连接完毕！界面和虚拟机里面的命令行一模一样，但是可以复制和粘贴代码哦~

　　连接好了以后，就可以点击上方的绿色按钮，Xshell会打开电脑中安装好的XFtp，让XFtp和虚拟机的操作系统连接，并且可以传输文件。（Xshell和XFtp是同一家公司出的，所以可以相互调用，但是我很奇怪都是连接操作系统，为什么不把功能集中到一个软件）

　　然后使用mkdir命令在/usr/local/里面创建一个java文件夹，其实也可以直接用XFtp进行创建，特别方便，就和图形界面一样：

　　把下载好的JDK压缩包拖进Java文件夹。我的使用的JDK包：

　　链接：https://pan.baidu.com/s/1jxsH25gdGTw1AK_yD24C8w 
　　提取码：wifb

　　然后在命令行中（虚拟机命令行或Xshell里都行）cd /usr/local/java进入java文件夹，tar -xvf jdk-8u231-linux-x64.tar.gz解压JDK，-xvf后面的名称对应的是你下载的JDK压缩包名称，如果使用的是我的JDK包，那就一样，别复制错了（后面版本问题我都不再提醒了，包括hadoop、mysql、mysql-connector-java等等，其中mysql和mysql-connector-java版本是有对应的，这是大坑，如果你的两个版本不对应的话，后面出错原因会很难找到，所以这些版本什么都和我一致最好，链接都提供了呢，这么良心的博主哪里找）。解压好后，可以用命令

rm -rf  jdk-8u221-linux-x64.tar.gz

　　删除原来的压缩包（强迫症，你不删除也行），当然在XFtp中也能右键删除。然后配置环境，vim /etc/profile编辑文件，在最后一行加上：

　　加上后按ESC，输入:wq再回车，退出编辑，在命令行里输入source /etc/profile，编译刚刚改过的文件，就完成JDK的配置了。然后可以用 java -version 和javac -version 命令测试JDK是否成功安装：

配置安装hadoop

　　JDK装好了，现在正式开始装hadoop。先下载hadoop镜像：

　　链接：https://pan.baidu.com/s/17h4kxK9RoqjNE0mIHpsReQ 
　　提取码：nujr

　　在local下面创建hadoop文件夹，把镜像拖进去，tar -zxvf hadoop，tab键，自动出现剩余的压缩包名称，解压tar包，然后删除压缩包。

　　vim /etc/profile修改环境变量：

HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.5
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

　　:wq保存并退出编辑，source /etc/profile，编译刚刚的配置，然后在命令行输入hado，按Tab键，如果自动补全为hadoop，说明配置好了。然后在hadoop下创建四个文件夹，分别是tmp、hdfs、name和data，其中name在hdfs下，命令如下：

mkdir /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data

　　接下来进入hadoop文件 /etc/hadoop 目录：

cd /usr/local/hadoop/hadoop-2.8.5/etc/hadoop

　　里面存放的是hadoop的配置文件，要修改一些配置，分别是hadoop-env.sh、yarn-env.sh、core-site.xml 、hdfs-site.xml，修改如下（我直接通过XFtp修改了，你也可以用命令行修改）：

export JAVA_HOME=/usr/local/java/jdk1.8.0_231/

<!-- 插入core-site.xml的代码 -->
    <property>
        <name> fs.default.name </name>
        <value>hdfs://master:9000</value>
        <description>指定HDFS的默认名称</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        <description>HDFS的URI</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>节点上本地的hadoop临时文件夹</description>
    </property>

<!-- 插入hdfs-site.xml的代码 -->
    <property>
        <name> fs.default.name </name>
        <value>hdfs://master:9000</value>
        <description>指定HDFS的默认名称</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        <description>HDFS的URI</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>节点上本地的hadoop临时文件夹</description>
    </property>

　　改好文件后，还是在/usr/local/hadoop/hadoop-2.8.5/etc/hadoop目录，输入cp mapred-site.xml.template mapred-site.xml，将mapred-site.xml.template文件复制到当前目录，并重命名为mapred-site.xml。然后继续修改mapred-site.xml文件：

<!-- 插入mapred-site.xml的代码 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>指定mapreduce使用yarn框架</description>
    </property>

　　接着修改yarn-site.xml 文件：

<!-- 插入yarn-site.xml的代码 -->
    <property>    
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
        <description>指定resourcemanager所在的hostname</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>
            NodeManager上运行的附属服务。
            需配置成mapreduce_shuffle，才可运行MapReduce程序
        </description>
    </property>

　　最后修改slaves文件：

　　现在一台主机弄好了，下面添加其他的节点虚拟机系统。在虚拟机软件中，右键虚拟主机，管理——克隆，打开克隆虚拟机向导：

　　克隆好node1后，右键node1虚拟机，设置——网络适配器

　　点击确定，回到虚拟机主界面，打开node1，因为是克隆master，所以用户名密码都是一样的，命令行的记录都还在。现在要修改三个文件：ifcfg-ens33、network、hostname，命令忘了就按键盘的上往前翻，改完ESC，:wq保存并退出：

　　改完输入reboot，重启一下，可以看到机器名变node1了，能ping百度还有外部主机（192.168.157.2）了，你如果把master打开也能ping的通：

　　node1克隆、配置好后，同样的克隆、配置node2：物理地址重新生成一下，把ifcfg-ens33、hostname、network对应的地方改一下，重启一下，OK！

　　最后配置ssh，打开master、node1、node2，登录root用户。操作如下：

　　1、在master机器上输入 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 创建一个无密码的公钥。

　　2、在master机器上输入 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将公钥id_dsa.pub添加进keys，这样就可以实现无密登陆ssh。

　　3、在master机器上输入 ssh master 测试免密码登陆。

　　4、出现询问，输入yes，回车继续。

　　截图如下：

　　5、在node1主机上执行 mkdir ~/.ssh，在node2主机上执行 mkdir ~/.ssh（）。

　　6、在master机器上输入 scp ~/.ssh/authorized_keys root@node1:~/.ssh/authorized_keys 将主节点的公钥信息导入node1节点，导入时要输入一下node1机器的登陆密码。

　　7、在master机器上输入 scp ~/.ssh/authorized_keys root@node2:~/.ssh/authorized_keys 将主节点的公钥信息导入node2节点，导入时要输入一下node2机器的登陆密码。

　　67两步截图如下：

　　8、在三台机器上分别执行 chmod 600 ~/.ssh/authorized_keys 赋予密钥文件权限。

　　9、在master节点上分别输入 ssh node1 和 ssh node2 测试是否配置ssh成功：

　　10、在master机器上，任意目录输入 hdfs namenode -format 格式化namenode，第一次使用需格式化一次，之后就不用再格式化。（但如果改了一些配置文件，可能还需要再次格式化）：

　　到这里，hadoop终于完全搭建好了！在master机器上，进入hadoop的sbin目录，输入 ./start-all.sh ，就可以启动hadoop：

　　输入 jps 查看当前java的进程，该命令是JDK1.5开始有的，作用是列出当前java进程的PID和Java主类名，nameNode节点除了JPS，还有3个进程，启动成功！如图：

　　node1、node2输入jps查看进程如下：

　　在浏览器访问192.168.157.10的8088端口和50070端口可以查看hadoop的运行状况（如果打不开，有可能是master虚拟机的防火墙没有关闭，检查一下）。

　　8088端口：

　　50070端口：

WordCount运行

　　配置好hadoop后，现在可以运行数据库世界的"Hello world！"程序了，WordCount就是数据库的"Hello world！"，WordCount是用来统计一个文本每个词汇的出现数量的程序。hadoop文件里面自带有WordCount作为hadoop的demo，我们直接运行它。首先进入hadoop文件夹：cd /usr/local/hadoop/hadoop-2.8.5，里面有个LISENCE.txt，写有有很多英语单词，这里就统计它的词汇。

　　先用命令cat LISENCE.txt查看一下：

　　用hadoop fs -mkdir /input命令在hadoop库中创建input目录，然后hadoop fs -ls /查看一下：

　　用hadoop fs -put LICENSE.txt /input把LISENCE.txt放到input目录下，hadoop fs -ls /input查看：

　　接下来用命令（不同版本可能程序位置不同，注意修改命令中的位置）

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /input /output

　　对input中的txt进行统计：

　　使用命令hadoop fs -ls /看出，HDFS系统下多了个/output 和/tmp目录。打开/output目录可以看到下面有两个文件（_SUCCESS和part-r-00000），说明已经运行成功了：

　　命令hadoop fs -cat /output/part-r-00000，打开part-r-00000查看结果：

参考链接

　　CentOS7搭建：https://www.osyunwei.com/archives/7829.html

　　WordCount运行：https://blog.csdn.net/u010285974/article/details/81636719