指导手册02：伪分布式安装Hadoop(ubuntuLinux)
指导手册02：伪分布式安装Hadoop(ubuntuLinux)
Part 1:安装及配置虚拟机
1.安装Linux.
1.安装Ubuntu1604 64位系统
2.设置语言，能输入中文
3.创建hadoop账户
sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
//输入2遍密码
sudo adduser hadoop sudo #设置hadoop用户的管理员权限
5.更新apt
设置更新和服务中，更新站点选中国阿里云，执行“sudo apt-get update”，更新成功（系统设置里-）软件更新）。
sudo apt-get update
6.安装vim编辑器
sudo apt-get install vim
2．安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：
sudo apt-get install openssh-server
安装后，可以使用如下命令登陆本机：
ssh localhost
此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了。
Part 2: 配置Hadoop环境
重要知识的提示：
1. Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件
2. Hadoop 的配置文件位于 hadoop/etc/hadoop/ 中，伪分布式需要修改5个配置文件hadoop-env.sh、 core-site.xml 、 hdfs-site.xml 、mapred-site.xml和yarn-site.xml
3. Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现
实验步骤：
1. 修改配置文件：hadoop-env.sh、core-site.xml，hdfs-site.xml，mapred-site.xml、yarn-site.xml
2. 初始化文件系统hadoop namenode -format
4. 启动所有进程start-all.sh或者start-dfs.sh、start-yarn.sh
5. 访问web界面，查看Hadoop信息
6. 运行实例
7. 停止所有实例：stop-all.sh
1：下载Hadoop安装包并解压
1.下载地址：http://hadoop.apache.org/releases.html
可以自己选择版本，最新版是hadoop-3.1.1.tar.gz
2.解压安装包
先新建文件夹bigdata，解压到该目录下。sudo mkdir /bigdata
解压Hadoop安装包
sudo tar -zxvf hadoop-3.1.1.tar.gz -C /bigdata/
在Hadoop安装包目录下有几个比较重要的目录
sbin : 启动或停止Hadoop相关服务的脚本
bin ：对Hadoop相关服务（HDFS,YARN）进行操作的脚本
etc : Hadoop的配置文件目录
share ：Hadoop的依赖jar包和文档，文档可以被删掉
lib ：Hadoop的本地库（对数据进行压缩解压缩功能的）
检查是否可用：
hadoop version
3.修改文件夹权限：
2：配置Hadoop环境
1.配置Hadoop（伪分布式），修改其中的5个配置文件即可
1) 进入到Hadoop的etc目录下
cd /bigdata/hadoop-3.1.1/etc/hadoop
ls
可以看到需该目录下的几个本置文件
2) 修改第1个配置文
sudo vi hadoop-env.sh
export JAVA_HOME=/opt/java/jdk1.8.0_181
找到第54行，修改JAVA_HOM如下：
3) 修改第2个配置文件
sudo vi core-site.xml
|
<configuration> <!-- 配置hdfs的namenode（老大）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>
<!-- 配置Hadoop运行时产生数据的存储目录，不是临时的数据 --> <property> <name>hadoop.tmp.dir</name> <value>file:/bigdata/hadoop-3.1.1/tmp</value> </property> </configuration> |
4) 修改第3个配置文件
sudo vi hdfs-site.xml
|
<configuration> <!-- 指定HDFS存储数据的副本数据量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.http-address</name> <value>localhost:50070</value> </property>
<property> <name>dfs.namenode.name.dir</name> <value>file:/bigdata/hadoop-3.1.1/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/bigdata/hadoop-3.1.1/tmp/dfs/data</value> </property>
</configuration>
此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。 |
5) 修改第4个配置文件：
sudo vi mapred-site.xml
|
<configuration> <!-- 指定mapreduce编程模型运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
|
6) 修改第5个配置文件
sudo vi yarn-site.xml
|
<configuration> <!-- 指定yarn的老大（ResourceManager的地址） --> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property>
<!-- mapreduce执行shuffle时获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
|
7) 对hdfs进行初始化（格式化HDFS）
cd /bigdata/hadoop-3.1.1/bin/
sudo ./hdfs namenode -format
8) 如果提示如下信息，证明格式化成功：
3：启动并测试Hadoop
1) cd /bigdata/hadoop-3.1.1/sbin/
sbin/start-dfs.sh或者./start-dfs.sh
sbin/start-yarn.sh或者./start-yarn.sh
如果报以上错误，请修改下面4个文件如下：
在/hadoop/sbin路径下：
将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下参数：
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
修改后重启 ./start-dfs.sh，成功！
2) 使用jps命令检查进程是否存在,总共5个进程（jps除外），每次重启，进程ID号都会不一样。如果要关闭可以使用 stop-all.sh命令。
4327 DataNode
4920 NodeManager
4218 NameNode
4474 SecondaryNameNode
4651 ResourceManager
5053 Jps
3) 访问hdfs的管理界面
localhost:50070
4) 访问yarn的管理界面
localhost:8088
5) 如果点击节点Nodes，发现panzhengjun:8042也可访问
6) 如果想停止所有服务，请输入sbin/stop-all.sh
4:Hadoop无法正常启动的解决方法
一般可以查看启动日志来排查原因，注意几点：
1)启动时会提示形如 “panzhengjun: starting namenode, logging to /bigdata/hadoop-3.1.1/logs/hadoop-hadoop-namenode-panzhengjun.out”，其中 panzhengjun 对应你的机器名，但其实启动日志信息是记录在 /bigdata/hadoop/logs/hadoop-hadoop-namenode-panzhengjun.log 中，所以应该查看这个后缀为 .log 的文件；
2)每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，对比下记录的时间就知道了。一般出错的提示在最后面，通常是写着 Fatal、Error、Warning 或者 Java Exception 的地方。可以在网上搜索一下出错信息，看能否找到一些相关的解决方法。
3)此外，若是 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：
# 针对 DataNode 没法启动的解决方法
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启
Hadoop环境搭建参考：http://dblab.xmu.edu.cn/blog/install-hadoop/
Part 3: 安装Eclipse编程环境
1：下载并安装JDK（FTP或在线都可）
1.在线下载JDK或直接本地拷贝到Linux虚拟机当前用户Downloads目录
2.进入/opt目录，创建java文件夹，然后解压JDK到该文件夹。
sudo mkdir /opt/java
sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/java/
3.配置jdk环境变量（有2种方式，修改profile或者.bashrc，任选一即可,二者区别自行学习）
sudo vim /etc/profile
增加如下内容：
export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
4.重新加载环境变量脚本
source /etc/profile
5.验证Java是否生效
java -version
2：下载eclipse并安装
1.在线下载或者FTP下载并拷贝到当前用户Downloads目录下面
下载地址：https://www.eclipse.org/downloads/
2.解压eclipse到/opt目录下
3.查看解压结果
ls
4.在linux系统中设置eclipse快捷方式
1) sudo gedit /usr/share/applications/eclipse.desktop
2) 向eclipse .desktop中添加以下内容：
[Desktop Entry]
Encoding=UTF-8
Name=Eclipse
Comment=Eclipse IDE
Exec=/opt/eclipse/eclipse
Icon=/opt/eclipse/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Developmet;
3) 给eclipse .desktop文件赋权 ：
sudo chmod u+x eclipse.desktop
此时我们会看到，刚才建立的eclipse.desktop文件变成了Eclipse的图标。
4) 找到/usr/share/applications/eclipse.desktop，右键选择 copy to desktop，即可。
注：1、Exec代表应用程序的位置(视实际情况修改)
Icon代表应用程序图标的位置（视实际情况修改）
附录：练习常用linux命令
l cd命令：切换目录
（1）切换到目录“/usr/local”
cd /usr/local
（2）切换到当前目录的上一级目录
cd ..
（3） 切换到当前登录Linux系统的用户的自己的主文件夹
cd ~
l ls命令：查看文件与目录
（4） 查看目录“/usr”下的所有文件和目录
cd /usr
ls -al
l mkdir命令：新建目录
（5） 进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录
$ cd /tmp
$ mkdir a
$ ls -al
（6） 进入“/tmp”目录，创建目录“a1/a2/a3/a4”
$ cd /tmp
$ mkdir -p a1/a2/a3/a4
l rmdir命令：删除空的目录
（7） 将上面创建的目录a（在“/tmp”目录下面）删除
$ cd /tmp
$ rmdir a
（8） 删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录
$ cd /tmp
$ rmdir -p a1/a2/a3/a4
$ ls -al
l cp命令：复制文件或目录
（9） 将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1
$ sudo cp ~/.bashrc /usr/bashrc1
（10） 在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下
$ cd /tmp
$ mkdir test
$ sudo cp -r /tmp/test /usr
l mv命令：移动文件与目录，或更名
（11） 将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
$ sudo mv /usr/bashrc1 /usr/test
（12） 将“/usr”目录下的test目录重命名为test2
$ sudo mv /usr/test /usr/test2
l rm命令：移除文件或目录
（13） 将“/usr/test2”目录下的bashrc1文件删除
$ sudo rm /usr/test2/bashrc1
（14） 将“/usr”目录下的test2目录删除
$ sudo rm -r /usr/test2
l cat命令：查看文件内容
（15） 查看当前用户主文件夹下的.bashrc文件内容
$ cat ~/.bashrc
l tac命令：反向查看文件内容
（16） 反向查看当前用户主文件夹下的.bashrc文件的内容
$ tac ~/.bashrc
l more命令：一页一页翻动查看
（17） 翻页查看当前用户主文件夹下的.bashrc文件的内容
$ more ~/.bashrc
l head命令：取出前面几行
（18） 查看当前用户主文件夹下.bashrc文件内容前20行
$ head -n 20 ~/.bashrc
（19） 查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行
$ head -n -50 ~/.bashrc
l tail命令：取出后面几行
（20） 查看当前用户主文件夹下.bashrc文件内容最后20行
$ tail -n 20 ~/.bashrc
（21） 查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据
$ tail -n +50 ~/.bashrc
l touch命令：修改文件时间或创建新文件
（22） 在“/tmp”目录下创建一个空文件hello，并查看文件时间
$ cd /tmp
$ touch hello
$ ls -l hello
（23） 修改hello文件，将文件时间整为5天前
$ touch -d “5 days ago” hello
l chown命令：修改文件所有者权限
（24） 将hello文件所有者改为root帐号，并查看属性
$ sudo chown root /tmp/hello
$ ls -l /tmp/hello
l find命令：文件查找
（25） 找出主文件夹下文件名为.bashrc的文件
$ find ~ -name .bashrc
l tar命令：压缩命令
（26） 在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz
$ sudo mkdir /test
$ sudo tar -zcv -f /test.tar.gz test
（27） 把上面的test.tar.gz压缩包，解压缩到“/tmp”目录
$ sudo tar -zxv -f /test.tar.gz -C /tmp
l grep命令：查找字符串
（28） 从“～/.bashrc”文件中查找字符串'examples'
$ grep -n 'examples' ~/.bashrc
Ubuntu 常用命令整理
https://www.jianshu.com/p/1340bb38e4aa
