第一章 Ubuntu使用手册 1
1.1. Ubuntu安装及设置 1
1.1.1. 安装ubuntu 2
1.1.2. 创建hadoop用户 2
1.1.3. 更新apt、vim 2
1.1.4. 安装SSH Server 3
1.2. 基础环境 4
1.2.1. 挂在光驱，安装VMwareTools 4
1.2.2. 设置固定IP 4
1.2.3. 设置root用户密码 5
1.2.4. 修改主机名 5
1.2.5. 修改虚拟机在vm上显示的名字 6
1.2.6. 修改linux系统时间 6
1.2.7. 快捷键 6
1.3. 基础知识 6
1.3.1. 文本编辑器 7
1.3.2. ~的含义 7
1.3.3. 相对路径与绝对路径的区别 7
1.3.4. 切换回普通用户 7
1.4. 工具安装 8
1.4.1. 安装yum 8
1.4.2. 检查vim是否安装 8
1.4.3. 检查是否安装了ssh 8
1.5. 常用命令 8
1.5.1. 让/etc/profile文件修改后立即生效 9
1.5.2. 删除目录，删除文件夹 9
1.5.3. vim命令 9
1.5.4. 设置超级管理员密码 9
1.5.5. 加锁之后，或新建文件夹，赋权限 10
1.6. 错误消息 10
1.6.1. ubuntu smbus host controller not enabled 10
1.6.2. vmware-tools.pl: command not found 11
1.6.3. gedit 报错 11
第二章 Java环境安装及配置 12
2.1. 基础部分 13
2.1.1. JRE和JDK的区别 13
2.1.2. 查看mvn安装地址 13
2.1.3. 重新安装oracle-java9-installer 13
2.1.4. 切换jdk版本 14
2.2. 安装 jdk 14
2.2.1. apt-get install openjdk-8-jdk 15
2.2.2. 安装 jdk1.9 15
2.2.3. 查看当前默认的jdk 16
2.2.4. 查看当前版本的java路径 16
2.2.5. 设置JAVA_HOME【~/.bashrc】 16
2.2.6. 检验java_home是否设置正确 17
2.3. 安装maven 18
2.3.1. apt-get install maven 18
2.3.2. 设置仓库路径 19
2.3.3. 安装依赖库 20
2.3.4. 安装protoc 20
2.4. 错误消息 20
2.4.1. dpkg was interrupted, you must manually run 'sudo dpkg --configure -a' to correct the problem 21
2.4.2. No command 'geidt' found 21
2.4.3. jdk版本不正确：'build.plugins.plugin.version' for org.apache.maven.plugins:maven-javadoc-plugin is missing 21
2.4.4. Could not initialize class com.google.inject.internal.cglib.core 23
一、 java版本： 25
二、 Mvn版本 25
三、 .bashrc配置 26
四、 /etc/environment配置 26
五、 /etc/profile配置 26
六、 ~/.m2/settings.xml配置 27
第三章 Hadoop安装及配置 28
3.1. 基础部分 29
3.1.1. 环境说明 29
3.1.2. 异常说明 29
3.1.3. 参考资料 29
3.1.4. 查看下载的hadoop版本 30
3.1.5. hadoop基本命令 30
3.2. 安装 Hadoop（使用编译后） 31
3.2.1. 下载Hadoop、及验证 31
3.2.2. 解压，即安装Hadoop 31
3.2.3. 查看hadoop版本 33
3.2.4. 配置PATH环境变量【~/.bashrc】 33
3.2.5. 在hadoop-config中，设置Java路径 35
3.3. 安装hadoop（使用源码编译） 36
3.3.1. 下载、并解压hadoop源码 37
3.3.2. 执行mvn，编译打包hadoop 37
3.4. Hadoop单机配置(非分布式) 38
3.4.1. 查看Hadoop 附带的所有例子 38
3.4.2. 测试grep例子 40
3.5. Hadoop伪分布式配置 41
3.5.1. ./etc/hadoop/core-site.xml 41
3.5.2. ./etc/hadoop/hdfs-site.xml 41
3.5.3. 从伪分布式切换回非分布式模式 42
3.5.4. NameNode 格式化 42
3.5.5. 开启 NameNode 和 DataNode 守护进程 42
3.5.6. jps来判断是否成功启动 43
3.5.7. 伪分布式实例 43
3.6. 安装Hadoop集群 46
3.6.1. 配置文件 46
3.6.1.1. 【/etc/hosts】 46
3.6.1.2. 【/etc/profile】 47
3.6.1.3. 【~/.bashrc】 47
3.6.1.4. *【./etc/hadoop/core-site.xml】 47
3.6.1.5. *【./etc/hadoop/hdfs-site.xml】 48
3.6.1.6. 【./etc/hadoop/yarn-site.xml】 49
3.6.1.7. *【./etc/hadoop/mapred-site.xml】 50
3.6.1.8. 【./etc/hadoop/hadoop-env.sh】 51
3.6.1.9. 【./etc/hadoop/mapred-env.sh】 51
3.6.1.10. 【./etc/hadoop/yarn-env.sh】 51
3.6.2. 启动YARN 51
3.6.2.1. 浏览器访问控制台 53
3.7. 启动YARN 54
3.7.1. 修改配置文件 54
3.7.2. 启动YARN 54
3.8. Hadoop分布式集群部署 56
3.8.1. 集群规划 56
3.8.2. 查看当前时间 56
3.8.3. 设置host【/etc/hosts】 56
3.8.4. 修改hadoop全局配置文件【core-site.xml】 58
3.8.5. 7个配置文件 62
3.8.5.1. 配置文件1：hadoop-env.sh 63
3.8.5.2. 配置文件2：yarn-env.sh 63
3.8.5.3. 配置文件5：hdfs-site.xml 65
3.8.5.4. 配置文件6：mapred-site.xml 66
3.8.5.5. 配置文件7：yarn-site.xml 68
3.8.5.6. 配置slaves 70
3.8.6. 将配置好的hadoop复制到其他节点 71
3.8.7. 在windows中验证 72
3.8.8. http访问结果 72
3.9. 错误消息 73
3.9.1. Unable to load native-hadoop library for your platform. 73
3.9.2. No command 'hdfs' found, did you mean 73
3.9.3. ERROR: JAVA_HOME is not set and could not be found. 74
3.9.4. Error: JAVA_HOME is not set and could not be found. 74
3.9.5. Hadoop不能启动的盘查 75
3.9.6. Permanently added 'ubuntu' (ECDSA) to the list of known hosts 78
3.9.7. 无法连接http://localhost:50070 79
3.9.8. module java.base does not "opens java.lang" to unnamed module 79
第四章 Spark安装及配置 79
4.1. 安装 80
4.2. 修改配置文件 81
4.2.1. 配置环境变量【/etc/profile】 81
4.2.2. 修改spark配置文件【spark-env.sh.template】 81
4.2.3. spark关联jdk【spark-env.sh】 81
4.2.4. 配置slaves 81
4.3. 启动程序 82
4.3.1. 启动hadoop 82
4.3.2. 格式化namenode 82
4.3.3. master启动hadoop 82
4.3.4. 查看进程 （slave） 82
第五章 Hbase安装及配置 82
5.1. 下载 82
5.1.1. 设置环境变量 83
5.1.2. 查看版本 83
5.2. 单机模式 83
5.2.1. 与jdk关联【/conf/hbase-env.sh】 84
5.2.2. Hbase配置【/conf/hbase-site.xml】 84
5.2.3. 启动hbase 84
5.3. 伪分布式模式 84
5.3.1. 配置conf/hbase-env.sh 85
5.3.2. conf/hbase-site.xml 85
5.3.3. 启动 85
5.3.4. 进入shell 86
5.3.5. 查看hdfs上hbase数据库文件 86
