头歌平台——Hadoop开发环境搭建
第1关：配置开发环境 - JavaJDK的配置
（1）创建一个/app文件夹，命令
mkdir /app
（2）配置环境变量
解压好JDK之后还需要在环境变量中配置JDK，才可以使用，接下来就来配置JDK。输入命令：vim /etc/profile 编辑配置文件；在文件末尾输入如下代码（不可以有空格）。
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH/bin:$PATH
export JAVA_HOME CLASSPATH PATH
第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建
(1)解压Hadoop的压缩包，然后将解压好的文件移动到/app目录下。
tar -zxvf hadoop-3.1.0.tar.gz -C /app
(2)我们来切换到app目录下修改一下hadoop文件夹的名字。
cd /app
ll
mv hadoop-3.1.0/ hadoop3.1
ll
(3)将Hadoop添加到环境变量中，vim /etc/profile，在文件末尾插入如下代码：
#set Hadoop Enviroment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
第1关：Hbase数据库的安装
echo $JAVA_HOME /usr/lib/jvm/jdk1.8.0_111
接着我们编辑HBase conf目录下的hbase-env.sh文件，将其中的JAVA_HOME指向到你Java的安装目录，最后保存设置：
vim /app/hbase-2.1.1/conf/hbase-env.sh
# This script sets variables multiple times over the course of starting an hbase process,
# so try to keep things idempotent unless you want to take an even deeper look
# into the startup scripts (bin/hbase, etc.)
# The java implementation to use. Java 1.8+ required.
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
第2关：创建表
启动HBase之后，我们输入hbase shell进入到Hbase shell命令行窗口：
hbase shell
例如：我们想要新建一个名为test的表，使其中包含一个名为data的列，表和列族属性都为默认值，则可以使用如下命令：
create 'test','data'
创建完毕之后我们可以输入list来查看表是否创建成功：
list
第3关：添加数据、删除数据、删除表
我们来给上一关创建的test表的列data添加一些数据：
put 'test','row1','data:1','value1'
好了，到你啦，在HBase中创建表mytable，列为data，并在列族data中添加三行数据：
行号分别为：row1，row2，row3；
列名分别为：data:1，data:2，data:3；
值分别为：zhangsan，zhangsanfeng，zhangwuji。
put 'mytable','row1','data:1','zhangsan'
put 'mytable','row2','data:2','zhangsanfeng'
put 'mytable','row3','data:3','zhangwuji'
8-1 Spark的安装与使用。第1关：Scala 环境的安装与部署
接下来我们开始配置环境，在自己本机上需要配置好Java环境，因为Scala是基于jvm的（在平台已经将Java环境配置好了）：
vi /etc/profile
#set scala
SCALA_HOME=/app/scala-2.12.7
export PATH=$PATH:$SCALA_HOME/bin
8-1 Spark的安装与使用。第2关：Spark 环境安装
tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app
vim /etc/profile
#set spark enviroment
SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
source /etc/profile
cd /app/spark-2.2.2-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export SCALA_HOME=/app/scala-2.12.7
export HADOOP_HOME=/usr/local/hadoop/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=evassh-9262177 # machine_name 根据自己的主机确定
export SPARK_LOCAL_IP=evassh-9262177 # machine_name 根据自己的主机确定
cd /app/spark-2.2.2-bin-hadoop2.7
./sbin/start-all.sh
