第三章：Hadoop简介及配置Hadoop-1.2.1，hbase-0.94.13集群
前面给大家讲了怎么安装Hadoop,肯定会有人还是很迷茫，装完以后原来就是这个样子，但是怎么用，下面，先给大家讲下Hadoop简介：大致理解下就OK了
hadoop是一个平台，提供了庞大的存储和并行计算的能力.
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。Hadoop的核心内容是HDFS和MpReduce.Hadoop项目结构有一下9中：
Common:是Hadoop其他子项目提供支持的常用工具。
Avro:是用于数据序列化的系统。
MapReduce:是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
HDFS:是一个分布式文件系统。
Chukwa:是开源的数据收集系统，用于监控和分析大型分布式系统的数据
Hive：最早是由Facebook设计的，是一个建立在Hadoop基础之上的数据仓库。hive也可以提供查询但是它是非实时的，离线查询,hive不能提供实时查询,
他需要hadoop的mapreduce计算,hive把普通的sql语句转换成mapreduce程序计算，让那些不懂java但是懂sql的人能够参与到hadoop中。hive将
表的信息存放在metastore中，默认是dubey数据库中，真正的数据存放在hdfs中。
HBase:hbase是hadoop的数据库，提供了毫秒级别的数据查询,是一个分布式，面向列的开源数据库.HBase做实时查询
Pig：是一个对大型数据集进行分析，评估的平台。
ZooKeeper:是一个分布式应用所设计的开源协调服务。
Hadoop的API地址：http://hadoop.apache.org/docs/current/api/
hadoop体系结构：先介绍HDFS的体系结构：
HDFS采用主从(master/slave)结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成，其中NameNode作为主服务器，管理文件系统
的命名空间和客户端对文件的访问操作；集群中DataNode管理存储的数据。HDFS允许用户以文件形式存储数据。
介绍MapReduce的体系结构：
MapReduce是一种并行编程模式。MapReduce框架是由一个单独运行在主节点的jobtracker和运行在每个集群从节点的tasktracker共同组成的。主节点
负责调度构成一个作业的所有任务，这些任务分布在不同的节点上，主节点监控它们的执行情况，并且重新执行之前失败的任务；从节点仅负责由主节点指派的任务。
重点讲下：配置Hadoop集群,hbase集群
一.首先，先搭建四台小集群，虚拟机的话，创建四个
下面为这四台机器分别分配IP地址及相应的角色：集群有个特点，四台机子用户名最好一致，要不你就创建一个组，把这些用户放到组里面去，我这四台的用户名都是hadoop,主机名随意起
192.168.0.10-----master(主机)，nameNode,jobtracker----master(主机名)
192.168.0.11-----slave1(从机)，dataNode,tasktracker-----slave1(主机名)
192.168.0.12-----slave2(从机)，dataNode,tasktracker-----slave2(主机名)
192.168.0.13-----slave3(从机)，dataNode,tasktracker-----slave3(主机名)
如果用户名不一致，你就要创建一个用户组，把用户放到用户组下面：
sudo addgroup hadoop 创建hadoop用户组
sudo adduser -ingroup hadoop one 创建一个one用户，归到hadoop组下
二.由于用户是普通用户，没有root一些权限，所以修改hadoop用户权限
用root权限，修改sudoers文件
nano /etc/sudoers 打开文件，修改hadoop用户权限，如果你创建的是one用户，就one ALL=(ALL:ALL) ALL
三.要在这四台机子上均安装jdk,ssh,并配置好环境变量，四台机子都是这个操作：：
做好准备工作，下载jdk-7u3-linux-i586.tar 这个软件包
1.sudo apt-get install openssh-server 下载SSH
ssh 查看，代表安装成功
tar zxvf jdk-7u3-linux-i586.tar.gz 解压jdk
2.sudo nano /etc/profile,在最下面加入这几句话，保存,这是配置java环境变量
验证jdk是否安装成功，敲命令
java -version 可以看到JDK版本信息，代表安装成功
3：配置SSH 免密码登陆,记住，这是在hadoop用户下执行的
ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa
ssh-keygen代表生成密钥，-t代表指定生成的密钥类型，dsa代表密钥类型，-P代表提供密语，-f代表生成的密钥文件
4.cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost 没有让你输入密码就代表ssh装成功了
或者 ls .ssh/ 看看有没有那几个文件
5.这一步只需要主机master操作,复制秘钥到从机，这样可以无密码访问从机
cd .ssh
scp authorized_keys hadoop@slave1:/home/hadoop/.ssh/
scp authorized_keys hadoop@slave2:/home/hadoop/.ssh/
scp authorized_keys hadoop@slave3:/home/hadoop/.ssh/
chmod 644 authorized_keys 给秘钥赋予权限
ssh slave1 测试无密码访问主机slave1,第一次输入都要密码，以后就不需要了
四.在这四台机子上分别设置/etc/hosts及/etc/hostname
hosts这个文件用于定于主机名与IP地址之间的对用关系
sudo -i 获取最高权限
nano /etc/hosts:
ctrl+o:保存，然后回车，ctrl+x:退出
hostname 这个文件用于定义主机名的，
注意：主机是主机名，从机就是从机名，例如：slave1在这里就是slave1
然后你可以输入：ping slave1,看能不能ping通
5，配置hadoop文件，这个配置只需要在主机master进行操作，从机的话，直接主机复制从机就OK了，但是从机会有一些改动，下面都有讲
修改：conf/hadoop-env.sh，这个是配置jdk
sudo nano /home/hadoop/hadoop-1.1.2/conf/hadoop-env.sh
修改：conf/core-site.xml
sudo nano /home/one/hadoop-1.1.2/conf/core-site.xml
记住：tmp文件时需要手动创建的
mkdir /home/hadoop/tmp 创建tmp目录
sudo chmod 777 tmp/ 给tmp目录赋予权限
修改：conf/mapred-site.xml
sudo nano /home/one/hadoop-1.1.2/conf/mapred-site.xml
修改：/conf/hdfs-site.xml
sudo nano /home/one/hadoop-1.1.2/conf/hdfs-site.xml
我们的集群有4个分机，所以rep4份
配置主从节点
配置conf/masters来设置主节点，注意：最好使用主机名，并且保证机器之间通过主机名可以互相访问：
sudo nano /home/one/hadoop-1.1.2/conf/masters
配置conf/slaves来设置从节点：
sudo nano /home/one/hadoop-1.1.2/conf/slaves
配置结束，如果不想分机在一个一个配置，可以把配置好的hadoop文件拷贝到其他集群的机器中，并且保证上面的配置对于其他机器而言正确
命令是在hadoop用户下进行：这个只需要在主机运行就可以了
scp -r /home/hadoop/hadoop-1.1.2 hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/hadoop-1.1.2 hadoop@slave2:/home/hadoop/
scp -r /home/hadoop/hadoop-1.1.2 hadoop@slave3:/home/hadoop/
6.虽然说复制到从机，但是从机有一些配置是不用要的，比如说配置主从节点
sudo nano /home/one/hadoop-1.1.2/conf/masters
把master删除掉
sudo nano /home/one/hadoop-1.1.2/conf/slaves
把slave1,slave2,slave3删除掉
修改：/conf/hdfs-site.xml
把dfs.permissions删除掉
sudo nano /home/one/hadoop-1.1.2/conf/hdfs-site.xml
7.hadoop集群启动与测试：这个只需要在主机上运行就可以了
sudo -i 获取root权限
chown -R hadoop:hadoop /home/hadoop/hadoop-1.2.1 给hadoop用户赋予权限
命令在hadoop用户下进行：
su hadoop 切换hadoop用户
cd /home/hadoop/hadoop-1.1.2
bin/hadoop namenode -format 格式化文件,格式化文件只能格式化一次，如果格式化多了，时间就会不同步，就会出错，这里有2个解决的方法
第一个方法，就是删除tmp文件，就是创建的那个文件
rm -rf tmp/ 删除tmp
mkdir /home/hadoop/tmp 创建tmp目录
sudo chmod 777 tmp/ 给tmp目录赋予权限,然后格式化，但是从机tmp跟主机的tmp会不同步，格式化以后，从机tmp都删除，主机复制从机
scp -r /home/hadoop/tmp hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/tmp hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/tmp hadoop@slave1:/home/hadoop/
第二个方法，修改每个DataNode的namespaceID(位于/tmp/dfs/data/current/VERSION文件中)或修改NameNode的namespaceID（位于/tmp/dfs/name/current/VERSION文件中）,
使其一致，第2个方法会好些，因为一些文件都是存放在tmp里面，如果删除，数据也会没有
bin/start-all.sh 启动所有的节点
bin/hadoop dfsadmin -report 查看集群的状态
测试：
NameNode http://192.168.0.10:50070
JobTracker http://192.168.0.10:50030
这样hadoop集群就配置完了，下面讲下配置hbase集群，都是在hadoop用户下操作,这个也是一样，主机搭建完以后，复制到从机上
1.下载并解压hbase-0.94.13.tar.gz到/home/hadoop下面
tar zxvf hbase-0.94.13.tar.gz
2.修改 hbase-env.sh ，hbase-site.xml，regionservers 这三个配置文件如下：
修改 hbase-env.sh
sudo nano /home/hadoop/hbase-0.94.13/conf/hbase-env.sh
修改 hbase-site.xml
sudo nano /home/hadoop/hbase-0.94.13/conf/hbase-site.xml
修改 regionservers
sudo nano /home/hadoop/hbase-0.94.13/conf/regionservers
复制hbase到从机
scp -r /home/hadoop/hbase-0.94.13 hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/hbase-0.94.13 hadoop@slave2:/home/hadoop/
scp -r /home/hadoop/hbase-0.94.13 hadoop@slave2:/home/hadoop/
然后启动hbase，输入命令，记住：一定要先启动hadoop集群，才能启动hbase
bin/start-hbase.sh
我们也可以通过WEB页面来管理查看HBase数据库。
HMaster：http://172.16.48.201:60010/master.jsp
可以输入jps查看HMaster
然后输入如下命令进入hbase的命令行管理界面：?quit 退出
bin/hbase shell
bin/stop-hbase.sh 退出hbase
