Hadoop第9周练习—Hive部署测试（含MySql部署）

1  运行环境说明... 3

1.1 硬软件环境... 3

1.2 机器网络环境... 3

2 书面作业1：搭建Hive环境... 3

2.1 书面作业1内容... 3

2.2 搭建过程... 4

2.2.1   安装MySql数据库... 4

2.2.2   安装Hive. 10

2.2.3   验证部署... 15

3 问题解决... 17

3.1 设置mysql数据库root用户密码报错... 17

3.2 hive启动，报CommandNeedRetryException异常... 19

3.3 在hive中使用操作语言... 20

 

1 运行环境说明

1.1  硬软件环境

l  主机操作系统：Windows 64 bit，双核4线程，主频2.2G，6G内存

l  虚拟软件：VMware® Workstation 9.0.0 build-812388

l  虚拟机操作系统：CentOS 64位，单核，1G内存

l  JDK：1.7.0_55 64 bit

l  Hadoop：1.1.2

1.2  机器网络环境

集群包含三个节点：1个namenode、2个datanode，其中节点之间可以相互ping通。节点IP地址和主机名分布如下：

序号	IP地址	机器名	类型	用户名	运行进程
1	10.88.147.221	hadoop1	名称节点	hadoop	NN、SNN、JobTracer
2	10.88.147.222	hadoop2	数据节点	hadoop	DN、TaskTracer
3	10.88.147.223	hadoop3	数据节点	hadoop	DN、TaskTracer

所有节点均是CentOS6.5 64bit系统，防火墙均禁用，所有节点上均创建了一个hadoop用户，用户主目录是/usr/hadoop。所有节点上均创建了一个目录/usr/local/hadoop，并且拥有者是hadoop用户。

2  书面作业1：搭建Hive环境

2.1  书面作业1内容

安装Hive，有条件的同学按本地独立模式或远程模式安装，将安装过程和最后测试成功的界面抓图提交。

2.2  搭建过程

2.2.1安装MySql数据库

2.2.1.1下载mysql安装文件

下载地址：http://dev.mysql.com/downloads/mysql/#downloads，使用系统为CentOS选择 Red Hat Enterprise Linux/Oracle系列：

操作系统为64位，选择对应安装包进行下载：

下载在本地目录如下图：

2.2.1.2上传mysql安装文件

把下载的mysql安装包，使用SSH Secure File Transfer工具（第1、2作业周2.1.3.1介绍）上传到/home/hadoop/Downloads 目录下，如下图所示：

2.2.1.3卸载旧的mysql

（1）  查找以前是否安装有mysql

使用命令查看是否已经安装过mysql：

rpm -qa | grep -i mysql

可以看到如下图的所示：

说明之前安装了：

MySQL-client-5.6.21-1.el6.x86_64

MySQL-server-5.6.21-1.el6.x86_64

MySQL-devel-5.6.21-1.el6.x86_64

如果没有结果，可以进行mysql数据库安装

（2）  停止mysql服务、删除之前安装的mysql

停止mysql服务、删除之前安装的mysql删除命令：rpm -e –nodeps 包名

sudo rpm -ev MySQL-server-5.6.21-1.el6.x86_64

sudo rpm -ev MySQL-devel-5.6.21-1.el6.x86_64

sudo rpm -ev MySQL-client-5.6.21-1.el6.x86_64

如果存在CentOS自带mysql-libs-5.6.21-1.el6.x86_64使用下面的命令卸载即可

sudo rpm -ev --nodeps mysql-libs-5.6.21-1.el6.x86_64

（3）  查找之前老版本mysql的目录并且删除老版本mysql的文件和库

sudo find / -name mysql

删除对应的mysql目录

sudo rm -rf /usr/lib64/mysql

sudo rm -rf /var/lib/mysql

（4）  再次查找机器是否安装mysql

sudo rpm -qa | grep -i mysql

无结果，说明已经卸载彻底、接下来直接安装mysql即可

2.2.1.4安装mysql

进入安装文件的目录，安装mysql服务端

cd /home/hadoop/Downloads

sudo rpm -ivh MySQL-server-5.6.21-1.el6.x86_64.rpm

安装mysql客户端、mysql-devel

sudo rpm -ivh MySQL-client-5.6.21-1.el6.x86_64.rpm

sudo rpm -ivh MySQL-devel-5.6.21-1.el6.x86_64.rpm

2.2.1.5设置root密码

在CentOS6.5下安装mysql设置root密码时，出现如下错误：

/usr/bin/mysqladmin: connect to server at 'localhost' failed

error: 'Access denied for user 'root'@'localhost' (using password: NO)'

可以进入安全模式进行设置root密码

（1）  停止mysql服务

使用如下命令停止mysql服务：

sudo service mysql stop

sudo service mysql status

（2）  跳过验证启动mysql

使用如下命令验证启动mysql，由于&结尾是后台运行进程，运行该命令可以再打开命令窗口或者Ctr+C继续进行下步操作：

mysqld_safe --skip-grant-tables &

sudo service mysql status

（3）  跳过验证启动MySQL

验证mysql服务已经在后台运行后，执行如下语句，其中后面三条命令是在mysql语句：

mysql -u root

mysql>use mysql;

mysql>update user set password = password('root') where user = 'root';

mysql>flush privileges;

（4）  跳过验证启动MySQL

重启mysql服务并查看状态

sudo service mysql stop

sudo service mysql start

sudo service mysql status

2.2.1.6设置hive用户

进入mysql命令行，创建hive用户并赋予所有权限：

mysql -uroot -proot

mysql>create user 'hive' identified by 'hive';

mysql>grant all on *.* TO 'hive'@'%' with grant option;

mysql>flush privileges;

（注意：如果是root第一次登录数据库，需要重新设置一下密码，所报异常信息如下：ERROR 1820 (HY000): You must SET PASSWORD before executing this statement）

2.2.1.7创建hive数据库

使用hive用户登录，创建hive数据库：

mysql -uhive -phive

mysql>create database hive;

mysql>show databases;

2.2.2安装Hive

2.2.2.1下载hive安装文件

可以到Apache基金hive官网http://hive.apache.org/downloads.html，选择镜像下载地址：http://mirrors.cnnic.cn/apache/hive/下载一个稳定版本，如下图所示：

2.2.2.2下载mysql驱动

到mysql官网进入下载页面：http://dev.mysql.com/downloads/connector/j/ ，选择所需要的版本进行下载，这里下载的zip格式的文件

2.2.2.3上传mysql安装文件和mysql驱动

把下载的hive安装包和mysql驱动包，使用SSH Secure File Transfer工具（第1、2作业周2.1.3.1介绍）上传到/home/hadoop/Downloads 目录下，如下图所示：

2.2.2.4把mysql驱动放到hive的lib目录下

把下载的hive安装包和mysql驱动包，使用

cd /home/hadoop/Downloads

cp mysql-connector-java-5.1.34-bin.jar /usr/local/hive-0.12.0/lib

2.2.2.5解压缩

到上传目录下，用如下命令解压缩hive安装文件：

cd /home/hadoop/Downloads

tar -zxvf hive-0.12.0-bin.tar.gz

迁移到/usr/local目录下：

sudo mv hive-0.12.0-bin  /usr/local/hive-0.12.0

2.2.2.6配置/etc/profile环境变量

使用如下命令打开/etc/profile文件：

sudo vi /etc/profile

使配置文件生效：

source /etc/profile

2.2.2.7设置hive-env.sh配置文件

进入hive-0.12.0/conf目录，复制hive-env.sh.templaete为hive-env.sh：

cd /usr/local/hive-0.12.0/conf

cp hive-env.sh.template hive-env.sh

ls

vi hive-env.sh

分别设置HADOOP_HOME和HIVE_CONF_DIR两个值：

2.2.2.8设置hive-site.xml配置文件

复制hive-default.xml.templaete为hive-site.xml

cp hive-default.xml.template hive-site.xml

sudo vi hive-site.xml

（1）  加入配置项

默认metastore在本地，添加配置改为非本地

<property>

  <name>hive.metastore.local</name>

  <value>false</value>

</property>

（2）  修改配置项

hive默认为derby数据库，需要把相关信息调整为mysql数据库

<property>

  <name>hive.metastore.uris</name>

  <value>thrift://hadoop1:9083</value>

  <description>Thrift URI for the remote metastore. ...</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://hadoop1:3306/hive?=createDatabaseIfNotExist=true</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

  <description>username to use against metastore database</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>hive</value>

  <description>password to use against metastore database</description>

</property>

（3）  订正错误项

在配置文件2000行左右配置项hive.server2.thrift.sasl.qop原来为<value>auth</auth>，按照如下进行修改：

<property>

  <name>hive.server2.thrift.sasl.qop</name>

  <value>auth</value>

  <des.....

</property>

并把hive.metastore.schema.verification配置项值修改为false

<property>

  <name>hive.metastore.schema.verification</name>

  <value>false</value>

   <desc....>

</property>

2.2.3验证部署

2.2.3.1启动metastore和hiveserver

在使用hive之前需要启动metastore和hiveserver服务，通过如下命令启用：

hive --service metastore &

hive --service hiveserver &

启动用通过jps命令可以看到两个进行运行在后台

2.2.3.2在hive中操作

登录hive，在hive创建表并查看该表，命令如下：

hive

hive>create table test(a string, b int);

hive>show tables;

hive>desc test;

登录mysql，在TBLS表中查看新增test表：

mysql -uhive -phive

mysql>use hive;

mysql>select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS;

3 问题解决

3.1  设置mysql数据库root用户密码报错

在CentOS6.5下安装mysql设置root密码时，出现如下错误：

/usr/bin/mysqladmin: connect to server at 'localhost' failed

error: 'Access denied for user 'root'@'localhost' (using password: NO)'

（5）  停止mysql服务

使用如下命令停止mysql服务：

sudo service mysql stop

sudo service mysql status

（6）  跳过验证启动mysql

使用如下命令验证启动mysql，由于&结尾是后台运行进程，运行该命令可以再打开命令窗口或者Ctr+C继续进行下步操作：

mysqld_safe --skip-grant-tables &

sudo service mysql status

（7）  跳过验证启动MySQL

验证mysql服务已经在后台运行后，执行如下语句，其中后面三条命令是在mysql语句：

mysql -u root

mysql>use mysql;

mysql>update user set password = password('root') where user = 'root';

mysql>flush privileges;

（8）  跳过验证启动MySQL

重启mysql服务并查看状态

sudo service mysql stop

sudo service mysql start

sudo service mysql status

3.2  hive启动，报CommandNeedRetryException异常

启动hive时，出现CommandNeedRetryException异常，具体信息如下：

Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/hadoop/hive/ql/CommandNeedRetryException

        at java.lang.Class.forName0(Native Method)

        at java.lang.Class.forName(Class.java:270)

        at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.CommandNeedRetryException

        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)

        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

        at java.security.AccessController.doPrivileged(Native Method)

        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

由于以前使用hadoop时，修改hadoop-env.sh的HADOOP_CLASSPATH配置项，由以前的：

export HADOOP_CLASSPATH=/usr/local/hadoop-1.1.2/myclass

修改为：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hadoop-1.1.2/myclass

 

3.3  在hive中使用操作语言

启动hive后，使用Hsql出现异常，需要启动metastore和hiveserver

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

在使用hive之前需要启动metastore和hiveserver服务，通过如下命令启用：

hive --service metastore &

hive --service hiveserver &

启动用通过jps命令可以看到两个进行运行在后台