Centos中hive/hbase/hadoop/mysql实际操作及问题总结
目录
Hive中文乱码问题
hive和hbase的版本不一致
Ambari hive插入Hbase出错
Hive0.12和Hbase0.96不兼容，重新编译hive0.12.0
hiveserver不能正常启动
hive连接eclipse不能复杂查询,不能加where
Hive中文乱码问题
众所周知，我们都是使用mysql存储hive的元数据，可以执行带有中文注释的建表文件，解决中文乱码的问题：
要把元数据库设定为latin1而把存储中文的数据表的编码设定为utf-8格式，即存储在hive里的表是utf-8的。
以下几种是不可行的：
1. 将meta database(mysql)的编码设定为utf-8.hive运行会报错
2.将meta server(mysql)的编码全部设定为latin1.表格在导入时会出现Incorrect string value: ‘\xC2\x8A\xC2\xA8\xC3\xA7…’ 的错误。
所以，将数据库编码为latin1，表编码设定为utf8
例子：
1.按照latin1编码建立hive的meta数据库
2.修改hive-seite.xml的连接编码为UTF8
<name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?useUnicode=true&characterEncoding=UTF-8&createDatabaseIfNotExist=true</value>
3.修改表编码
简单：values为列 alter table detail3 modify values character set utf8; 加注释：name为列 alter table tabletest modify name COMMENT varchar(256) character set utf8;
如果在SecureCRT运行hive客户端，则
hive和hbase的版本不一致
建表时：
java.lang.IllegalArgumentException: Not a host:port pair: PBUF
解决办法：
<HIVE_HOME>/lib/hbase-x.y.z*.jar的版本和当前环境中HBase的版本不一致造成的，只要把hbase-x.y.z*.jar 替换成<HBASE_HOME>/lib/下的相关jar 即可。
如用用<HBASE_HOME>/lib/目录下得jar包
hbase-client-0.98.0-hadoop2.jar hbase-common-0.98.0-hadoop2-tests.jar hbase-common-0.98.0-hadoop2.jar hbase-protocol-0.98.0-hadoop2.jar hbase-server-0.98.0-hadoop2.jar htrace-core-2.04.jar
替换掉<HIVE_HOME>/lib/目录下的jar包：
hbase-0.94.6.1-tests.jar hbase-0.94.6.1.jar
Ambari hive插入Hbase出错
insert overwrite table hbase_detail3 select * from detail3;出现错误：
Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableInputFormatBase
解决办法：是因为hive_aux_jars_path不生效或者冲突(hive-env.sh hive-site.xml)
unzip -l /usr/lib/hbase/lib/hbase-server-0.96.0.2.0.6.0-68-hadoop2.jar | grep TableInputFormatBase
5363 10-09-2013 19:45 org/apache/hadoop/hbase/mapred/TableInputFormatBase.class
7460 10-09-2013 19:45 org/apache/hadoop/hbase/mapreduce/MultiTableInputFormatBase.class
8803 10-09-2013 19:45 org/apache/hadoop/hbase/mapreduce/TableInputFormatBase.class
说明hbase-server-0.96.0.2.0.6.0-68-hadoop2.jar是包含相关的类的，可能hive客户端在启动时并没有加载成功。
测试：在hive命令行下手动加载hbase的jar包，再运行，最笨的办法
create table test_hbase(id int,name string) row format delimited fields terminated by ',' stored as textfile；
load data local inpath '/home/kang/hive/test_hbase.txt' overwrite into table test_hbase;
CREATE TABLE test_hbase(id int,name string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "name:val") TBLPROPERTIES("hbase.table.name" = "testhbase");
insert overwrite table test_hbase select * from testhbase;
hive>add jar /usr/lib/hive/lib/hive-hbase-handler-0.12.0.2.0.6.1-102.jar;
add jar /usr/lib/hive/lib/hbase-protocol-0.96.1.2.0.6.1-102-hadoop2.jar;
add jar /usr/lib/hbase/lib/protobuf-java-2.5.0.jar;
add jar /usr/lib/hbase/lib/hbase-client-0.96.1.2.0.6.1-102-hadoop2.jar;
add jar /usr/lib/hbase/lib/hbase-common-0.96.1.2.0.6.1-102-hadoop2.jar;
add jar /usr/lib/hbase/lib/zookeeper.jar;
add jar /usr/lib/hbase/lib/guava-12.0.1.jar;
add jar /usr/lib/hbase/lib/hbase-server-0.96.1.2.0.6.1-102-hadoop2.jar;
add jar /usr/lib/hbase/lib/htrace-core-2.04.jar (注意：这个不太确定具体名称，需要到/usr/lib/hbase/lib/下确定下)
测试：insert overwrite table test_hbase select * from testhbase;
大量导入：insert overwrite table hbase_detail3 select * from detail3;
其他可能：
在运行数据导入前设置hive中的mapreduce的jobtracker为本地，命令为hive>SET mapred.job.tracker=local;
Hive0.12和Hbase0.96不兼容，重新编译hive0.12.0
hadoop-2.2.0+hbase-0.96.2+hive-0.12.0在启动时没有问题，但在hive查询或者向hbase表中插入数据时出错 (CentOS 6.5) (Ubuntu 下兼容 )
搜集的错误主要有两种：
1. hive复制到hbase：
insert overwrite table test_hbase select * from testhbase;
错误：Error: java.lang.NullPointerException
Caused by: java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "centos/192.168.0.120"; destination host is: "centos":8020;
hive_hbase-handler-0.12.0.jar这个jar包要根据连接hbase的版本进行重新编译
2. select * from test_hbase; 查询hbase表
Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writable
原因：hive0.12是基于hadoop1.x的，hbase-0.98.2和hive-0.13.0都是基于hadoop2.x升级的，是至今为止最新匹配版本，但还是得在maven3下编译hive-0.13.0才可以使用。
最终采用的是hadoop-2.2.0+hive-0.13.0+hbase-0.96.2，测试通过，没有问题，完全按照文档拷贝jar包、hbase-site.xml、配置hive_aux_jars_path即可，非常方便。
这里还是讲一下，hive-0.12的编译：
hive-0.12是基于hadoop1.3和hbase0.94的，所以必须进行替换。
而hbase0.96是基于hadoop2.2的，所以我们必须先解决hive的hadoop版本问题，目前我们从官网下载的hive都是用1.x的版本编译的，因此我们需要自己下载源码来用hadoop2.X的版本重新编译hive，这个过程也很简单，只需要如下步骤：
hive0.12是基于hadoop1.x的，hbase是基于hadoop2.2.0的，所以要解决hive的hadoop版本问题，重新编译：
安装svn
sudo yum install -y subversion
svn checkout http://svn.apache.org/repos/asf/hive/branches/branch-0.12 或者
安装maven
下载地址：http://maven.apache.org/download.cgi
切换到branch-0.12,开始编译hive
mvn clean package -DskipTests -Phadoop-2
2.编译是需要maven的，如果你机器没有配置maven，需要从http://maven.apache.org/download.cgi 下载maven，然后解压出来并在PATH下把$maven_home/bin加入，然后在dos下或者shell下运行mvn –-version,就能知道maven是否配置成功
3.配置好maven开始编译hive，我们cd到下载源码的branch-0.12 目录，然后运行mvn clean package -DskipTests -Phadoop-2开始编译
4.编译好后的新jar包是存放在各个模块下的target的，这些新jar包的名字都叫hive-***-0.13.0-SNAPSHOT.jar，***为hive下的模块名，我们需要运行命令将其拷贝到hive-0.12.0/lib下。
find /home/hadoop/branch-0.12 -name "hive*SNAPSHOT.jar"|xargs -i cp {} /home/hadoop/hive-0.12.0/lib。
拷贝过去后我们比照着删除原lib下对应的0.12版本的jar包
hiveserver不能正常启动
出现问题：
报错如下：
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.
原因：端口被占用或IP配置不正确
查看端口进程：lsof -i tcp:10001 查看所有端口：netstat -ntlp
root@centos:# lsof -i tcp:10000
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 26781 root 264u IPv4 3576031 0t0 TCP *:ndmp (LISTEN)
root@centos:# kill -9 进程id，即kill -9 26781
hive连接eclipse不能复杂查询
记住：一定要把防火墙关掉，或者开放端口 service iptables stop
问题描述
在Hive查询时，可以运行desc table;select * from table limit n;
但是涉及到复杂一点的，在CLI下需要运行mapreduce的时候，
如select count(*) from table 或者 select * from table where 1=1
解决思路：
就会报错，一般在eclipse下找不到出错的原因，这时候可以查看
hive --service hiveserver --hiveconf hive.root.logger=DEBUG,console输出的调试信息
这一次遇到的错误是因为，hive-hbase-handle-0.12.0.jar在/usr/local/hive/lib/下找不到，
mv hive-hbase-handle-0.13.1.jar hive-hbase-handle-0.12.0.jar 即可
由此看来，hive-hbase-handle 是一个很重要的jar类。
解决hive的jdbc临时目录的权限问题
遇到问题
select * from flag where 1 =1 and cust_no = 'A3325221981121080410' limit 5java.sql.SQLException: Error while processing statement: FAILED: RuntimeException org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=WRITE, inode="/tmp/hive-hive":hive:hdfs:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:234) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:214) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:158) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5202) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5184)
查看权限
[root@HADOOP7 ~]# hadoop fs -ls /tmp Found 5 items drwxr-xr-x - hdfs hdfs 0 2014-10-22 17:06 /tmp/hive-hdfs drwxr-xr-x - hive hdfs 0 2014-09-22 10:41 /tmp/hive-hive drwxr-xr-x - root hdfs 0 2014-10-28 10:50 /tmp/hive-root -rw-r--r-- 3 Administrator hdfs 3 2014-09-01 16:18 /tmp/qq.txt -rw-r--r-- 3 Administrator hdfs 20 2014-09-03 11:08 /tmp/test.txt
修改权限
[root@HADOOP7 ~]# hadoop dfs -chmod -R 755 /tmp/
