SQuirrel连接hive配置

1.     简介

  最近由于大数据部门相关同事离职,不得不研究一下大数据相关组件,今天成功安装配置Hive,简单记录,一是为了加深印象,二是为以后备用,三是为大家提供参考,避免少踩坑。

  在Hive的官网上介绍三种可视化工具用于Windows系统中,可以通过JDBC连接Hive,包括:SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。由于个人精力有限目前只研究了一个工具,SQuirrel Sql client 可视化数据库工具基本可满足要求。

  Squirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL、MSSQL、Hive、Phoenix等支持JDBC访问的数据库,可以在windows中直接连接Hive。

2.     下载地址及使用版本

  参考资料:官网地址 http://www.squirrelsql.org/, 可直接从官网下载。

  本教程使用Hive版本信息如下:

  使用命令:hive –version

  版本信息:Hive 2.3.3

  下载及安装过程不再赘述,直接进入配置环节。

3.     Hive配置与启动过程

  在使用SQuirrel SQL Client链接Hive之前,首先确保Hive的远程metastore服务及HiveServer2服务已经启动,并且有访问权限。

3.1 配置远程metastore服务

  1)首先配置hive集成mysql存储metastore(本地或远程mysql存储,相信大家已经配置完成,如果没有可参考文章***);

  2)配置hive客户端,修改hive-site.xml:(服务器B-需要有hadoop环境)

  使用远程metastore,配置如下:

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://metastore_server_ip:9083</value>        <!-- 此处是服务器ip -->
  <description></description>
</property>

  Hadoop的core-site.xml文件中配置hadoop代理用户,配置如下:

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

  解释:root用户提交的任务可以在任意机器上以任意组的所有用户的身份执行。 若不设置,后续连接时会报如下错误:

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):User: root is not allowed to impersonate anonymous

设置完成后,需要重启Hadoop。(./stop-all.sh   ./start-all.sh)

    3)配置完成后,启动服务:$HIVE_HOME/bin/hive --service metastore  & (默认监听端口:9083)

3.2 启动hiveservice2服务

  $HIVE_HOME/bin/hive --service hiveserver2 &

  经过以上两个步骤,可查看已启动的服务:

 

4.     SQuirrel配置

4.1 运行SQuirrel SQL Client

运行SQuirrel SQL Client程序,增加hive driver,如下图所示:

 

4.2 配置驱动程序

如上图,单击加号,输入相应参数,如下图所示:

 

  其中,图片序列号解释:

    3 Example URL:jdbc:hive2://server_ip:10000/bbbTest。意思是:通过jdbc连接HiveServer2,端口号是10000,数据库名称为bbbTest。

    4与5通过【增加】指定附加类路径。5表示依赖的Jar包,这些Jar包可以在Hadoop和Hive的安装目录中的lib文件夹中找到,包括:      

      commons-configuration-1.6.jar
      hadoop-common-2.8.4.jar
      hive-common-2.3.3.jar
      hive-contrib-2.3.3.jar
      hive-jdbc-2.3.3.jar
      hive-metastore-2.3.3.jar
      hive-serde-2.3.3.jar
      hive-service-2.3.3.jar
      hive-service-rpc-2.3.3.jar
      httpclient-4.4.jar
      httpcore-4.4.jar
      libthrift-0.9.3.jar

 

  6 类名(Class Name):org.apache.hive.jdbc.HiveDriver              【会自动加载,如果多个可选择】

  正确无误配置完成后,在已经注册的Driver列表中,会显示如下截图,对号表示注册成功,如果注册失败会有相应的红色叉号。如下图所示:

 

4.2 连接Hive Server服务

驱动安装成功后,切换到【别名】页,单击加号如下顺序,配置相关参数,测试成功。

 

4.3 打开已创建的数据库

 

4.4 新创建数据库

  打开 Sql 查询窗口,创建一个表,Sql如下:    

CREATE TABLE server_log(logtime INT, userid BIGINT, username STRING, address STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

  执行:show tables;  如下图所示:

 

  或查看对象,如下图所示:

 

 

posted on 2018-07-13 11:32  幸福鳥  阅读(1677)  评论(0编辑  收藏  举报

导航