hive+mysql安装、hive.metastore.local属性的真正用途

  本文对Hive+mysql的安装做一个总结,后期会把Hive的一些资料放上来:

1.安装目标:

  Hive搭配远程Mysql

2.要点总结:

  1).Mysql的配置:

    假如Hive以hive用户连接Mysql,以root用户登录Mysql:

      drop user hive@'%';

      grant all on db.* to hive@'%' identified by '密码';(使用户可以远程连接Mysql)

      grant all on db.* to hive@'localhost' identified by '密码';(使用户可以本地连接Mysql)
      flush privileges;

  2).Hive的安装:

    a).安装包和环境的匹配:

      本人安装的是apache hadoop-1.0.x+Hive0.8。

    b).Hive安装

      解压安装包,并在~/.bash_profile中添加HIVE_HOME环境变量,同时修改Path;

      从mysql官网下载自己喜欢version的mysql-connector-java-version-bin.jar,放到$HIVE_HOME/lib下;

      在$HIVE_HOME/conf下把hive-site.xml.example rename为hive-site.xml;

      将hive.metastore.local属性设置为true

      其它需要修改的属性为:

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.1.234:3306/hivedb?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

  <property>
  <name>hive.cluster.delegation.token.store.zookeeper.connectString</name>
  <value>192.168.7.14:2181</value>
  <description>The ZooKeeper token store connect string.</description>
  </property>

 

3.metadata远程存储和hive.metastore.local属性的说明:

  官网上对hive.metastore.local属性的解释为:local or remote metastore (Removed as of Hive 0.10: If hive.metastore.uris is empty local mode is assumed, remoteotherwise);即本地或者远程的元数据(在hive0.10版本上删除列这个属性;如果hive.metastore.uris属性为空,则默认为本地模式,否则为远程模式)。

  而hive将元数据存储在 RDBMS 中,有三种模式可以连接到数据库:

  1)ingle User Mode: 此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit Test。 

  2)Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式。 

  3)Remote Server Mode:用于非 Java 客户端访问元数据库,在服务器端启动一个 MetaStoreServer,客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库。

  如果配置远程存储metadata,则需要先在远程端启动hive的元数据存储Server服务:hive --service metastore;Server端配置上面介绍的相同即可。默认的端口号是9083,我在conf目录下所有文件里没有grep到此端口,但是用netstat -anp |grep 9083能看到此端口处于监听状态,停止服务后,端口释放,所以此版本端口号是在程序里写死的。

  client端的配置:

hive.metastore.uris thrift://<host_name>:<port> host and port for the thrift metastore server
hive.metastore.local false this is local store
hive.metastore.warehouse.dir <base hdfs path> default location for Hive tables.

  client端配置好后,执行hive命令去Server端取meta数据,而Server端数据存储于mysql,将元数据存储和Hive服务分开,详细的官方文档:https://cwiki.apache.org/Hive/adminmanual-metastoreadmin.html#AdminManualMetastoreAdmin-RemoteMetastore

  至此,终于明白列hive.metastore.local属性的作用!

posted @ 2013-02-28 14:51  成金之路  阅读(10258)  评论(0编辑  收藏  举报