Hive的配置详解和日常维护

　　　　　　　　　　　　Hive的配置详解和日常维护

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

一.Hive的参数配置详解

1>.mapred.reduce.tasks

　　默认为-1。指定Hive作业的reduce task个数，如果保留默认值，则Hive 自己决定应该使用多少个task。

2>.hive.mapred.mode

　　2.x下的默认值为strict，1.x以及之前的版本默认值为nonstrict。如果 设为strict，Hive将禁止一些危险的查询：分区表未用分区字段筛选； order by语句后未跟limit子句；join后没有on语句从而形成笛卡尔积。

3>.hive.merge.mapfiles

　　默认为true。如果设置为true，Hive在只有map（没有reduce）的作业结束时合并小文件，否则不会进行合并。

4>.hive.merge.mapredfiles

　　默认为false。如果设置为true，Hive在map/reduce作业结束时合并小文 件，否则不会进行合并。注意和上一个参数区别。

5>.hive.exec.parallel

　　默认为false。是否启用作业并发执行，如果启用，一些不冲突的task可 以同时执行，例如在join语句中访问不同表获取数据的task

6>.hive.exec.reducers.bytes.per.reducer

　　该参数在0.14.0之前默认为1,000,000,000（约1GB），在0.14.0及以后默 认为256,000,000（约256MB）。该参数控制每个reducer平均处理的字节 数，默认值不一定适合所有的情况，应该根据企业内Hive作业通常处理的 数据量、集群节点数等参数来酌情配置。

7>.hive.exec.dynamic.partition

　　该参数在0.9.0前默认为false，在0.9.0及以后默认为true。Hive课中介 绍过此参数，用于控制是否启用动态分区特性，如果启用，往分区表中插 入数据而指定的分区又不存在时，可以自动创建分区。

8>.hive.exec.dynamic.partition.mode

　　默认为strict。如果设为该值，则在使用动态分区时用户需要指定至少一 个静态分区列，如果设为nonstrict则无此要求。

9>.hive.exec.mode.local.auto

　　默认为false。控制Hive是否在输入文件较小时启用本地运行特性，默认 不开启，一般不建议开启。还有两个参数 hive.exec.mode.local.auto.inputbytes.max和 hive.exec.mode.local.auto.input.files.max两个参数可以控制总输入 字节数和总输入文件个数的门限。

10>.hive.auto.convert.join

　　该参数在0.11.0之前默认为false，在0.11.0及以后默认为true。控制 Hive是否根据输入表的大小将普通join（reduce端）自动转化为map join， 较高版本默认都是开启的，不建议关闭。

11>.hive.exec.scratchdir

　　用于储存map/reduce阶段的查询计划和中间输出数据的HDFS路径，默认值 被调整过多次，在0.14.0后是/tmp/hive。还有一个参数 hive.scratch.dir.permission用于创建该目录时的权限，默认为700。这 个路径通常不会调整，但需要心里有数，很多时候hive sql异常终止时， 会在该路径下遗留大量中间数据，时间长了浪费HDFS空间，建议定期清理。

12>.hive.map.aggr

　　默认为true。在带GROUP BY的查询中是否启用map端聚合。不需要调整。

13>.hive.metastore.warehouse.dir

　　默认为/user/hive/warehouse，用于配置Hive默认的数据文件存储路径， 这是一个HDFS路径。可按需调整。

14>.hive.default.fileformat

　　默认为TextFile。在CREATE TABLE语句中使用的默认文件存储格式，可选 值有TextFile，SequenceFile，RCfile，ORC，Parquet。一般来说，为了 调试方便（可以直接将文件下到本地并用文本编辑器打开），在测试时不 会改动该参数，在上线后可酌情修改，即使不修改，也可以使用CREATE TABLE ... STORED AS TEXTFILE|SEQUENCEFILE|RCFILE|ORC|... 这样的 语法对每个表单独设置文件格式。

15>.hive.exec.compress.output

　　默认为false。控制hive sql的输出是否要压缩。一般不修改该值，而是 需要压缩时对某条sql单独指定。

16>.hive.exec.compress.intermediate

　　默认为false。控制非最终结果的中间stage的输出是否要压缩。一般不修 改该值，而是需要压缩时对某条sql单独指定。

17>.hive.execution.engine

　　默认为mr，但是在2.0.0后被标记为deprecated。决定Hive的执行引擎， 可选值有mr，tez，spark。在2.0.0后标记过期的原因是新版本的Hive已 经将Spark作为默认的执行引擎，只有在找不到Spark时才会回到用 MapReduce执行。

18>.hive.exec.reducers.max

    要使用的 reducer 的最大数量。如果配置参数 Hive Reduce Tasks 为负，则 Hive 会将 reducer 数量限制为此参数的值。我集群的默认值是：1099，修改后的值为250。

19>.hive.map.aggr.hash.percentmemory

　　map端聚合时hash表所占用的内存比例，默认0.5，这个在map端聚合开启后使用,我们可以设置为0.6

20>.hive.cli.print.header

    查询输出时是否打印名字和列，默认是false.

21>.hive.cli.print.current.db

    hive的提示里是否包含当前的db，默认是false.

22>.其他参数

　　详情请参考：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties

23>.以下几个参数是我生产环境线上的hive调优策略，仅供参考

<property>
  <name>hive.cli.print.current.db</name>
   <value>true</value>
   <description>Whether to include the current database in the Hive prompt.</description>
</property>

<property>
  <name>hive.exec.reducers.max</name>
  <value>250</value>
</property>

<property>
  <name>hive.exec.parallel</name>
  <value>true</value>
</property>

<property>
  <name>hive.auto.convert.join</name>
  <value>false</value>
</property>

<property>
  <name>hive.exec.parallel.thread.number</name>
  <value>3</value>
</property>

<property>
  <name>hive.mapjoin.maxsize</name>
  <value>10000000</value>
</property>

<property>
  <name>hive.mapjoin.followby.gby.localtask.max.memory.usage</name>
  <value>0.60</value>
</property>

<property>
  <name>hive.map.aggr.hash.percentmemory</name>
  <value>0.60</value>
</property>

二.Hive的日常运维

1>.SQL问题

根据Hive的执行机制，如果遇到SQL出现问题的情况，我们首先需要查看日志，然后根据错误出现的层面不同进行处理： 
　　（1）如果是执行引擎层面的错误，会抛出相应的MapReduce或Spark异常。 
　　（2）如果并非第1点的问题，基本都是SQL层面的错误。此类问题也分为多种：如HiveSQLException: Error while compiling statement: No privilege ...是在校验权限时出现权限不足的问题；FAILED: SemanticException [Error xxxx] 是出现Hive SQL书写语法上的问题； 等等。解决此类问题，还是需要有一些Hive SQL使用的基础知识，区分第1类问题还是第2类问题非常简单，看抛出异常的时间即可，如SQL开始执行的一两秒内即抛出异常，基本都是SQL层面问题， 比较长时间才抛出来的基本都是执行引擎层面的问题。
　　（3）慢SQL问题。严格来说这部分问题不应由运维处理（然而大数据领域并不像关系型数据库一样有专门的DBA方向）。作为技能上的备份和补充， 运维方向同学可补充一些Hive特有的机制，如map端连接、分区、分桶、 map端聚合等等，以及explain等语句的用法，在别人搞不定时可有效介入。

2>.元数据管理

Hive运维的另一项重要工作是元数据管理。虽然Hive元数据出现问题的概 率较低，但出问题的后果比较严重，因此我们进行一下深入学习。 
 
与Hive元数据相关的主要服务有两个，每个又有两种模式： 
　　元数据数据库（用于储存元数据），分为本地/内置的元数据库（Derby） 和远程元数据库（利用其他支持的关系型数据库）。
　　数据服务器（用于提供元数据查询服务，响应修改请求），分为本地 /内置的元数据服务器和远程元数据服务器。 

核心配置有以下几个:
    javax.jdo.option.ConnectionURL 
    　　元数据库的JDBC连接串。 

    javax.jdo.option.ConnectionDriverName 
　　　　元数据库的JDBC驱动类名。 

    hive.metastore.uris 
　　　　元数据服务器的URI，以thrift开头，如果启动了多个元数据服务器（通 常因为HA考虑），则可用逗号分隔填写多个URI。 

    hive.metastore.warehouse.dir 
　　　　默认为/user/hive/warehouse，用于配置Hive默认的数据文件存储路径， 这是一个HDFS路径。可按需调整。    

元数据库的可用性：
　　使用Mysql的主从或主主复制可以实时同步数据，实在没有这样的条件，至少需要定期备份。

3>. 想使用远程的Mysql数据库作为元数据库，并使用远程元数据服务器需要经历以下步骤

1>.安装Mysql，略 

2>.在希望启动远程元数据服务器的主机上，修改hive配置文件的以下项： javax.jdo.option.ConnectionURL 设为jdbc:mysql://<host name>/ <database name>?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName 设为com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName 设为<user name> javax.jdo.option.ConnectionPassword 设为<password> 

3>.在该机器上，执行hive --service metastore 启动元数据服务器（如 果想使用非默认的端口，还可以加-p参数） 

4>.在客户端主机上，修改hive配置文件中的以下项： hive.metastore.uris 设为thrift://<host_name>:<port> ，其中 hist_name和port为元数据服务器的参数 hive.metastore.warehouse.dir 设为一个HDFS路径，可以不修改 

5>.尝试连接hive

4>.元数据库的升级

　　不同大版本的Hive间元数据库的schema是不一致的，因此升级Hive时很重要的一步是升级元数据库。Hive自带一个schematool工具，可以执行元数据库相关的各种运维操作，如对derby的元数据库，从 0.10.0升级到用户的版本（假设为0.13.0），可用如下命令： 
　　　　$ schematool -dbType derby -upgradeSchemaFrom 0.10.0 
　　　　Metastore connection URL:        jdbc:derby:;databaseName=metastore_db;create=true 
　　　　Metastore Connection Driver :    org.apache.derby.jdbc.EmbeddedDriver 
　　　　Metastore connection User:       APP 
　　　　Starting upgrade metastore schema from version 0.10.0 to 0.13.0 
　　　　Upgrade script upgrade-0.10.0-to-0.11.0.derby.sql 
　　　　Completed upgrade-0.10.0-to-0.11.0.derby.sql Upgrade script 
　　　　upgrade-0.11.0-to-0.12.0.derby.sql 
　　　　Completed upgrade-0.11.0-to-0.12.0.derby.sql 
　　　　Upgrade script upgrade-0.12.0-to-0.13.0.derby.sql 
　　　　Completed upgrade-0.12.0-to-0.13.0.derby.sql 
　　　　schemaTool completed

三.课后作业

　　参数的详细解释和未提及的参数可参考官方文档： https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties

　　阅读元数据运维的官方文档：https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+Administration。

posted @ 2019-06-21 16:34 尹正杰阅读(1073) 评论(0) 编辑收藏举报

刷新页面返回顶部

尹正杰

Hive的配置详解和日常维护

公告