引言
数据平台目前通过Hive SQL的方式提供数据分析服务，系统使用多台HiveServer（JDBCServer）接收客户端连接请求，实际使用场景中频频出现HiveServer内存消耗过多导致机器Swap过高，需要重启HiveServer来缓解问题，但在某些任务比较集中的时间段往往会导致大量任务执行失败（我们配备了相应的任务重试机制，但也会带来一定的影响）。
在与运维同学的流通过程中，偶然提到是否可能某台HiveServer接收的连接请求过多，执行过程中负担过重引起的（暂不考虑其它可能因素），引出如下思考：
（1）目前平台内置两种HiveServer选择算法：随机选择器（通过随机数对HiveServer数目取余）、哈希选择器（通过UUID的哈希值对HiveServer数目取余），目前采用随机选择器；
（2）目前平台两个模块需要与HiveServer频繁交互：作业管理、数据查询，随着业务发展还会有其它逐步衍生其它模块；
问题：随机（哈希）选择算法仅仅考虑单个模块内连接的均衡，而且没有考虑HiveServer正在执行的语句条数（表示繁忙程度，粒度比较粗），在这样的场景下确实可能会出现某台HiveServer在特殊时段内负担相对较重。
思路
当需要与HiveServer建立连接时，应该有一个接口能够给出当前所有HiveServer各自的工作负载情况（根据当前正在执行的SQL语句条数判断），选择工作负载最低的HiveServer进行连接。
因为一次连接存在期间，可以执行多条SQL语句，而且多个模块的存在，在每个模块内置入代码是非常不方便的，因此考虑在HiveServer内部实现。
实现
要给出当前所有HiveServer各自的工作负载情况，就需要有数据源提供当前所有HiveServer各自正在执行哪些SQL语句（条数），因此HiveServer在执行语句之前、之后需要能够给出相应通知，并持久化到数据源，依据该数据源中的实时数据，即可计算工作负载。
假设数据源为MySQL，我们至少需要这样的一张表：
| server | HiveServer名称，同一台机器可以开启多个HiveServer实例 |
| hook | PRE_EXEC_HOOK、POST_EXEC_HOOK，分别表示语句执行开始之前、执行线束之后 |
| queryId | HiveServer内部语句唯一ID |
| queryStr | 具体执行语句，可根据语句复杂度计算工作负载 |
| jobName | 平台自己设置，我们仅仅考虑会转化为MR任务的语句，jobName即为MR JobName |
| preTime | 语句执行之前的时间戳 |
| postTime | 语句执行之后的时间戳 |
问题：HiveServer如何在执行语句之前、之后发出相应的通知？
我们使用Hive Hook机制，需要实出接口ExecuteWithHookContext，核心代码如下：
QueryPlan queryPlan = hookContext.getQueryPlan();
HiveConf conf = hookContext.getConf();
String queryId = queryPlan.getQueryId();
if (StringUtils.isEmpty(queryId)) {
LOGGER.warn("queryId is null or empty, return");
return;
}
LOGGER.info("queryId: " + queryId);
String queryStr = URLEncoder.encode(queryPlan.getQueryStr(),
CharEncoding.UTF_8);
if (StringUtils.isEmpty(queryStr)) {
LOGGER.warn("queryStr is null or empty, return");
return;
}
LOGGER.info("queryStr: " + queryStr);
String jobName = conf.getVar(HiveConf.ConfVars.HADOOPJOBNAME);
LOGGER.info("jobName: " + jobName);
if (StringUtils.isEmpty(jobName)) {
LOGGER.warn("jobName is null or empty, return");
return;
}
String server = conf.get("hiveserver.execute.hook.server");
if (StringUtils.isEmpty(server)) {
LOGGER.warn("server is null or empty, return");
return;
}
LOGGER.info("server: " + server);
String rest = conf.get("hiveserver.execute.hook.rest");
LOGGER.info("rest: " + rest);
if (StringUtils.isEmpty(rest)) {
LOGGER.warn("rest is null or empty, return");
return;
}
Map<String, String> params = new HashMap<String, String>();
params.put("server", server);
params.put("hook", hookContext.getHookType().toString());
params.put("queryId", queryId);
params.put("queryStr", queryStr);
params.put("jobName", jobName);
params.put("timestamp", String.valueOf(DatetimeUtil.now()));
try {
HttpClientUtil.doPost(rest, params);
} catch (Exception e) {
LOGGER.error("do post error: "
+ ExceptionUtils.getFullStackTrace(e));
}
可以看出，该Hook同时可以用于PreHook与PostHook，而且为了保持代码的“轻量级”，并没有直接进行数据的持久化，而是通过Rest API交由外部模块处理。
此外需要在hive-site.xml文件中进行相应的设置，如下：
启动HiveServer时，需要指定该实例的名称与具体的Rest API地址，如下：
hive --service hiveserver --hiveconf hiveserver.execute.hook.server=localhost:10000 --hiveconf hiveserver.execute.hook.rest=http://localhost:8088/rest/hiveserver/send
总结
通过以上的机制可以获取到所有（指定）HiveServer当前（时段内）正在执行的语句条数（如果只有PreTime值，而PostTime值为Null，则表示该条语句正在执行），依此可以计算各自的工作负载，从而选取工作负载最小的HiveServer进行连接。
后期进一步优化时还可以充分利用JobName，平台每次执行查询任务时均会设置mapred.job.name属性，用以统计一次查询（可以有多条SQL语句）所处理的数据量、消耗的时间等信息，可以利用这些历史数据信息，用于估计当前正在执行的SQL语句的可能消耗时间，进行优化工作负载的计算。
