sparkthriftserver启动及调优

Sparkthriftserver启用及优化

1、  概述

sparkthriftserver用于提供远程odbc调用，在远端执行hive sql查询。默认监听10000端口，Hiveserver2默认也是监听10000端口，为了避免冲突，需要修改sparkthriftserver的端口。启用sparkthriftserver需要将hive-site.xml文件copy到spakr的conf目录下，元数据存储在mysql中，所以还需要mysql-connector-java-5.1.43-bin.jar，用于连接mysql。

 

 

2、  配置

1）hive-site.xml配置文明如下：

# cat hive-site.xml

<configuration>

<property>

      <name>hive.server2.thrift.bind.host</name>

      <value>0.0.0.0</value>

      <description>metadata is stored in a MySQL server</description>

   </property>

 <property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value>

      <description>metadata is stored in a MySQL server</description>

   </property>

   <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

      <description>MySQL JDBC driver class</description>

   </property>

   <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>root</value>

      <description>user name for connecting to mysql server</description>

   </property>

   <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>1qaz*@WSX</value>

      <description>password for connecting to mysql server</description>

   </property>

   <property>

         <name>hive.metastore.warehouse.dir</name>

         <value>/data/metastore/</value>

             <description>location of default database for the warehouse</description>

         </property>

    <property>

        <name>bson.output.build_splits</name>

        <value>false</value>

     </property>

     <property>

        <name>bson.split.write_splits</name>

        <value>false</value>

     </property>

     <property>

        <name>bson.split.read_splits</name>

        <value>false</value>

     </property>

     <property>

        <name>hive.cli.print.header</name>

        <value>true</value>

     </property>

     <property>

        <name>mapred.reduce.child.java.opts</name>

        <value>-Xmx2g</value>

     </property>

</configuration>

 

2)首先将下载好的mysql-connector-java-5.1.43-bin.jar复制到spark的jars目录下

 

 

重新启动spark服务，会将jar加载进去。本文用的是将metastore存储到mysql，通过如下配置实现：

<property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value>

      <description>metadata is stored in a MySQL server</description>

   </property>

   <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

      <description>MySQL JDBC driver class</description>

   </property>

   <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>root</value>

      <description>user name for connecting to mysql server</description>

   </property>

   <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>1qaz*@WSX</value>

      <description>password for connecting to mysql server</description>

   </property>

配置完成后，需要到mysql里面进行授权，例如本例：

>grant metastore.* to root@localhost identified by ‘1qaz*@WSX’;

>flush privileges;

 

3、  启动

启动sparkthriftserver很简单，只需要到spark的sbin目录下，有个start-thriftserver.sh，直接执行这个脚本就可以成功启动了。如果内网有防火墙只需要开放端口或做端口映射就可以了，这里不做详尽的介绍。

#cd /data/spark-2.2.0-bin-hadoop2.7/sbin

#./start-thriftserver.sh

 

这样一个默认配置的服务就启动好了，可以通过远端下载相应的ODBC工具进行连接，我们需要tableau使用，所以下载Simba Spark 1.2 64-bit。具体安装配置见另外一篇文章：。

 

这样测试环境可以使用，但是线上用这样的配置就会经常发生服务蹦掉现象，所以需要进行优化。

 

4、  优化

优化主要在两个方面入手：1是spark；2是thriftserver

Spark优化，见spark的文章。此处只对2进行介绍：

启动的时候指定executor-memory、total-executor-cores:

启动方式如下：

./start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --master spark://spark:7077 --driver-class-path /data/spark-2.2.0-bin-hadoop2.7/jars/mysql-connector-java-5.1.43-bin.jar --executor-memory 5g --total-executor-cores 5

 

 

--hiveconf 指定启动的端口，也可以写在hive-site.xml里面；--master指定spark的地址 spark://spark:7077  第二个spark是spark所在服务器的主机名，需要在hosts文件里面做一下解析，添加一条记录。

--executor-memory 5g 指定每个executor占用的内存大小，我这里设置了5g这个需要根据自己的环境和数据量的大小来确定；--total-executor-cores 5指定占用的cpu核数，这个值需要根据当前服务器的总的cpu核数以及其他服务使用cpu的情况来确定。此处指定的内存和cpu的core是永久占用的。可以在spark UI来查看。

 

5、为了方便启动和重启，制作了一个启动脚本

 #cat /etc/init.d/spark-thriftserver.sh

#!/bin/bash
# chkconfig: 90 79 80
# descriptions: This script is using to satrt|stop spark-thriftserver
pid=`netstat -tunlp | grep 10000| awk '{print $NF}'|awk -F "/" '{print $1}'`
case $1 in
start)
cd /data/spark-2.2.0-bin-hadoop2.7/sbin/
./start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --master spark://spark:7077 --driver-class-path /data/spark-2.2.0-bin-hadoop2.7/jars/mysql-connector-java-5.1.43-bin.jar --executor-memory 5g --total-executor-cores 5
;;
stop)
 kill -9 $pid
;;
*)
echo "Usage: $0 satrt|stop"
esac