Spark Thrift Server
Spark Thrift Server是Spark社区基于HiveServer2实现的一个Thrift服务
协议和接口同HiveServer2完全一致,无缝兼容HiveServer2
目的是取代HiveServer2,依旧可以和Hive的Metastore进行交互,获取Hive元数据
部署Spark Thrift Server后,可以直接使用Hive的Beeline客户端工具访问Spark Thrift Server执行相关语句。
1.将Hive的配置文件hive-site.xml
拷贝到Spark的配置目录下
cp /usr/hive/apache-hive-3.1.3-bin/conf/hive-site.xml /usr/spark/spark-3.5.0-bin-hadoop3/conf
2.将Mysql JDBC驱动放置在Spark的jars目录下
1.下载Mysql JDBC驱动
地址1(Mysql官方托管):https://downloads.mysql.com/archives/c-j/
地址2(Maven中央仓库托管): https://mvnrepository.com/artifact/com.mysql/mysql-connector-j
2.拷贝驱动
cp /home/mysql-connector-j-8.0.33.jar /usr/spark/spark-3.5.0-bin-hadoop3/jars
3.将Hadoop的core-site.xml
和hdfs-site.xml
拷贝到Spark配置目录下
cp /usr/hadoop/hadoop-3.3.6/etc/hadoop/{hdfs-site.xml,core-site.xml} /usr/spark/spark-3.5.0-bin-hadoop3/conf
4.启动Spark Thrift Server
/usr/spark/spark-3.5.0-bin-hadoop3/sbin/start-thriftserver.sh
5.测试
/usr/spark/spark-3.5.0-bin-hadoop3/bin/beeline -u jdbc:hive2://192.168.58.130:10000 -n root