Spark Thrift Server

Spark Thrift Server是Spark社区基于HiveServer2实现的一个Thrift服务
协议和接口同HiveServer2完全一致,无缝兼容HiveServer2
目的是取代HiveServer2,依旧可以和Hive的Metastore进行交互,获取Hive元数据
部署Spark Thrift Server后,可以直接使用Hive的Beeline客户端工具访问Spark Thrift Server执行相关语句。

1.将Hive的配置文件hive-site.xml拷贝到Spark的配置目录下

cp /usr/hive/apache-hive-3.1.3-bin/conf/hive-site.xml /usr/spark/spark-3.5.0-bin-hadoop3/conf

2.将Mysql JDBC驱动放置在Spark的jars目录下

1.下载Mysql JDBC驱动

地址1(Mysql官方托管):https://downloads.mysql.com/archives/c-j/
image

地址2(Maven中央仓库托管): https://mvnrepository.com/artifact/com.mysql/mysql-connector-j
image

2.拷贝驱动

cp /home/mysql-connector-j-8.0.33.jar /usr/spark/spark-3.5.0-bin-hadoop3/jars

3.将Hadoop的core-site.xmlhdfs-site.xml拷贝到Spark配置目录下

cp /usr/hadoop/hadoop-3.3.6/etc/hadoop/{hdfs-site.xml,core-site.xml} /usr/spark/spark-3.5.0-bin-hadoop3/conf

4.启动Spark Thrift Server

/usr/spark/spark-3.5.0-bin-hadoop3/sbin/start-thriftserver.sh

5.测试

/usr/spark/spark-3.5.0-bin-hadoop3/bin/beeline -u jdbc:hive2://192.168.58.130:10000 -n root

作者:奇

出处:https://www.cnblogs.com/fanqisoft/p/17965158

版权:本作品采用「本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。」许可协议进行许可。

posted @   SpringCore  阅读(804)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
历史上的今天:
2019-01-15 在Spring(4.3.22)中集成Hibernate(5.4.0)
2019-01-15 Hibernate5.4的环境搭建
more_horiz
keyboard_arrow_up light_mode palette
选择主题
点击右上角即可分享
微信分享提示