菜鸟的博客

纵有疾风起,人生不言弃。

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

SparkOnHive启动测试

复制代码
# 第一种: Local 方式启动 Spark
cd /export/server/spark
bin/spark-sql --master local[2] --conf spark.sql.shuffle.partitions=2

# 第二种:Standalone 方式启动 Spark
cd /export/server/spark
bin/spark-sql --master spark://node1:7077 --executor-memory 512m --total-executor-cores 1


show databases;
show tables;

# 启动 ThriftServer 服务
# 进入 Spark 目录
cd /export/server/spark

# 启动服务
sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10001 \
--hiveconf hive.server2.thrift.bind.host=node1 \
--master local[2]

# 停止使用
sbin/stop-thriftserver.sh

# 查看 WEB-UI 界面
http://node1:4040/jobs/


# 使用 SparkSQL 的 beeline 客户端命令行连接 ThriftServer
# 进入 Spark 目录
cd /export/server/spark

# 启动 beeline
bin/beeline

# 输入连接信息
!connect jdbc:hive2://node1:10001

# 依次输入用户名和密码
复制代码
复制代码
start-all.sh
nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &
nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &
mr-jobhistory-daemon.sh start historyserver
/export/server/spark/sbin/start-history-server.sh

cd /export/server/spark
bin/spark-sql --master local[2] --conf spark.sql.shuffle.partitions=2

exit;



# 启动服务
sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10000 \
--hiveconf hive.server2.thrift.bind.host=node1 \
--master local[2]

# 停止使用
sbin/stop-thriftserver.sh


# 进入 Spark 目录
cd /export/server/spark

# 启动 beeline
bin/beeline

# 输入连接信息
!connect jdbc:hive2://node1:10001

# 依次输入用户名和密码
复制代码

 

posted on   hhmzd233  阅读(4)  评论(0编辑  收藏  举报

点击右上角即可分享
微信分享提示