SparkOnHive启动测试

# 第一种： Local 方式启动 Spark
cd /export/server/spark
bin/spark-sql --master local[2] --conf spark.sql.shuffle.partitions=2

# 第二种：Standalone 方式启动 Spark
cd /export/server/spark
bin/spark-sql --master spark://node1:7077 --executor-memory 512m --total-executor-cores 1


show databases;
show tables;

# 启动 ThriftServer 服务
# 进入 Spark 目录
cd /export/server/spark

# 启动服务
sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10001 \
--hiveconf hive.server2.thrift.bind.host=node1 \
--master local[2]

# 停止使用
sbin/stop-thriftserver.sh

# 查看 WEB-UI 界面
http://node1:4040/jobs/


# 使用 SparkSQL 的 beeline 客户端命令行连接 ThriftServer
# 进入 Spark 目录
cd /export/server/spark

# 启动 beeline
bin/beeline

# 输入连接信息
!connect jdbc:hive2://node1:10001

# 依次输入用户名和密码

start-all.sh
nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &
nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &
mr-jobhistory-daemon.sh start historyserver
/export/server/spark/sbin/start-history-server.sh

cd /export/server/spark
bin/spark-sql --master local[2] --conf spark.sql.shuffle.partitions=2

exit;



# 启动服务
sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10000 \
--hiveconf hive.server2.thrift.bind.host=node1 \
--master local[2]

# 停止使用
sbin/stop-thriftserver.sh


# 进入 Spark 目录
cd /export/server/spark

# 启动 beeline
bin/beeline

# 输入连接信息
!connect jdbc:hive2://node1:10001

# 依次输入用户名和密码