SparkOnHive启动测试
# 第一种: Local 方式启动 Spark cd /export/server/spark bin/spark-sql --master local[2] --conf spark.sql.shuffle.partitions=2 # 第二种:Standalone 方式启动 Spark cd /export/server/spark bin/spark-sql --master spark://node1:7077 --executor-memory 512m --total-executor-cores 1 show databases; show tables; # 启动 ThriftServer 服务 # 进入 Spark 目录 cd /export/server/spark # 启动服务 sbin/start-thriftserver.sh \ --hiveconf hive.server2.thrift.port=10001 \ --hiveconf hive.server2.thrift.bind.host=node1 \ --master local[2] # 停止使用 sbin/stop-thriftserver.sh # 查看 WEB-UI 界面 http://node1:4040/jobs/ # 使用 SparkSQL 的 beeline 客户端命令行连接 ThriftServer # 进入 Spark 目录 cd /export/server/spark # 启动 beeline bin/beeline # 输入连接信息 !connect jdbc:hive2://node1:10001 # 依次输入用户名和密码
start-all.sh nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore & nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 & mr-jobhistory-daemon.sh start historyserver /export/server/spark/sbin/start-history-server.sh cd /export/server/spark bin/spark-sql --master local[2] --conf spark.sql.shuffle.partitions=2 exit; # 启动服务 sbin/start-thriftserver.sh \ --hiveconf hive.server2.thrift.port=10000 \ --hiveconf hive.server2.thrift.bind.host=node1 \ --master local[2] # 停止使用 sbin/stop-thriftserver.sh # 进入 Spark 目录 cd /export/server/spark # 启动 beeline bin/beeline # 输入连接信息 !connect jdbc:hive2://node1:10001 # 依次输入用户名和密码
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步