大数据指令汇总
使用Finalshell作为连接机器
界面
可以将命令保存在finalshell里,这样就不用每次都输入命令,最好是将Hadoop配置到环境变量里,减少命令的长度与复杂度。
命令汇总
针对全部会话的命令
只有zookeeper需要针对所有的机器发送命令,包括启动、关闭、状态,点击finalshell最下方那个当前会话选择为全部会话即可,前提是三台集群都用finalshell打开并连接。
Zookeeper集群启动:
zkServer.sh start
Zookeeper集群状态:
zkServer.sh status
Zookeeper集群关闭:
zkServer.sh stop
针对当前会话的命令
几乎所有的命令都在node1
这台机器上发送,包括Hadoop的启动与关闭等等。
Hadoop启动:
start-all.sh
Hadoop关闭:
stop-all.sh
hive1启动:
nohup hive --service metastore &
hive2启动:
nohup hive --service hiveserver2 &
hive1以及hive2的启动由于采用的不打印日期,所以需要两下回车才算启动,启动需要一定的时间,等待一两分钟后再启动beeline。
beeline启动:
beeline
beeline登录(账户是root,密码为空):
! connect jdbc:hive2://node1:10000
hbase启动:
start-hbase.sh
habse客户端启动:
hbase shell
phoneix启动:
sqlline.py node1:2181
conda激活spark环境:
conda activate pyspark
spark启动:
/export/server/spark-3.3.2-bin-hadoop3/sbin/start-all.sh
node2启动spark:
/export/server/spark-3.3.2-bin-hadoop3/sbin/start-master.sh
spark-Yarn启动:
/export/server/spark-3.3.2-bin-hadoop3/bin/pyspark --master yarn
spark-Yarn-shell启动:
/export/server/spark-3.3.2-bin-hadoop3/bin/spark-shell --master yarn
spark-Yarn-submit启动:
/export/server/spark-3.3.2-bin-hadoop3/bin/spark-submit --master yarn
spark-Master启动:
/export/server/spark-3.3.2-bin-hadoop3/bin/pyspark --master spark://node1:7077
spark-Master-shell启动:
/export/server/spark-3.3.2-bin-hadoop3/bin/bin/spark-shell --master spark://node1:7077
spark-Master-submit启动:
/export/server/spark-3.3.2-bin-hadoop3/bin/spark-submit --master spark://node1:7077
spark关闭命令:
/export/server/spark-3.3.2-bin-hadoop3/sbin/stop-all.sh
hbase关闭命令:
stop-hbase.sh
hive关闭:
jps(查看端口号)
kill -9 hive对应的端口号(一共有两个)
启动顺序:
Hadoop-->zookeeper-->hive1-->hive2-->beeline-->hbase-->phoenix-->spark
关闭顺序:
spark-->phoenix-->hbase-->beeline-->hive2-->hive1-->zookeeper-->Hadoop
ps:
有些是可以共存的,顺序意思是指关闭某项之前要确定前一项已经关闭,打开某项之前要确定前一项已经打开,但beeline是基于hive的,它打开与否与hbase无关等等。