大数据指令汇总

目录

• 使用Finalshell作为连接机器
  • 界面
  • 命令汇总
    • 针对全部会话的命令
      • Zookeeper集群启动：
      • Zookeeper集群状态：
      • Zookeeper集群关闭：
    • 针对当前会话的命令
      • Hadoop启动：
      • Hadoop关闭：
      • hive1启动：
      • hive2启动：
      • beeline启动：
      • beeline登录（账户是root，密码为空）：
      • hbase启动：
      • habse客户端启动：
      • phoneix启动：
      • conda激活spark环境：
      • spark启动：
      • node2启动spark：
      • spark-Yarn启动：
      • spark-Yarn-shell启动：
      • spark-Yarn-submit启动：
      • spark-Master启动:
      • spark-Master-shell启动：
      • spark-Master-submit启动：
      • spark关闭命令：
      • hbase关闭命令：
      • hive关闭：
      • 启动顺序：
      • 关闭顺序：

使用Finalshell作为连接机器

界面

可以将命令保存在finalshell里，这样就不用每次都输入命令，最好是将Hadoop配置到环境变量里，减少命令的长度与复杂度。

命令汇总

针对全部会话的命令

只有zookeeper需要针对所有的机器发送命令，包括启动、关闭、状态，点击finalshell最下方那个当前会话选择为全部会话即可，前提是三台集群都用finalshell打开并连接。

Zookeeper集群启动：

zkServer.sh start

Zookeeper集群状态：

zkServer.sh status

Zookeeper集群关闭：

zkServer.sh stop

针对当前会话的命令

几乎所有的命令都在node1这台机器上发送，包括Hadoop的启动与关闭等等。

Hadoop启动：

start-all.sh

Hadoop关闭：

stop-all.sh

hive1启动：

nohup hive --service metastore &

hive2启动：

nohup hive --service hiveserver2 &

hive1以及hive2的启动由于采用的不打印日期，所以需要两下回车才算启动，启动需要一定的时间，等待一两分钟后再启动beeline。

beeline启动：

beeline

beeline登录（账户是root，密码为空）：

! connect jdbc:hive2://node1:10000

hbase启动：

start-hbase.sh

habse客户端启动：

hbase shell

phoneix启动：

sqlline.py node1:2181

conda激活spark环境：

conda activate pyspark

spark启动：

/export/server/spark-3.3.2-bin-hadoop3/sbin/start-all.sh

node2启动spark：

/export/server/spark-3.3.2-bin-hadoop3/sbin/start-master.sh

spark-Yarn启动：

/export/server/spark-3.3.2-bin-hadoop3/bin/pyspark --master yarn

spark-Yarn-shell启动：

/export/server/spark-3.3.2-bin-hadoop3/bin/spark-shell --master yarn

spark-Yarn-submit启动：

/export/server/spark-3.3.2-bin-hadoop3/bin/spark-submit --master yarn

spark-Master启动:

/export/server/spark-3.3.2-bin-hadoop3/bin/pyspark --master spark://node1:7077

spark-Master-shell启动：

/export/server/spark-3.3.2-bin-hadoop3/bin/bin/spark-shell --master spark://node1:7077

spark-Master-submit启动：

/export/server/spark-3.3.2-bin-hadoop3/bin/spark-submit --master spark://node1:7077 

spark关闭命令：

/export/server/spark-3.3.2-bin-hadoop3/sbin/stop-all.sh

hbase关闭命令：

stop-hbase.sh

hive关闭：

jps(查看端口号)
kill -9 hive对应的端口号(一共有两个)

启动顺序：

Hadoop-->zookeeper-->hive1-->hive2-->beeline-->hbase-->phoenix-->spark

关闭顺序：

spark-->phoenix-->hbase-->beeline-->hive2-->hive1-->zookeeper-->Hadoop

ps:

有些是可以共存的，顺序意思是指关闭某项之前要确定前一项已经关闭，打开某项之前要确定前一项已经打开，但beeline是基于hive的，它打开与否与hbase无关等等。