Spark——常用命令
- 查看正在处理(appStatus=SUBMITED、ACCEPTED、RUNNING)的应用
yarn application -list
- 查看所有的应用
yarn application -list -appStates ALL
- 查看某个应用的状态
yarn application -status application_1596107846796_0002
- 查看某个应用的日志
# 在控制台查看日志
yarn logs -applicationId application_1596107846796_0002
# 把日志输出到文件
yarn logs -applicationId application_1596867281939_0001>application_0001
注:1、应用的状态为(FINISHED、KILLED)才能使用该命令查看日志
2、yarn-site.xml 要进行以下配置:
<!--log--> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds</name> <value>3600</value> </property> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/tmp/logs</value> </property>
- 停止某个应用
yarn application -kill application_1596107846796_0002
注:直接在UI界面或者是终端kill掉任务都是不对的,该任务可能还会继续执行下去,所以要用如下命令才算完全停止该job的执行