大叔问题定位分享（42）yarn被利用提交get-shell任务挖矿

背景

某天开始集群网络带宽被占满

登录出问题的节点，通过iftop发现有大量出网方向的流量

hadoop-* => c-73-29-172-82.hsd1.nj.comcast.net 422Mb 433Mb 236Mb
<= 0b 0b 0b
hadoop-* => cpe-75-187-235-200.neo.res.rr.com 358Mb 391Mb 440Mb

同时发现问题节点上有大量的异常进程，启动用户是yarn

到yarn上发现有一个异常的应用，name为get-shell

yarn的ResourceManager的8088端口，可以向该端口提交get-shell任务，这个任务会启动2个进程，然后启动其他同名进程，这些进程向外网传输数据。

清理进程

ps aux|grep Vm6RUIoCjV7jGf5

追踪来源

清理get-shell任务之后，不确定是从内网还是外网提交get-shell任务，将8088端口改为nginx端口，记录任务提交记录，等待下次任务提交，发现

172.245.81.123 - - [08/Feb/2022:19:08:48 +0800] "POST /ws/v1/cluster/apps/new-application HTTP/1.1" 200 243 "-" "python-requests/2.6.0 CPython/2.7.5 Linux/3.10.0-1160.53.1.el7.x86_64" "-"

ip是美国的ip，来自外网，进一步排查发现是安全策略有个漏洞，原本放开的是内网网段，但是这个外网ip恰好被匹配到，导致恶意用户直接穿透到内网的yarn。

类似案例参考：yarn集群8088端口被攻击挖矿