服务器入侵排查流程
常见入侵
挖矿
# 表象：CPU增高、可疑定时任务、外联矿池IP。
# 告警：威胁情报（主要）、Hids、蜜罐（挖矿扩散时触发）
# 动作：通过CPU确认异常情况→ 确认可疑进程 → 检查定时任务、
# 主机服务、守护进程→结束病毒进程，删除病毒文件->加固。
Webshell
# 表象：业务侧应用逻辑漏洞（允许上传脚本等造成命令执行）或者开源软件低版本造成（fastjson等）导致，
# 通常为反弹shell、高危命令执行，同时存在内网入侵、恶意程序传播、数据盗取等行为。
# 告警：Hids（主要）、流量监控设备
# 动作：确认Webshell文件内容与可用性→ 酌情断网，摘掉公网出口IP→ 通过日志等确认Webshell文件访问记录→ 确定Webshell入侵来源，
# 是业务逻辑漏洞导致、开源组件漏洞还是弱口令与未授权等情况导致 →排查应用其他机器情况，
# 全盘扫描Webshell文件→ 缩容机器，修复相关问题重新恢复应用开放。
内网入侵
# 表象：以入侵的跳板机为源头进行端口扫描、SSH爆破、内网渗透操作、域控攻击等。
# 告警：Hids（主要）、蜜罐、域控监控（ATA等）
# 动作：确定入侵边界再进行处理，通常蜜罐等存在批量扫描爆破记录，需登录前序遭入侵机器确认情况，
# 方便后续批量处理，这个情况较为复杂后期单独写一篇文章。
进程相关
1.查询可疑端口、进程、ip：netstat -antlp | more 或者 netstat -anltp | grep $pid，若存在可疑进程可通过 ls -l /proc/$PID 查看PID对应的进程文件路径。
2.针对挖矿等大量消耗系统资源的恶意程序可以通过 top（执行top命令后通过大写字母P按CPU排序，通过大写字母M按内存排序）、ps -elf 可疑$PID 、ps -aux命令检查排名靠前的或者不断变化的程序。同时使用 kill - 9 进程名 结束进程。
3.查询通过TCP、UDP连接服务器的IP地址列表：netstat -ntu ，查询可疑连接：netstat -antlp
4.查询守护进程：lsof -p $pid
5.查询进程命令行：ps -aux ，#注意查看命令行，如：带有URL等可疑字符串、wget等命令字符串可能为病毒下载地址
6.跟踪可疑进程运行情况：strace -tt -T -e trace=all -p $pid
系统相关
检查账户安全
# ① 检查近期登陆的账户记录：使用 last 命令，禁用可疑用户：usermod -L 用户名，删除用户：userdel -r 用户名
# ② 查询特权用户：awk -F ":" '$3==0{print $1}' /etc/passwd
# ③ 查询可远程登录用户：awk '/\$1|\$6/{print $1}' /etc/shadow
# ④ 查询sudo权限账户：cat /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"
# ⑤ 与业务确认管理员帐户、数据库帐户、MySQL 帐户、tomcat 帐户、网站后台管理员帐户等密码设置是否存在弱口令情况。
检查启动项与定时任务
# 1 cron目录(/var/spool/cron,查询目录下所有文件通过ls -al)下检查非法定时任务脚本：
# 查看/etc/crontab，/etc/cron.d，/etc/cron.daily，cron.hourly/，cron.monthly，cron.weekly/是否存在可疑脚本或程序，进行注释或者删除。
# 2 编辑定时任务：crontab -e，查看定时任务：crontab -l，查看anacron异步定时任务：cat /etc/anacrontab，删除定时任务：crontab -r
# 3.查询主机历史命令: history
# 4.查询主机所有服务：service --status-all
# 5.开机启动项：ls -alt /etc/init.d/ cat /etc/rc.local
文件相关
关于敏感目录
# ① 查看tmp目录相关文件：ls -alt /tmp/
# ② 指定目录下文件按时间排序：ls -alt |head -n 10
# ③ 查看可疑文件详细修改时间： stat 目录或者文件
关于文件篡改
# ① 查找24小时内被修改的特定文件：find ./ -mtime 0 -name "*.jsp"
# ② 查找72小时内新增的文件：find / -ctime -2
# ③ 查询一定时间内敏感目录下被修改的系统文件：
find /etc/ /usr/bin/ /usr/sbin/ /bin/ /usr/local/bin/ /var/spool/cron/ -type f -mtime -3 | xargs ls -l
删除恶意文件
# ① ls -al /proc/[pid]/，ls -al /proc/[pid]/exe
# ② rm -f [exe_path]
# 查询文件md5： md5sum 文件名
# 查询SSH登录日志： vim /var/log/secure
# 所有ssh登录打包日志均在该文件夹，可直接vim，快速判断爆破痕迹(Accepted password：密码正确、Failed password：密码错误)
其他
取证备份
# 系统服务备份 chkconfig --list > services.log
# 进程备份 ps -ef > ps.log
# 监听端口备份 netstat -utnpl > port-listen.log
# 系统所有端口情况 netstat -ano > port-all.log
查看账号是否有异常登录情况
# a.查看当前登录用户和其行为：w
# b.查看所有用户最后一次登录的时间：lastlog
# c.查看所有用户的登录注销信息及系统的启动、重启及关机事件：last
# d.查看登录成功的日期、用户名及ip：grep "Accepted " /var/log/secure* | awk '{print $1,$2,$3,$9,$11}'
# e.查看试图爆破主机的ip：grep refused /var/log/secure* | awk {'print $9'} | sort | uniq -c |sort -nr | more 、 grep "Failed password" /var/log/secure* | grep -E -o "(([0-9]{1,3})\.([0-9]{1,3})\.([0-9]{1,3})\.([0-9]{1,3}))" | uniq -c
# f.查看有哪些ip在爆破主机的root账号：grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort
# g.查看爆破用户名字典：grep "Failed password" /var/log/secure | awk {'print $9'} | sort | uniq -c | sort -nr
cron文件检查恶意脚本位置
/var/spool/cron/*
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/*
/etc/cron.hourly/*
/etc/cron.monthly/*
/etc/cron.weekly/
/etc/anacrontab
/var/spool/anacron/*
检查近期被替换命令
ls -alt /usr/bin /usr/sbin /bin /usr/local/bin
