服务器被攻击排查记录
起因
我的深度学习的所有进程突然被killed，我以为是检修，后面发现好像简单的python代码可以正常运行。但是我的训练进程一启动就会被killed
第一时间没有用htop查看cpu，用top看着挺正常的，但是后面看htop，全是绿的，但是看不到那个进程占用了cpu，然后我怀疑是我的深度学习进程异常关闭，是不是产生了僵尸进程或者孤儿进程，然后把我的用户下的所有进程全部关闭了，依然无法解决。
排查
sysdig -c topprocs_cpu #查看cpu占用情况
好家伙终于被我发现了，这个nettools，删不掉会一直重启，果然是中病毒了
这个时候但凡启动一个大点的应用都会被自动killed，所有我这里想使用杀毒软件已经晚了，也会自动被killed
IP排查
netstat -napt
把几个可疑的异常流量拧出来
不过这里我尝试把他们禁止掉，但又会自动生成新的连接，所有最重要的应该是找到木马程序和服务
sudo iptables -A INPUT -s 185.18.222.159 -j DROP
sudo ss -K src 185.18.222.159
本地连接日志查询
然后我就想看看是不是最近异常有异地的登录记录
last
查看最近登陆情况
以及检查是不是有新增的用户
cat /etc/passwd
不过都没有收获
然后离谱的来了，当我查询最近的失败登录日志的时候发现密密麻麻从上个月就开始的暴力破解
sudo cat /var/log/auth.log.0 | grep "Failed"
如果顺着这个ip找到了最近的一次的情况,好好好，这个用户密码太简单，被暴力试出来来了
sudo tail -n 5000 /var/log/auth.log
我采取的措施
我再查询日志分析，这个ip好像是学校内部的ip 应该是某个学校的内部设备被黑了 一直换着ip来尝试 今天早上突然试成功了 然后9-30开始到9-43 启动root权限 连接了13分钟 。
首先就是赶紧把密码给换了，然后就是想把test用户所有的进程删掉不过没用，再排查test用户目录下的文件，不过没什么收获，操作日志应该都被清楚了。
sudo crontab -u test –e # 查看是否有定时任务
* * * * * /var/tmp/.cache/upd >/dev/null 2>&1
* * * * * /tmp/.cache/go.sh
然后再从已经启动的服务里面查看是否有可疑的服务
systemctl list-unit-files --state=enabled
我发现有个服务启动了两次，而且命名很奇怪
NPvm2nhT.service enabled enabled
NPvm2nhT.service enabled enabled
追溯服务源头
systemctl status NPvm2nhT.service #详细信息
sudo systemctl cat NPvm2nhT.service #查路径
systemctl is-active NPvm2nhT.service # 是否还在执行
sudo systemctl stop NPvm2nhT.service #停止服务
sudo systemctl disable NPvm2nhT.service #防止自动重启
sudo rm -f /lib/systemd/system/NPvm2nhT.service #删除服务文件
sudo systemctl daemon-reload #重新加载配置文件
下面是这个服务的信息，就是木马服务没跑了
/lib/systemd/system/NPvm2nhT.service
[Unit]
Description=service
After=network.target
[Service]
Type=simple
ExecStart=/bin/XoGefczg #恶意软件位置
RemainAfterExit=yes
Restart=always #总是自动启动
RestartSec=60s #每60秒重启
[Install]
WantedBy=multi-user.target
查看查看系统级别的 Cron 任务
sudo ls /etc/cron.d/
7IEutd27 anacron e2scrub_all popularity-contest sysstat
sudo cat /etc/cron.d/7IEutd27
*/1 * * * * root /bin/XoGefczg 1 1
sudo rm -f /etc/cron.d/7IEutd27 #删除cron任务
sudo rm -f /bin/XoGefczg #删除可执行文件
做了上面的操作，目前暂时把cpu解放了，后续就安装杀毒软件，对全盘进行查杀
sudo apt-get update
sudo apt-get install clamav clamav-daemon chkrootkit rkhunter -y
sudo freshclam
sudo clamscan -r / --bell -i
sudo chkrootkit
sudo rkhunter --check
又发现了两个木马文件
目前来说，经过去前面的操作，cpu没有再出现问题，但我感觉可能还有残余的东西没有清除干净，后面再慢慢排查。