2024-06-12 突然被告知服务器上有挖矿程序在运行。下面是问题的截图和处理的过程。
处理流程
1. 通过top命令查看cpu占用高的程序，拿到pid（挖矿程序一般会把自己伪装成-bash程序）
2. 通过ps -ef | grep pid查看启动程序的用户（该用户的账号密码已经被黑客拿到）
3. 可以尝试kill -9 pid 但是挖矿程序一般情况下都会重新启动。因此需要使用该用户登录服务器，或者从root用户 su - user过去。
4. 执行crontab -e 编辑该用户下的定时任务，删除可疑的条目，比如下面这样的：
* * * * * /var/tmp/.cache/upd >/dev/null 2>&1
5. 再次执行kill -9 pid，并检查挖矿程序是否又自动拉起了。经过上面第4步，一般就不会再自动拉起了。
参考：
https://blog.csdn.net/WHJwhj552200/article/details/127916812
更多：
https://www.jianshu.com/p/8d1b698997c1
https://blog.51cto.com/legehappy/2152838
https://blog.csdn.net/qq_33919114/article/details/104682827
http://bbs.boway.net/forum.php?mod=viewthread&tid=12699
服务器是如何被黑的？
通过lastb命令查看服务器的错误登录日志，可以发现有大量来自10.11.65.21机器的错误登录日志
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1b2c3 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1b2c3 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a123 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1806183 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a123 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
A ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1806183 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a123 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a123 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a123 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
A ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a123 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a1 ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
a ssh:notty 10.11.65.21 Fri Jun 7 15:19 - 15:19 (00:00)
因为最后运行挖矿程序的用户是wuyang，查看下wuyang这个账户的登录失败的情况
wuyang ssh:notty 10.11.65.21 Sat Jun 8 15:24 - 15:24 (00:00)
wuyang ssh:notty 10.11.65.21 Sat Jun 8 15:24 - 15:24 (00:00)
wuyang ssh:notty 10.11.65.21 Sat Jun 8 15:24 - 15:24 (00:00)
可以看到wuyang这个账户确实是被尝试了。
总结下服务器被黑的过程：
应该是黑客先黑了位于学校内网的10.11.65.21这台机器，然后通过这台机器对学校内部的机器进行弱口令扫描，107机器上的wuyang这个用户就被扫描出来了。