内容中心 › 通用
上个月我们站点挂了两次,两次的代码一个字都没动过。
第一次全站 502,持续约 16 分钟;第二次页面全都正常,只有一个翻译任务卡在「待转换」26 分钟。查完发现:第一次是虚拟内存被验收脚本吃光,第二次是 C 盘写满把消息队列打崩了。
第一次是「告警三次 → 进程消失」:12:42、12:49、12:54 连续三条虚拟内存耗尽告警,之后网关和两个 Tomcat 一起没了,域名 502 约 16 分钟。
第二次更隐蔽:12:10 提交的任务一直显示「待转换」,26 分钟没进展。事后看,消息队列在 12:24:11 就因磁盘写不进去而崩溃重启了——提交后 14.2 分钟,任务那时已经死了,只是没人知道。修复后重新投递,同一个任务 84 秒跑完。
| 观察项 | 2026-10-25 全站 502 | 2026-10-27 任务卡单 |
|---|---|---|
| 用户看到什么 | 域名打不开 | 页面全正常,任务不动 |
| 探针表现 | 端口消失 | 四个端口 0 失败 |
| 根因 | 虚拟内存耗尽,系统杀进程 | C 盘写满,队列落盘失败 |
| 最硬的一条证据 | 事件日志 Event 2004 ×3 | 队列日志 enospc |
| 恢复方式 | 改计划任务托管 + 看门狗 | 清缓存腾出 12GB,重放任务 |
事发时各进程占用是:explorer 2.2GB、WorkBuddy 1.1GB、两个 javaw 各 1.1GB、mysqld 1.1GB。这台机器只有 8GB 物理内存,页面文件峰值被打到 6.9GB。
直接诱因不是业务流量,是在同一台生产机上连续跑 Puppeteer 全站验收——视觉回归、移动端、域名验证串着跑,每个 headless Chrome 几百 MB,几个叠上去就到了临界点。
修完后的三条约定:
这次的成本更高,因为它看起来「一切正常」。排查顺序按信息量排,可以直接复用:
1. 业务表里该任务的 UPDATE_TIME 等于 CREATE_TIME → 根本没进业务代码,不是翻译慢;
2. 上传目录只有源 PDF、没有中间产物 → 识别阶段就没开始跑;
3. celery inspect ping 返回空,但队列服务器上 worker 各有 4 条连接 → 进程活着,不干活;
4. 队列 messages=0 consumers=1 → 消息被预取之后就没再动过;
5. 手工跑一次 worker 该执行的命令能成功 → 排除代码,锁定运行环境;
6. 队列日志里有崩溃转储,关键字 enospc;磁盘 100%,只剩 3.4MB。
第 1 条最值钱:任务「慢」和任务「没开始」在页面上长得一模一样,但看 UPDATE_TIME 有没有变,30 秒就能分开。
处置只做一件事:清掉包管理器缓存 11.2GB 和 Python 缓存 1GB,腾出 12GB,队列自己重启约 30 秒,再把三阶段重放一遍,任务 84 秒跑完。
顺手的两个坑:磁盘 0 字节时删除命令会卡死,它自己也要写盘,得用底层目录删除接口;成品下载目录那 7.1GB 是客户文件,清理时不能碰。另外给磁盘可用空间加了 15 / 5 / 1GB 三级告警,并补上队列 worker 的存活检查——这段之前完全没被监控。
数据来自项目内部两次故障复盘记录(2026-10-25、2026-10-27),单机部署环境下的事故记录,不是抽样统计,也不能当行业普遍数据;26 分钟是「提交到发现」的时长,不是精确修复耗时。
单机部署的小服务建议加一条最便宜的判断:别只看端口和状态页,找一张一定会被业务代码写的表,看它的更新时间。端口只能证明入口活着,证明不了任务在跑。
参考资料:项目内部《发布部署运行手册》的故障复盘与看门狗规则章节。