翻呗 —— 你身边的翻译助手

内容中心 › 通用

通用

两次线上故障复盘:代码一行没改,16 分钟的 502 是内存,26 分钟的卡单是磁盘!

作者:翻呗运营2026-11-19阅读 1评论 0

摘要 上个月我们站点挂了两次,两次的代码一个字都没动过。
本文原发于 CSDN(2026-11-19),同步发布于本站内容中心;站内版本保留全文,格式按本站排版重排。

上个月我们站点挂了两次,两次的代码一个字都没动过。

第一次全站 502,持续约 16 分钟;第二次页面全都正常,只有一个翻译任务卡在「待转换」26 分钟。查完发现:第一次是虚拟内存被验收脚本吃光,第二次是 C 盘写满把消息队列打崩了。

一、先把两次的时间账拆开

第一次是「告警三次 → 进程消失」:12:42、12:49、12:54 连续三条虚拟内存耗尽告警,之后网关和两个 Tomcat 一起没了,域名 502 约 16 分钟。

第二次更隐蔽:12:10 提交的任务一直显示「待转换」,26 分钟没进展。事后看,消息队列在 12:24:11 就因磁盘写不进去而崩溃重启了——提交后 14.2 分钟,任务那时已经死了,只是没人知道。修复后重新投递,同一个任务 84 秒跑完。

二、两次对照放在一张表里

观察项2026-10-25 全站 5022026-10-27 任务卡单
用户看到什么域名打不开页面全正常,任务不动
探针表现端口消失四个端口 0 失败
根因虚拟内存耗尽,系统杀进程C 盘写满,队列落盘失败
最硬的一条证据事件日志 Event 2004 ×3队列日志 enospc
恢复方式改计划任务托管 + 看门狗清缓存腾出 12GB,重放任务

三、第一次:告警响了三次,人没接住

事发时各进程占用是:explorer 2.2GB、WorkBuddy 1.1GB、两个 javaw 各 1.1GB、mysqld 1.1GB。这台机器只有 8GB 物理内存,页面文件峰值被打到 6.9GB。

直接诱因不是业务流量,是在同一台生产机上连续跑 Puppeteer 全站验收——视觉回归、移动端、域名验证串着跑,每个 headless Chrome 几百 MB,几个叠上去就到了临界点。

修完后的三条约定:

四、第二次:四个端口全绿,任务已经死了

这次的成本更高,因为它看起来「一切正常」。排查顺序按信息量排,可以直接复用:

1. 业务表里该任务的 UPDATE_TIME 等于 CREATE_TIME → 根本没进业务代码,不是翻译慢;

2. 上传目录只有源 PDF、没有中间产物 → 识别阶段就没开始跑;

3. celery inspect ping 返回空,但队列服务器上 worker 各有 4 条连接 → 进程活着,不干活;

4. 队列 messages=0 consumers=1 → 消息被预取之后就没再动过;

5. 手工跑一次 worker 该执行的命令能成功 → 排除代码,锁定运行环境;

6. 队列日志里有崩溃转储,关键字 enospc;磁盘 100%,只剩 3.4MB。

第 1 条最值钱:任务「慢」和任务「没开始」在页面上长得一模一样,但看 UPDATE_TIME 有没有变,30 秒就能分开。

处置只做一件事:清掉包管理器缓存 11.2GB 和 Python 缓存 1GB,腾出 12GB,队列自己重启约 30 秒,再把三阶段重放一遍,任务 84 秒跑完。

顺手的两个坑:磁盘 0 字节时删除命令会卡死,它自己也要写盘,得用底层目录删除接口;成品下载目录那 7.1GB 是客户文件,清理时不能碰。另外给磁盘可用空间加了 15 / 5 / 1GB 三级告警,并补上队列 worker 的存活检查——这段之前完全没被监控。

参考口径与判断方法

数据来自项目内部两次故障复盘记录(2026-10-25、2026-10-27),单机部署环境下的事故记录,不是抽样统计,也不能当行业普遍数据;26 分钟是「提交到发现」的时长,不是精确修复耗时。

单机部署的小服务建议加一条最便宜的判断:别只看端口和状态页,找一张一定会被业务代码写的表,看它的更新时间。端口只能证明入口活着,证明不了任务在跑。

参考资料:项目内部《发布部署运行手册》的故障复盘与看门狗规则章节。

用你自己的文档验一遍文里的做法可以直接复用,换成你的文件同样成立。
上传文档,开始翻译

客户评论(0)

还没有评论,欢迎分享你的实测体验。
评论先审后发 · 仅登录客户可评