·3735 字·8 分钟
凌晨训练任务挂了,8 卡只剩 7 卡,温度 93°C 还带 Throttling——卡没坏,是太热了。从确认告警、风道检查、清灰换硅脂到 vBIOS 更新,完整排查流程,满载压回 80°C。
·2116 字·5 分钟
8 卡 A800 训练卡死,显卡全在、驱动正常,可训练就是跑不动。查下来是 GPU 之间的 NVLink 高速通道废了 5 条。改一行配置让服务"带伤上岗",集群满血复活。
·2513 字·6 分钟
凌晨3点,集群一台8卡GPU节点硬掉线。SSH连不上、ping不通,但BMC还活着。翻SEL发现供电在抖,锁定了坏掉的PSU3,顺带挖出NVIDIA驱动和内核的兼容性雷。不卖工具,卖教训。