https://www.cciepro.cn/tags/%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5/ Recent content in 故障排查 on 闫工的技术博客 Hugo -- gohugo.io zh-cn © 2026 闫工 · [宁ICP备2026002305号-3](https://beian.miit.gov.cn/) Wed, 26 Aug 2026 07:00:00 +0800 https://www.cciepro.cn/posts/gpu-throttling-93c/ Wed, 26 Aug 2026 07:00:00 +0800 https://www.cciepro.cn/posts/gpu-throttling-93c/ 凌晨训练任务挂了，8 卡只剩 7 卡，温度 93°C 还带 Throttling——卡没坏，是太热了。从确认告警、风道检查、清灰换硅脂到 vBIOS 更新，完整排查流程，满载压回 80°C。 https://www.cciepro.cn/posts/nvlink-half-broken-training-stuck/ Sun, 23 Aug 2026 10:00:03 +0800 https://www.cciepro.cn/posts/nvlink-half-broken-training-stuck/ 8 卡 A800 训练卡死，显卡全在、驱动正常，可训练就是跑不动。查下来是 GPU 之间的 NVLink 高速通道废了 5 条。改一行配置让服务"带伤上岗"，集群满血复活。 https://www.cciepro.cn/posts/raid-false-alarm-hdd/ Fri, 31 Jul 2026 07:30:00 +0800 https://www.cciepro.cn/posts/raid-false-alarm-hdd/ 服务器报警说硬盘坏了，监控群里喊换盘。我没换——因为那多半是 RAID 卡误报的「疑似坏盘」标记，盘根本没坏。用 StorCLI 5 分钟平反：先看全局、再查 SMART 和健康日志，逻辑问题一键重建，真有物理坏道才换。别让一块好盘白白被换掉。 https://www.cciepro.cn/posts/gpu-bmc-troubleshooting-3am/ Sun, 26 Jul 2026 07:30:00 +0800 https://www.cciepro.cn/posts/gpu-bmc-troubleshooting-3am/ 凌晨3点，集群一台8卡GPU节点硬掉线。SSH连不上、ping不通，但BMC还活着。翻SEL发现供电在抖，锁定了坏掉的PSU3，顺带挖出NVIDIA驱动和内核的兼容性雷。不卖工具，卖教训。