Posts

ESXi 系统盘重装后，原本的虚拟机全不见了？别急着格式化数据盘！只要数据盘没被碰过，里面虚拟机文件都还在。挂载快照卷 + 重新注册虚拟机，三步救回全部业务。

凌晨训练任务挂了，8 卡只剩 7 卡，温度 93°C 还带 Throttling——卡没坏，是太热了。从确认告警、风道检查、清灰换硅脂到 vBIOS 更新，完整排查流程，满载压回 80°C。

8 卡 A800 训练卡死，显卡全在、驱动正常，可训练就是跑不动。查下来是 GPU 之间的 NVLink 高速通道废了 5 条。改一行配置让服务「带伤上岗」，集群满血复活。

新机房上架 100 多台服务器，BMC 还是出厂默认密码？逐台登 Web 改要一整天。用 IPMI 写个批量脚本：改密、建监控账号、并发重试、失败清单，100 台 20 分钟跑完。

服务器报警说硬盘坏了，监控群里喊换盘。我没换——因为那多半是 RAID 卡误报的「疑似坏盘」标记，盘根本没坏。用 StorCLI 5 分钟平反：先看全局、再查 SMART 和健康日志，逻辑问题一键重建，真有物理坏道才换。别让一块好盘白白被换掉。

凌晨3点，集群一台8卡GPU节点硬掉线。SSH连不上、ping不通，但BMC还活着。翻SEL发现供电在抖，锁定了坏掉的PSU3，顺带挖出NVIDIA驱动和内核的兼容性雷。不卖工具，卖教训。