拿假报告交差？GPU 集群网络验收我列了 6 个必测平面

BMC 带外  →  业务管理网  →  存储内部  →  存储客户端  →  RoCE 计算  →  外部出口

GPU 高性能计算集群——全网络平面集成验收报告
├─ 总体结论与问题摘要
├─ 第一部分  RoCE/IB 计算网络验收
├─ 第二部分  业务管理网络验收
├─ 第三部分  带外管理网络（BMC/IPMI）验收
├─ 第四部分  IB 存储网络（客户端）验收
├─ 第五部分  外部互联网出口网络验收
├─ 第六部分  存储内部网络（后端）验收
├─ 第七部分  未达标项跟踪表
├─ 第八部分  附件清单（脚本 CSV 输出）
└─ 第九部分  签字确认

#!/bin/bash
# 用法: ./roce_compute_network_test.sh <peer_ip> <ib_device> [nccl_node_file]
set -u
PEER=${1:?用法: $0 <peer_ip> <ib_device> [nccl_node_file]}
DEV=${2:?缺少 IB 设备, 如 mlx5_0}
TS=$(date +%Y%m%d_%H%M%S); OUT="roce_test_results_${TS}.csv"
TH_BW=740      # Gb/s 验收下限(示例；按单端口 800G 或 2x400G 网卡设定，200G/400G 网卡需下调)
TH_LAT=3.0     # us 验收上限(示例)
echo "测试时间,测试项,验收标准,实测值,单位,结论" > "$OUT"
log(){ echo "$(date '+%F %T'),$1,$2,$3,$4,$5" >> "$OUT"; }
# 链路状态
if ibstatus "$DEV" 2>/dev/null | grep -q "state: ACTIVE"; then
  log "链路状态" "ACTIVE" "ACTIVE" "state" "通过"
else
  log "链路状态" "ACTIVE" "DOWN" "state" "不通过"
fi
# 带宽测试（服务端后台起，客户端前台测）
bw_test(){
  local tool=$1 label=$2 dir=$3 th=$4 val
  ssh -f "$PEER" "$tool -d $DEV --report_gbits -s 65536 -q 4 >/tmp/srv_$$.log 2>&1"
  sleep 1
  val=$(timeout 30 $tool -d $DEV --report_gbits -s 65536 -q 4 "$PEER" 2>/dev/null | tail -1 | awk '{print $4}')
  if [ -z "$val" ]; then log "$label" "$dir $th" "NA" "Gb/s" "不通过"; return; fi
  if [ "$dir" = "gt" ]; then
    awk "BEGIN{exit !($val>=$th)}" && log "$label" ">=$th" "$val" "Gb/s" "通过" \
      || log "$label" ">=$th" "$val" "Gb/s" "不通过"
  fi
}
bw_test "ib_write_bw" "写带宽" gt "$TH_BW"
bw_test "ib_read_bw"  "读带宽" gt "$TH_BW"
# 延迟
lat=$(timeout 30 ib_send_lat -d "$DEV" -R "$PEER" 2>/dev/null | tail -1 | awk '{print $4}')
if [ -n "$lat" ]; then
  awk "BEGIN{exit !($lat<=$TH_LAT)}" && log "往返延迟" "<=$TH_LAT" "$lat" "us" "通过" \
    || log "往返延迟" "<=$TH_LAT" "$lat" "us" "不通过"
else
  log "往返延迟" "<=$TH_LAT" "NA" "us" "不通过"
fi
# GPUDirect（参考值，不卡阈值）
timeout 30 ib_write_bw -d "$DEV" --use_cuda "$PEER" >/dev/null 2>&1 \
  && log "GPUDirect RDMA" "可运行" "OK" "state" "通过" \
  || log "GPUDirect RDMA" "可运行" "FAIL" "state" "不通过"
# NCCL all_reduce（可选，传了节点列表才跑）
if [ -n "${3:-}" ] && command -v mpirun >/dev/null; then
  bw=$(mpirun -np 16 --allow-run-as-root -H "$(paste -sd, "$3")" \
        /usr/local/bin/all_reduce_perf -b 8 -e 128M -f 2 2>/dev/null | tail -1 | awk '{print $NF}')
  [ -n "$bw" ] && log "NCCL all_reduce" "busbw>0" "$bw" "GB/s" "通过" \
    || log "NCCL all_reduce" "busbw>0" "NA" "GB/s" "不通过"
fi
# PFC 暂停帧计数（参考）
pc=$(ethtool -S "$DEV" 2>/dev/null | awk -F: '/pause|pfc/{s+=$2} END{print s+0}')
log "PFC 暂停帧计数" "越低越好" "$pc" "cnt" "参考"
echo "已生成 $OUT"

# 取值优先级：环境变量 IPMI_PASS → 第 3 个命令行参数 → 兜底示例值
PASS=${IPMI_PASS:-${3:-your_ipmi_password}}

if nc -zv -w 3 8.8.8.8 22 2>&1 | grep -q succeeded; then
  log "出向22端口" "应阻断" "OPEN" "state" "不通过"
else
  log "出向22端口" "应阻断" "BLOCKED" "state" "通过"
fi