7. 关键检验指标#
性能相关指标需作为关键检验项贯穿阶段 3-5: 阶段 3 关注算子性能,阶段 4 关注推理精度与端到端表现;阶段 5 关注 FlagRelease 发布与镜像上线结果。
阶段 |
核心检验指标 |
通过标准 |
涉及硬件 |
|---|---|---|---|
阶段 0 |
MOU 签署 |
双方盖章生效 |
— |
阶段 1 |
环境就绪 |
芯片被 OS + PyTorch 识别 |
开发板 1 台 |
阶段 2 |
Triton kernel 编译通过率 |
≥95%,CI 机器可用性 ≥99% |
CI 1 台 |
阶段 3 |
FlagGems 算子测试通过率 |
≥80%,核心算子 100% |
CI 2 台 + 调试机 1 台 |
阶段 4 |
模型精度偏差 |
<2%(相对 NVIDIA 基线) |
CI 2 台 + 调试机 1 台 |
阶段 5 |
CTS 核心测试项通过 |
100% 或豁免获批 |
CI 2 台 + SVT 2 台 |
阶段 6 |
FlagRelease 上线模型数 |
≥10 个 |
FR 专机 1 台 |