A100 vs H100：AI 训练和推理怎么选？
A100 仍适合许多成熟 CUDA 训练、推理和开发任务；H100 面向更高性能的训练与推理。选择时要把框架兼容性、精度、显存、吞吐和实际运行时长放在一起评估。
页面类型型号对比
比较重点显存与任务
适用对象训练 / 推理
更新日期2026-08-05
核心差异
| 比较项 | A100 | H100 |
|---|---|---|
| 架构 | Ampere | Hopper |
| 公开常见显存 | 40GB / 80GB，需确认具体卡型 | 80GB，需确认具体卡型 |
| 更适合的判断 | 成熟框架、稳定任务、成本敏感项目 | 高吞吐训练、推理和新精度工作负载 |
| 迁移前确认 | 模型是否需要更新的精度能力 | 性能收益是否覆盖更高小时成本 |
什么时候选 A100
- 框架、镜像和代码已经在 A100 上验证。
- 任务更看重稳定性、可用性或预算，而不是最高吞吐。
- 模型在 40GB/80GB 规格内运行，并且 batch size 合适。
什么时候选 H100
- 训练或推理吞吐是主要瓶颈。
- 需要更高效的低精度计算或更大的并发。
- 愿意重新基准测试镜像、CUDA、框架和算子兼容性。
正确的成本比较方法
不要直接比较每小时价格。应记录一次完整任务的总运行时间、总 GPU 成本、失败重试成本和数据传输成本，再比较 A100 与 H100 的总成本。