起源算力 / GPU 选型指南 / H100 vs H200

H100 vs H200：训练和推理怎么选？

H100 与 H200 都适合高性能 AI 训练和推理。真正的差别通常体现在显存容量、模型并发、上下文长度、区域库存和价格，而不是只看理论峰值。

核心差异

训练任务怎么选

先用模型参数量、训练精度、序列长度和 batch size 估算显存。若 H100 可以在不频繁切分的情况下运行，H100 可能有更好的成本平衡；若显存余量直接决定吞吐或稳定性，应测试 H200。

推理任务怎么选

对于长上下文、较大 batch 或多个模型实例并行，H200 的额外显存可能减少 offload 和显存交换。对于短上下文、低并发任务，H100 的公开价格和可用区域更值得比较。

上线前检查

1. 确认模型实际显存占用，而不是只按参数量估算。
2. 分别测试单卡和多卡吞吐，记录 tokens/s、延迟和显存余量。
3. 查看实时价格与库存，确认区域和卡数。

继续查看 H100 型号页、H200 型号页 或返回GPU 选型指南。