推理：从权重和上下文开始计算
模型权重占用与参数量和精度直接相关，KV Cache 会随上下文长度和并发增长。量化可以降低显存占用，但可能影响输出质量或框架兼容性。
微调：不要只计算模型权重
LoRA 等参数高效微调仍需要激活、梯度及运行框架空间。全参数训练还涉及优化器状态，实际显存需求通常远高于单纯加载模型。
多卡：卡数增加不等于线性加速
多卡任务需要框架支持模型并行或数据并行，卡间通信也会影响效率。创建昂贵的多卡实例前，应先用小规模配置验证代码、数据和训练流程。
常见问题
推理和训练可以用同一种 GPU 吗？
可以，但最佳性价比可能不同。推理更关注显存、吞吐和延迟，训练还要考虑梯度、优化器状态和多卡通信。
显存刚好够用是否合适？
不建议卡到极限，应给运行框架、临时张量和峰值波动保留余量。
应该直接选择多卡实例吗？
先确认程序支持多卡并完成小规模测试，再根据任务时长和加速收益决定。
型号、库存、区域与价格会动态变化，请以控制台创建实例时展示并确认的信息为准。实例释放后数据不保留，请提前完成必要备份。