遇到显存报错，立刻把批次调小或打开混合精度，未必能解决根因。理解显存溢出的常见原因与处理办法，先要分清内存是被模型参数、激活值、优化器状态，还是输入尺寸和并行任务占用；再比较两种调整带来的代价。
先找出显存被什么占用
训练时，参数和优化器状态通常随模型规模增长；激活值则与批次大小、输入分辨率、序列长度和网络结构有关。以 AdamW 为例，除参数外还要保存梯度及优化器状态，因此只看模型文件大小，不能推断训练所需显存。推理任务没有反向传播激活值这一项，但较长输入或同时运行多个请求仍会增加占用。
先观察报错发生的时点：一开始就失败，优先检查模型、优化器和其他进程；跑到某个批次才失败，检查该批输入尺寸是否异常；训练一段时间后才出错，则留意内存是否持续增长、任务是否并发。显存碎片也可能让大块连续分配失败，但不应在未检查前就把它当作首要原因。
降低批次与混合精度的五项风险
1. 小批次会改变训练动态
把批次从32降到16，通常能减少激活值占用，但每次参数更新看到的样本变少，梯度波动可能增大。含批归一化的网络还会受到批次统计量变化影响。若模型对更新节奏敏感，应在验证集上比较损失和指标，而非只看能否启动。
2. 迭代变多，速度未必更快
处理相同数量的数据，批次减半通常意味着需要更多步更新；小批次也可能无法充分利用设备并行能力。显存够用且训练速度重要时，降批次未必是最优选择。梯度累积可以用较小微批次累计梯度，例如微批次4、累积4次，形成接近批次16的更新规模；但批归一化统计等行为并不会因此完全等同于一次性批次16。
3. 混合精度可能带来数值不稳定
混合精度让部分计算使用较低位宽，常能减少相关张量占用并提升吞吐，但具体收益取决于硬件、框架和模型。某些运算可能出现舍入误差、梯度下溢或溢出。使用较低位宽训练时，应确认框架的自动类型转换和损失缩放设置，并监测损失是否变成无穷大或出现异常波动。
4. 算子兼容与精度表现不一致
并非所有运算都适合低精度；框架可能让特定操作回退到较高精度，或产生额外转换开销。若速度没有改善，检查实际运行日志和算子支持情况。对数值敏感的任务，可只让合适的计算采用低精度，并用固定验证集比较结果。
5. 两种设置都可能掩盖真正瓶颈
批次变小或启用混合精度后不再报错，不代表根因已消失。高分辨率输入、优化器状态、多个并行任务和其他程序占用，都可能仍是主要压力来源。继续叠加优化会让排查更困难，也可能牺牲速度或精度。
按顺序处理，减少试错
- 记录出错阶段、批次大小、输入尺寸、模型和优化器配置，并确认是否有其他任务占用显存。
- 一次只改一个变量：先用较小批次做短跑，观察峰值占用、每步耗时和验证指标。
- 若训练数值稳定，再测试混合精度；检查损失、梯度是否异常，并与全精度结果对照。
- 若小批次影响训练效果，可尝试梯度累积；若瓶颈来自激活值，再评估激活检查点等以计算换显存的方法。
- 选定方案后，使用代表性输入完成较长验证，确认没有延迟出现的溢出或精度退化。
判断显存溢出的常见原因与处理办法，关键是让优化对应实际瓶颈：批次主要改变每次处理的数据量与更新动态，混合精度主要改变部分计算的数据表示。先诊断，再逐项对照速度、显存和验证结果，通常比同时改多项设置更可靠。
常见问题
降低批次后，学习率要不要一起调整？
不宜一概而论。批次变化会改变梯度统计和更新频率，应结合训练配置与验证表现逐步调整，不要只按固定比例机械缩放。
混合精度一定能省下一半显存吗？
不能保证。参数、激活、优化器状态及临时缓冲区的占比不同，节省幅度也不同；还要看框架和硬件对低精度运算的支持。
先降批次还是先开混合精度？
若需要快速确认是否由激活值导致，可先小幅降低批次；若硬件和框架支持且任务对数值误差不敏感，可单独测试混合精度。两种方法都应分别验证。
梯度累积能完全替代大批次吗？
不能完全替代。它能近似扩大一次更新所用样本数，但批归一化统计等机制仍可能不同。
