标题Don’t Let Gains FADE: Breaking Down Policy Gradient Weights in RL来源arXiv, 2607.01490v1️文章简介研究问题如何解决大语言模型强化学习后训练中普遍存在的训练不稳定与生成多样性崩溃问题主要贡献论文提出统一分析框架解构策略梯度权重并设计出自适应优势函数FADE以动态平衡探索与利用。重点思路构建统一分析框架将任意优势函数分解为正负梯度质量沿符号轴、难度轴和尺度轴三个正交维度进行解析。揭示符号失衡的两种崩溃机制过度强化成功样本导致熵崩溃复制正样本过度抑制失败样本引发权重更新的秩1崩溃单纯远离负样本。阐明难度聚焦的权衡关系关注难题虽能提升梯度信息量但会增加方差需根据训练阶段动态调整关注点。提出FADE算法通过监控在线解题率和策略熵自动调度梯度权重的难度聚焦参数与符号偏置参数。采用延迟利用策略训练初期保持符号平衡并聚焦前沿难题以促进探索熵下降后自动转向失败偏置以加速收敛。分析总结FADE在7B和32B模型上分别比最优静态基线提前2万步和2千步达到峰值pass1性能。FADE在LiveCodeBench和AIME基准上实现了所有passk指标中最佳的准确率与多样性权衡。消融实验证实移除符号自适应会导致熵崩溃移除难度自适应则丧失多样性两者需响应不同信号。权重空间SVD分析表明目标熵参数可连续控制更新矩阵从全秩向秩1结构的平滑过渡。固定优势函数无法同时满足训练全程的符号平衡与难度聚焦需求验证了动态调度的必要性。个人观点论文跳出了单一优势函数的设计陷阱指出强化成功与抑制失败在几何层面引发的不同崩溃模式。