猫眼电影记者 富野由悠季 报道w3u7903ejky2ywls

允中 发自 凹非寺量子位 | 公众号 QbitAI

抛弃替代损失函数，仅需优化原始目标， 强化学习新范式来了:

消除critic和reference模型，避免KL散度约束；解决优势函数和梯度估计两个偏差。

来自阿里-高德地图的团队提出了一种相当简单的强化学习训练新方法：组策略梯度优化GPG（Group Policy Gradient）。

GPG开创性地从底层重构强化学习训练框架，仅需优化原始目标，解决已有方法偏差，提高训练效率。革新强化学习训练流程，推动智能体性能突破。

在实验中，GPG在单模态和多模态两类任务中表现遥遥领先，其极简架构与高性能表现，有望成为下一代基础模型训练的关键方法。

以下是更多GPG有关细节。

一、背景介绍

近年来，以OpenAI和DeepSeek R1为代表的LLMs模型表现亮眼，深究成功背后，是强化微调技术（RFT）联合现有强化学习方法（如PPO、GPPO）在激励模型构建严谨的推理链上发挥了关键作用。

但在面对高昂的训练成本与性能平衡，主流方法PPO也陷入巨大瓶颈，与此同时，其他研究团队也在尝试使用ReMax、GRPO等简化训练流程，并在性能上取得了很大的突破，但他们都依然存在一些问题。

研究团队认为，当前针对RL算法的优化都在围绕替代损失函数展开，但两个核心问题始终悬而未决：

1.能否绕过替代策略，直接优化原始目标函数？2.如何最大限度简化学习策略的设计？

由此，团队提出了GPG，其核心创新包括：

直接目标优化：摒弃传统替代损失函数设计，直接优化原始强化学习目标，突破算法效率瓶颈。极简训练架构：无需评论模型和参考模型支持，摆脱分布约束，为模型扩展性提供更大空间。精准梯度估计技术（AGE）：首次揭示现有方法的奖励偏差问题，提出轻量化且高精度的梯度估计方案，显著提升策略稳定性。单模态多模态任务SOTA验证：在数学推理、视觉理解、跨模态推理等任务中，GPG性能全面超越现有方法，验证其通用性与鲁棒性。

二、组策略梯度GPG方法1）方法对比

各种强化学习方法的比较，作者以最简单的形式解释：

下面是GPG方法和已有RL方法各个模块的对比：

2）GPG方法

GPG旨在解决在没有价值模型的情况下，策略梯度估计中的高方差问题。通过利用group-level的奖励，GPG稳定了训练过程并增强了强化学习训练的鲁棒性。

具体而言，GPG利用每个Group内的平均奖励来归一化奖励，从而有效降低方差。这个方法可以移除传统的价值模型，从而简化了训练过程并提高了计算效率。 GPG的名称反映了作者方法核心机制，即利用group-level的平均奖励来稳定和优化学习。

GPG的核心优化目标定义为：

作者提出的GPG方法通过组内优势函数计算梯度校正机制实现了高效稳定的策略优化。在优势函数设计上，采用组内奖励均值归一化方法

3）现有RL方法中的两个bias

优势函数中的bias

组内样本全对全错时，引入梯度估计的bias

针对组内全对/全错样本的梯度估计bias问题，GPG创新性地引入动态梯度校正因子。

实验表明该机制可使模型准确率从43.9%提升至47.8%，显著改善训练稳定性。

三、实验1）在单模态数据集上的结果

2）在多模态数据集上的结果

四、结论

在本文中，作者介绍了GPG，它有效地解决了强化微调方法（如PPO和GRPO）中现有的关键挑战。

通过将基于组内的决策动态直接纳入标准的PG方法，GPG简化了训练过程，并显著减少了计算开销，而不削弱模型效果。这一突破为训练能够进行复杂推理的先进LLM提供了更高效的框架，从而为更具资源效率和可扩展性的人工智能系统做出了贡献。

此外，团队将本文代码全面开源，希望促进技术透明化发展，也鼓励更多人参与到该项工作中来。

论文链接：https://arxiv.org/pdf/2504.02546代码链接：https://github.com/AMAP-ML/GPG

  时事1：巜一边亲一边摸下奶韩国

  05月05日,今年首次大范围雨雪过程开启 江南东北等地气温波动频繁,

　　“呀，那株树吃掉了一头巨大的火犀！”

,XXXX87HD动漫。

  05月05日,中国拟明确非银支付机构注册资本附加要求,

　　我们轻纺城东京门市，在开春以来在x经理与x店长的带领下，他们以身作责，整个团队非常有战斗力，士气高胀，非常凝聚和睳，做事相互给力，工作非常敬业专注，行动雷历风行，发现公司的产品缺位，马上出差补救，行动力超強，而且个个家人非常在乎自己的业绩目标，在榜样的影响下，团队中个个充满激情，充满活力。做得最好的是紧跟订单力度加强了，串单跑单的客户逐渐减少，当然，还有两位厂家专员巫兵，小王对我们工作上很大的支持与帮助，同时有不可磨灭的功劳，华兵店长的上任后不断完善自己的能力，带领大家冲锋陷阵，相信他的激情一定能带给了大家另外一种能量，而今天的业绩就像乘风破浪，芝麻开花节节高，这次是对领导能力最好的体现，领导的状态就是我们团队的状态，领导的焦点在业绩上，我们的结果一定也在业绩上，所以今天我们所取的一切收获，都是平时大家点滴努力敬业的结果。

,大美女🐻100%露出奶头视频,MMD➕无码➕高潮➕,日本蜜桃网无码色情AⅤ。

  时事2：韩漫无羞遮无删减H漫画欲海交锋

  05月05日,用心用情用力保障和改善民生(今日谈),

　　⑤广泛开展各类教学竞赛。

,lvmaoshe,高清🈚码🔞❌♋免费漫画软件,国产精品㊙️精东国产。

  05月05日,U16国足被韩国队逼平，小组赛三胜一平,

　　“死！”

,欧美⭕⭕⭕⭕XXXX物交,妺妺洗澡让我进去c了漫画,小舞好湿⋯好紧⋯太爽了游戏。

  时事3：短篇阴乳插唇蒂软

  05月05日,华侨华人聚焦达沃斯：“中国方案”暖意浓、诚意足,

　　“咦，族长来了！”金狼部落的人惊呼。

,男同被c黄秘网站麻豆,祼胸爆白色十乳液,老师❌开腿让我爽一夜在线。

  05月05日,探访金庸祖籍地：婺源浙源乡的千年古村慢时光,

　　“果然啊，不止我们一族得悉了这头太古遗种狻猊要老死，生活在这片大荒附近的人都在关注着。”

,麻豆国产AV无码免费,性生交大片免费看黄牛党,我撕开老师的内裤摸她的爆乳。

  时事4：扒开赵露思❌狂揉❌视频在酒店裡

  05月05日,“快递新规”落地居民取件体验如何？记者实地走访,

　　果然，药根滑落后，淡金色的液体更加浓香了，让这一鼎药液晶莹透亮，闻一口就觉得神清气爽，皮骨通透与舒畅。

,www.无码隐私🔞🔞在线,足控免费视频❌❌❌国产,微信卖偷拍片➕v。

  05月05日,福州港江阴港区年度整车出口突破万辆,

　　不然，谁没事吃狻猊啊，这种生物，血液稍纯一些的就凶气滔天，就更不要说是太古遗种了，让一个大族都压力巨大，忌惮不已。

,㊙️裸男,钢针扎女人奶头子,小🐔🐔伸进🈲🔞🔞71。