一个 7B 奖励模子惩处全学科鬼父2，大模子强化学习不啻数学和代码。
o1/r1 的强化学习很强，但主要探索了数学和代码领域，因为这两个领域的数据结构化进程高，奖励函数 / 奖励模子比较好筹算。
那么，想进步大模子在其他学科领域的才智该怎么办？
腾讯 & 苏州大学团队漠视新框架 RLVR，坚硬化学习磨砺推广到医学、化学、法律、心情学、经济学等多学科。
RLVR 使用基于生成模子的软奖励，与传统基于二元次序的奖励比较，在泛化、正经性和可推广性方面有显赫的进步。
除论文外，还开源了奖励模子和多学科数据集。
7B 奖励模子惩处全学科
研究基于一个真理真理的发现：当任务有客不雅参考谜底时，不同大型谈话模子在作念二元判断 ( 正确 / 错误 ) 时施展出高度一致性。
这或者意味着，并不需要在每个领域都磨砺一个大范畴的奖励模子。违犯，告成用现成的大谈话模子来充任考证器就能灵验。
像这么的二元奖励天然浅显告成，但在参考谜底清寒结构化的领域又不告成适用。
于是研究团队进一步引入基于模子的软奖励（model-basedsoft scroing），比较告成给出 0 或 1 的二元硬标签，软奖励凭证生成式考证器判断的置信度打分，有了更高的天真性。
受启发于"大模子判断高度一致"的发现，团队用 72B 参数的 Qwen2.5-Instruct 蒸馏出一个 7B 的奖励模子。蒸馏流程不需要领域特定的标注，饱胀依靠在线探索阶段蚁集的数据进行磨砺。
总计流程分为 3 步活水线：
鬼父2
推行数据从 ExamQA 中立时采样了 6000 个问题，庸碌分散于理工东说念主文各学科。
推行对比基础模子（Base）、微调基础模子（SFT）、基于次序的 RL、使用 SFT 模子作为考证器，以及本文蒸馏的 RM-7B 模子作为考证器的多种方法，有以下论断：
RM-7B 在摆脱体式谜底任务中施展出色
基于模子的奖励在处理非结构化参考谜底场景中优于基于次序的奖励
软奖励在处理多学科任务中，濒临复杂判断时比二元奖励施展更好
此外推行还考证了基于模子的奖励在数据量增多时可推广性更好。
在研究部分，作家指出本研究中未使用念念维链推理（CoT），天然 CoT 在有参考和无参考的场景中都有用，但关于评估同谈话的参考谜底和模子反应之间的语义等价性，深远的推理依据是否必要仍有待研究。此外，在 RLVR 的流程奖励建模中，当中间方法清寒告成监督时，怎么分派奖励亦然一个洞开问题。
本研究也离别参考谜底或模子反应建树口头敛迹，这么作念克己是减少了数据圭臬化和模式筹算的东说念主力干与，但口头关系敛迹和奖励在这种情况下的作用仍需重新注视。
One More Thing
论文作家腾讯涂兆鹏发帖先容了这篇著作，酌量强化学习是否不错推广到数学和编码任务除外。
挑剔区有网友指出很有可能建设，因为不同的磨砺方法不错四肢有不同范畴要求的学习空间。
涂兆鹏也觉得这个视角与 RLVR 方法的不雅点一致。
论文地址：
https://arxiv.org/abs/2503.23829
HuggingFace：
https://huggingface.co/collections/virtuoussy/rlvr-67ea349b086e3511f86d1c1f
参考接续：
[ 1 ] https://x.com/tuzhaopeng/status/1906975869538914570
一键三连「点赞」「转发」「堤防心」
宽待在挑剔区留住你的方针！
— 完 —
速抢席位！中国 AIGC 产业峰会不雅众报名通说念已开启 � � ♀️
首批嘉宾曝光啦 � � 百度、无问芯穹、数势科技、生数科技、像素怒放等十数位 AI 领域创变者将王人聚峰会，让更多东说念主用上 AI、用好 AI，与 AI 一同加快成长～
4 月 16 日，就在北京，沿路来深度求索 AI 怎么用 � �
� � 一键星标 � �
喜爱夜蒲科技前沿进展逐日见鬼父2