无需千亿参数合成高质量数据新开源框架让小模型组团提升无需蒸馏任何大规模语言模型,

量子位看科技 2025-06-17 18:09:09

无需千亿参数合成高质量数据新开源框架让小模型组团提升

无需蒸馏任何大规模语言模型,小模型也能自给自足、联合提升?

上海人工智能实验室联合中国人民大学提出的GRA框架(Generator–Reviewer–Adjudicator) 正是这样一种新范式:

该方法以“多人协作”、“角色分工”的理念为核心,系统性探索了多开源小模型如何通过协同机制生成高质量训练数据。

实验结果显示,在涵盖数学、代码、逻辑推理、通识问答等10个主流数据集上,GRA生成的数据质量与单个大型语言模型(如Qwen-2.5-72B-Instruct)输出相当或更高,并在多数任务中取得了显著领先。

该项目已开源,详细可见链接。

论文地址:

项目地址:

模型地址:

0 阅读:0
量子位看科技

量子位看科技

感谢大家的关注