无需千亿参数合成高质量数据新开源框架让小模型组团提升
无需蒸馏任何大规模语言模型,小模型也能自给自足、联合提升?
上海人工智能实验室联合中国人民大学提出的GRA框架(Generator–Reviewer–Adjudicator) 正是这样一种新范式:
该方法以“多人协作”、“角色分工”的理念为核心,系统性探索了多开源小模型如何通过协同机制生成高质量训练数据。
实验结果显示,在涵盖数学、代码、逻辑推理、通识问答等10个主流数据集上,GRA生成的数据质量与单个大型语言模型(如Qwen-2.5-72B-Instruct)输出相当或更高,并在多数任务中取得了显著领先。
该项目已开源,详细可见链接。
论文地址:
项目地址:
模型地址: