大模型学数学不再死记硬背AI拼好题只用45K数据提效18%学生只会背题,却忽略了

量子位看科技 2025-06-17 18:09:06

大模型学数学不再死记硬背AI拼好题只用45K数据提效18%

学生只会背题,却忽略了题目之间的内在联系,大模型也不例外。

为了打破这种局限,让大模型学会“串联”与“并联”知识,上海AI Lab、人大高瓴等团队联合提出了MathFusion,通过指令融合增强大语言模型解决数学问题的能力。

他们只用45K条合成数据,就在多个数学测试上提升了18个百分点,数据效率惊人。秘诀是三种融合策略:

- 顺序融合:前题解答作为后题条件,模拟多步推理。

- 并列融合:拼接相似问题,提出新题。

- 条件融合:设计题目让模型比较两个解,提升判断能力。

数据集命名为MathFusionQA。团队用它训练DeepSeekMath-7B、Llama3-8B等模型,性能全面提升,且融合策略组合优于单一使用。

此外,融合题更难,但模型学得更快;与其他数据集结合还能进一步提效。特征分布也更广泛,泛化能力更强。关键提升并不依赖于teacher model,而是融合方式本身。

0 阅读:0

猜你喜欢

量子位看科技

量子位看科技

感谢大家的关注