[LG]《Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models》L Zhang, J Snell, T L. Griffiths [Princeton University] (2025)
大语言模型（LLM）微调的挑战在于如何高效实现泛化与不确定性估计。最新研究提出Amortized Bayesian Meta-Learning for LoRA（ABMLL），实现了这两者的平衡：
• 结合低秩适配（LoRA）与贝叶斯元学习，显著降低微调大模型的计算和内存成本，突破传统元学习需保存多份模型或二阶梯度的瓶颈。
• 以LLAMA3-8B为例，ABMLL在CrossFit和UnifiedQA等多任务数据集上，提升准确率至74.8%，优于常规LoRA及Reptile方法。
• 通过引入新型全局变量先验和可调超参数（β、γ），有效平衡任务特异性参数与全局参数的拟合度，防止过拟合，提升泛化能力。
• 利用贝叶斯框架，ABMLL不仅优化性能，更提供更优的不确定性量化，降低预训练模型在新任务上的误判风险，提升模型响应的校准度。
• 适用性强，避免限制上下文长度及昂贵的二阶优化，支持大规模语言模型的高效元学习微调。
ABMLL为大语言模型的微调与泛化带来新的范式，兼顾性能与可靠性，具备广泛应用潜力。
详情阅读👉 arxiv.org/abs/2508.14285
大语言模型元学习贝叶斯方法LoRA模型泛化不确定性估计
