轻量化AI模型：手机端实现精准健康监测！
随着移动和可穿戴设备的普及，持续健康监测技术快速发展。大语言模型在医疗预测中展现出强大能力，但依赖云端推理会带来隐私泄露、内存占用大和响应延迟等问题。为此，研究人员开始关注能够在移动设备上高效运行的小语言模型。
本研究提出的“健康小语言模型基准测试平台”是一个综合性评估体系，系统评估小语言模型在移动和可穿戴医疗监测中的性能。该平台在三个公开数据集上的多个健康预测任务中，对九种先进小语言模型进行了全面测试，涵盖零样本学习、少样本学习和基于指令的微调三种评估方案。为确保实际可行性，研究还在移动设备上部署了性能最优的微调模型，评估其在实际医疗场景中的设备效率和预测能力。
研究采用三个代表性数据集：PMData（包含疲劳、准备状态、睡眠质量和压力等指标）、GLOBEM（用于预测抑郁症和焦虑症）和AW-FB（用于预测卡路里消耗和活动类型）。实验结果显示，小语言模型在八个医疗监测任务中能达到与大语言模型相当的性能，同时显著降低了内存占用和延迟。
在零样本学习设置下，小语言模型在压力、准备状态和疲劳预测等任务中表现突出；在少样本学习中，即使仅提供一个示例也能与大语言模型竞争；在基于指令的微调中，小语言模型在疲劳和卡路里估计方面表现更优。
在移动设备部署测试中，iPhone 15 Pro Max上的运行结果表明，小语言模型在延迟和内存消耗方面均优于大语言模型，其中两个模型在延迟和吞吐量上显著优于Llama-2-7b等大模型。
研究也发现了小语言模型的局限性，特别是在处理类别不平衡和少样本场景时会出现表现不稳定的情况。未来研究可关注鲁棒提示设计、类别不平衡感知训练等方向。
这项研究证实了小语言模型作为高效、隐私保护型医疗监测解决方案的潜力，为未来研究提供了重要基础和方向。
热门微博 科技快讯 ai医疗 哈勃观察员[超话]
