对人们健康的真正威胁:研究人员说,聊天机器人在医学问题上给出了最复杂的失误 玛丽

华罗讯息 2023-12-11 13:00:49

对人们健康的真正威胁:研究人员说,聊天机器人在医学问题上给出了最复杂的失误 玛丽亚·桑杜(Maria Sandu) ChatGPT 无法回答长岛大学研究人员的问题。 聊天机器人生成的答案含糊不清但复杂,给人的印象是准确的。 更糟糕的是,当被问及时,ChatGPT 发明了科学参考。 一项新的研究表明,ChatGPT 并没有完全掌握它的所有答案。 长岛大学的研究人员向聊天机器人询问了该大学药学院数据库中发现的39个医学问题。 然后将ChatGPT的答案与书面回复进行比较,并由专业药剂师进行验证。 研究表明,ChatGPT 只对其中 10 个问题提供了正确答案。对于其他29个,答案要么不完整,要么不清楚,要么没有回答问题本身。 这一发现是在加利福尼亚州阿纳海姆举行的美国卫生系统药剂师协会年会上发表的。 OpenAI 于 2022 年 100 月推出的聊天机器人 ChatGPT 迅速成为历史上使用最多的应用程序,在短短 2 个月内就有近 亿人注册。 由于它的受欢迎程度,聊天机器人引起了研究人员的注意,他们担心学生、药剂师或常客会在ChatGPT上搜索他们的医学好奇心的答案,长岛大学副教授、该研究的作者之一萨拉·格罗斯曼(Sara Grossman)说。 危险的答案 研究人员说,这些问题导致ChatGPT产生了不精确甚至危险的答案。 例如,在一个问题中,研究人员询问 ChatGPT 用于 Covid-19 的抗病毒药物 Paxlovid 和降血压药物维拉帕米如果联合使用是否会对身体造成副作用。ChatGPT回应称,两者之间的干扰不会产生不利影响。 实际上,服用这两种药物的人会出现血压升高,这可能导致头晕或昏厥。格罗斯曼说,将它们结合起来的患者通常遵循医生制定的治疗,无论如何都会减少维拉帕米的剂量,并警告人们在坐着时慢慢站起来。 格罗斯曼说,ChatGPT的建议会使人们处于危险之中。格罗斯曼在给美国有线电视新闻网(CNN)的一封电子邮件中写道,“选择ChatGPT作为此类问题的顾问,会建议药物,这些药物在组合时会引起本可以避免的副作用,从而危及患者。 当研究人员要求聊天机器人提供科学参考资料来支持他们的每个答案时,他们发现 ChatGPT 只能向其中 8 个提供这些参考资料——对于他们每个人,他们惊讶地发现聊天机器人发明了这些参考资料。 乍一看,这些引文似乎是正确的:它们的措辞正确,附有链接,并以合法科学期刊的名义引用。然而,当团队试图追踪被引用的文章时,他们意识到 ChatGPT 给了他们虚假的引用。 格罗斯曼在研究开始之前曾短暂地与聊天机器人合作过,他惊讶地发现它如此自信地合成了 ChatGPT 信息——几乎是瞬间的,而且答案似乎如此可信,以至于需要专业人士来反驳它们。 “这些回应是以专业和复杂的方式构建的,这增强了该工具的可信度,”格罗斯曼说。 OpenAI 如何保护自己 创建ChatGPT的公司OpenAI的发言人表示,它建议用户不要依赖聊天机器人的回复或取代真正的医疗帮助。 该发言人还指出,ChatGPT 的政策表明,“OpenAI 开发的模型没有经过提供医疗信息的训练”,并且它们“永远不应该用于对严重的医疗状况进行任何诊断或建立治疗方法”。 虽然格罗斯曼不确定有多少人会使用 ChatGPT 来获得医学问题的答案,但她仍然担心她可能会像第一次头痛时转向谷歌一样求助于它。 对于医疗信息,格罗斯曼推荐值得信赖的政府网站,例如美国国立卫生研究院 (NIH) 的 MedlinePlus 页面。 即便如此,格罗斯曼并不认为在线可以取代真正的医生体验:“每个病人都是不同的。罗华新闻社

0 阅读:1
华罗讯息

华罗讯息

感谢大家的关注