OpenAI 语音转写工具 Whisper 被曝存在重大缺陷:会凭空生成大段虚假内容
GoodNav 10 月 28 日报道,依据美联社在当地时间 27 日发布的消息,超过十名软件工程师、开发者及学术研究从业者指出,OpenAI 的语音转写工具 Whisper 存在一个严重问题:有时会毫无根据地生成大段甚至完整句子的虚假内容。
这些专家强调,这种生成的文本(业内通常称之为“AI 幻觉”)可能包括种族言论、暴力语言,甚至虚假的医疗建议。
专家认为,这一缺陷尤为令人担忧,因为 Whisper 已被广泛应用于全球多项行业,包括翻译和处理访谈内容、生成常见消费科技文本以及制作视频字幕等。
更具风险的是,尽管 OpenAI 已提醒不应在“高风险领域”使用该工具,但一些医疗机构依然在急于采用基于 Whisper 的工具来记录医生与患者之间的咨询内容。
报道称,研究人员和工程师在工作中频繁遭遇 Whisper 的“幻觉”现象,具体问题的整体规模尚不清楚。例如,密歇根大学的一位研究员在研究公共会议时发现,在他审阅的十份音频转录中,八份都包含虚构内容。
一位机器学习工程师透露,在他分析的超过 100 小时的 Whisper 转录中,发现大约一半内容存在“幻觉”现象。另一位开发者进一步指出,在他使用 Whisper 生成的 26000 份转录中,几乎每一份都包含虚假内容。
即便是音质优良的简短音频样本,也未能避免这些问题。最新研究显示,计算机科学家审查的超过 13000 段清晰音频中,有 187 段出现了“幻觉”现象。
研究者认为,这一趋势表明,在数百万条录音中可能会发生数以万计的错误转录。
OpenAI 的发言人表示,该公司正在持续研究如何减少幻觉现象,并感谢研究者的反馈,并会在模型更新中加以考虑。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...