微软发布新工具，检测和纠正 AI 幻觉内容

GoodNav 9 月 25 日报道，科技媒体 The Decoder 于昨日（9 月 24 日）发布了一篇博文，指出微软在 Azure AI Content Safety 中以预览版形式推出了 Groundedness Detection，旨在“纠正” AI 幻觉。

AI 幻觉

在人工智能领域，幻觉指的是 AI 生成的一种回应，其中包含看似真实的虚假或误导性信息。

这一术语源于心理学中的幻觉概念，因为两者具有相似的特征。人工智能幻觉的一个主要风险在于，模型的输出可能看起来是正确的，但实际上却是错误的。

Groundedness Detection

微软的 Groundedness Detection 类似于谷歌在 Vertex AI 中推出的 Google Search Grounding，主要通过对比 AI 输出的内容与源文件，来识别缺乏证据或存在幻觉的内容。

微软强调，尽管该工具提升了人工智能输出的可靠性，但并不能确保完全准确，只是能够增强生成内容与源材料之间的一致性。

当系统检测到一个缺乏支持的句子时，会触发一个新的请求，要求一个较小的人工智能模型进行修正，该模型会根据基础文档对句子进行评估。

如果一个句子不包含基础文档中的相关信息，它将被完全过滤掉。对于包含部分相关内容的句子，模型会对其进行改写，以匹配源材料。

IT之家附上官方介绍视频如下：