耶鲁、剑桥等高校联合推出 MindLLM 医疗行业 AI 工具，可将大脑磁共振成像数据转为直观文字信息

GoodNav 3 月 3 日报道，耶鲁大学与剑桥大学、达特茅斯学院的研究人员联合推出了一款名为 MindLLM 的医疗 AI 工具。这款工具可以将脑部功能性磁共振成像（fMRI）数据转换为文本，并在多项基准测试中超越了业内的 UMBRAE、BrainChat 和 UniBrain 等技术。

MindLLM 由 fMRI 编码器和大型语言模型组成，能够分析 fMRI 扫描中的立体像素（Voxels），以便解读脑部活动。其 fMRI 编码器应用了神经科学中的注意力机制，能够适应不同形状的输入信号，从而完成多种分析任务。

研究团队还引入了脑部指令调优（BIT）方法，以增强模型从 fMRI 信号中提取多种语义信息的能力，使其能够执行图像描述、问答推理等多样的解码任务。

测试结果表明，在文字解码、个体间泛化和新任务适应性等基准测试中，MindLLM 相比业内模型最高提升了 12.0%、16.4% 和 25.0%，证明其在适应新受试者和处理未知语言推理方面优于传统模型。

然而，研究人员指出，目前该模型仅能分析静态图像信号，若进一步改进，有望发展为实时 fMRI 解码器，广泛应用于神经控制、脑机接口和认知神经科学等领域，为神经假肢的感知能力修复、精神状态监控以及脑机交互等应用带来积极影响。

目前，相应的论文已在 ArXiv 上发布，附论文地址（点此访问）。