耶鲁、剑桥等开发MindLLM，将脑成像直接转换为文本

在不远的未来，一场神经科学的革命正悄然发生。耶鲁、达特茅斯与剑桥的精英大脑汇聚一堂，解锁了人脑深处的秘密通道——他们创造了“MindLLM”，一个超越想象的模型，能将思维的涓涓细流转化为文字的洪流。这不再仅仅是科学实验，而是一次探索人类意识边界的壮举。

故事围绕着一位因意外丧失说话能力的年轻小说家艾莉，她的思绪被困在无声的世界里，直到MindLLM的出现。借助这项划时代的技术，她的思想开始以文字的形式流淌，创作出令人震撼的小说，每一行文字都是她大脑活动的直接映射，是灵魂深处未被禁锢的声音。

但随着MindLLM的能力不断扩展，它开始展现出超越预期的力量，不仅解码思维，似乎还能预知情感波动，触及人类意识的未知领域。艾莉的作品成了连接现实与心灵深处未开拓领域的桥梁，引发了关于意识、创造力与科技界限的全球性讨论。

在这个故事中，科技与人性交织，爱与理解跨越了物理的束缚，而MindLLM不仅是工具，更成为了探索人类无限潜能的钥匙。在2025年的春天，艾莉与MindLLM共同书写了一部既属于未来，也属于每个渴望表达灵魂深处故事的人的传奇。

编辑|萝卜皮

将功能性磁共振成像(fMRI)信号解码为文本一直是神经科学界面临的一项重大挑战，它有望推动脑机接口的发展，并加深对大脑机制的了解。然而，现有的方法往往存在预测性能不佳、任务种类有限以及跨受试者泛化能力较差等问题。

针对这一问题，耶鲁大学（YaleUniversity）、达特茅斯学院（DartmouthCollege）和剑桥大学（UniversityofCambridge）的研究人员提出了MindLLM，一种专为主题无关且用途广泛的fMRI到文本解码而设计的模型。

此外，研究人员提出了一种新方法——大脑指令调整(BIT)，可增强模型从fMRI信号中捕获不同语义表示的能力，从而促进更通用的解码。

在全面的fMRI到文本基准上的评估中，MindLLM优于基线，下游任务提高了12.0%，未知主题泛化提高了16.4%，新任务适应提高了25.0%。此外，MindLLM中的注意力模式为其决策过程提供了可解释的见解。

该研究以「MindLLM:ASubject-AgnosticandVersatileModelforfMRI-to-TextDecoding」为题，于2025年2月18日发布在?arXiv预印平台。

解码人类大脑活动（fMRI）为文本在神经科学领域引起了广泛关注。这一技术不仅为认知、行为和意识研究提供了新视角，还具有重要的社会应用价值。

例如，它可以帮助语言障碍者恢复沟通能力，使他们能够轻松表达思想；同时，它还能实现健康人群对数字设备（如具身AI或假肢）的神经控制，使操作更加直观和精确。

然而，该技术仍面临重大挑战：一是需要针对不同应用场景开发多功能解码模型，现有方法如UMBRAE虽能映射fMRI数据到刺激图像，但无法处理更广泛的任务（如记忆检索）；二是缺乏统一且不依赖个体的解码架构，当前方法依赖预处理选择响应体素，导致输入维度不一致和空间信息丢失，影响性能。

研究人员提出了MindLLM，一种用于fMRI到文本解码的主题无关且通用的模型。该方法包括一个主题无关的fMRI编码器和一个现成的LLM。

图示：MindLLM概述。（来源：论文）

主题无关的fMRI编码器将神经科学信息注意层与可学习查询相结合，通过利用体素的空间信息和神经科学先验来实现动态特征提取，从而显著提高预测准确性。值和键的设计将体素的功能信息（在个体之间基本一致）与其fMRI值分开，从而使模型能够受益于跨主体共享的先验，并增强对新主体的概括性。

为了应对多功能解码的挑战，研究人员提出了脑指令调整（BIT）。BIT使用以图像为中介的多样化数据集来训练模型，涵盖旨在捕获fMRI数据中编码的语义信息的不同方面的任务，包括感知和场景理解、记忆和知识检索、语言和符号处理以及复杂推理。

图示：我们的模型与之前的统一模型的比较。（来源：论文）

研究人员在综合基准上评估了MindLLM。结果表明，它的表现优于基线，在各种下游任务中平均提高了12.0%，在未见过的主题上的泛化提高了16.4%。

MindLLM能够有效地适应新任务，在实际应用中表现出很高的可定制性和灵活性。此外，对注意力权重的分析为该团队fMRI编码器的工作机制提供了宝贵的见解。

论文链接：

相关报道：

以上就是耶鲁、剑桥等开发MindLLM，将脑成像直接转换为文本的详细内容，更多请关注其它相关文章！