量子科学技术研究开发机构（QST）量子生命科学研究所的间岛庆研究员、信息通信研究机构（NICT）未来ICT研究所的小出（间岛）真子研究员、大阪大学研究生院生命机能研究科的西本伸志教授等人组成的研究团队成功还原出了大脑中浮现的图像。此前虽然有过成功复原眼睛看到的图像或简单符号图像的先例，但成功复原出出现在脑海中的各类图像在世界上还是首次。间岛研究员表示：“通过引入生成式AI的辅助，实现了高精度还原”。相关成果已发表在《Neural Networks》上。
量子生命科学研究所研究员间岛庆在发布会上展示成果
利用新技术还原图像的示例。左列为豹，右列为玻璃球。通过AI的辅助（上排），准确度大幅提高
近年来，使用fMRI进行的脑科学研究取得了快速进展，此前有研究报道显示，可还原眼睛实际看到的图像。然而，对于不在眼前只是在脑海中出现的图像，还只能还原字母或简单的几何图案，对于物体或风景等复杂的事物尚无还原成功的先例。
此次，研究团队利用fMRI测量的大脑信号构建了大脑信号翻译机，并将图像所具有的特征的数值数据与生成式AI的绘图相结合，成功还原了脑海中浮现的图像。
首先，向实验对象展示物体或风景等1200张图像，用fMRI获取1200张图像的大脑信号数据，同时将这些图片输入给图像识别用AI，通过将每张图片的特征值（颜色的比例、45度线段的强度、条纹的数量、图像所代表的特征，例如，猫头鹰图像中的鸟类特征等）转换为约613万个列（评分表），从而生成了1200张的数值数据（矩阵）。根据这些配对的大脑信号数据和评分表，建立了一个将大脑信号翻译成评分表的大脑信号翻译机。
然后，让进入fMRI中的受试者想象图像，让翻译机根据脑信号对照评分表输出结果，进行图像的还原。生成式AI自动输出的图像会根据评分表反复修正500次（贝叶斯推断和朗之万动力学法的组合）。由此，成功实现了平均正确率达90.7%的高精度图像还原。
根据从大脑信号中还原大脑描画的图像（心理图像），有助于开发通过心理图像进行交流的装置，也就是所谓的脑机接口。有望成为与因病或受伤而难以与医生沟通的患者进行交流的手段。
此外，该方法还可以作为一种帮助人类了解大脑如何产生想象、睡眠中的梦境和幻觉等大脑活动的工具。
间岛研究员表示：“迄今为止，人类通过望远镜可以看到宇宙，通过显微镜可以看到微观世界。此次，我们第一次踏入了人类的内心世界。对此非常感谢过去所做的大量研究”。
原文：《科学新闻》
翻译：JST客观日本编辑部
【论文信息】
杂志：Neural Networks
论文：Mental image reconstruction from human brain activity: Neural decoding of mental imagery via deep neural network-based Bayesian estimation
DOI：10.1016/j.neunet.2023.11.024
