近日，西湖大学与同济大学、麻省理工学院和蒂宾根大学等机构的研究人员合作开发了一种基于数据驱动的人工神经网络（ANN）的视觉解码框架，发现该模型在仅通过猕猴多脑区脉冲活动重建动态视频的任务中，能够自发地与脑区视觉功能分区相对齐。这一研究发现揭示了智能系统在处理复杂视觉信息时，即使没有显式的先验功能信息，也能涌现出与生物脑相似的功能分化。

相关成果以 “Data-driven ANN-based visual decoding enables unsupervised functional alignment” 为题发表在Communications Biology上。

西湖大学理学院、交叉科学中心博士后张昕亚为第一作者及通讯作者。合作者包括同济大学严钢教授、麻省理工学院教授Earl K. Miller、蒂宾根大学教授Markus Siegel、同济大学博士生林杭（共同第一作者）和南卫理公会大学博士生邓泽宇。

在以往的神经解码研究中，通常依赖既有的功能分区假设来建模不同脑区的作用。为进一步探索跨脑区神经活动中蕴含的信息结构，研究人员采集了猕猴在观看包含形状、颜色和运动方向的动态视频时的多区域神经脉冲信号，涉及前额叶皮层PFC、额叶眼区FEF、外侧顶叶区LIP、下颞皮层IT、第四视觉皮层V4和中颞区MT六个脑区。基于这些数据，研究人员训练了一个集成3D U-Net架构的解码模型。研究发现，尽管在记录位点层面，训练集与测试集的相关性较低，但该模型仍能凭借对高维神经模式的捕捉能力，精准地重建出视频中的视觉场景。重构出的视频不仅还原了提示线索的形状，还能够捕捉刺激点的颜色与运动方向。

补充重建视频动图

研究发现在未引入任何脑区功能先验的情况下，人工神经网络仅通过最小化重建误差进行训练，便自发地形成了与大脑不同区域功能特性相一致的解码依赖关系。通过测试集数据对不同脑区信号进行掩蔽（masking）分析，研究人员评估了各脑区对不同视觉特征解码性能的贡献。结果显示，V4 脑区对形状信息的解码具有显著影响，MT 脑区对运动方向的解码尤为关键。与此同时，LIP 脑区的掩蔽对颜色相关解码性能产生了显著影响，提示该区域在视觉决策与注意调节过程中，可能参与对颜色信息的整合与选择性调控。这一自发形成的功能对齐现象表明，人工神经网络在学习处理复杂生物神经信号时，能够在缺乏先验标注的情况下，捕捉并重现大脑内部的功能组织结构。

此外，研究团队通过逆转网络架构，进一步构建了从视觉输入预测特定脑区神经脉冲模式的编码模型。研究实现了从“神经活动解码视频”到“视频编码为神经活动”的双向闭环，有力地证明了该模型捕捉神经表征的准确性。研究进一步揭示了大脑信息处理的细微特征：人工智能模型在捕捉低频神经信号方面表现出色，而对高频信号的重建能力则呈现出差异。这种差异并非单纯的模型误差，而是反映了不同脑区在功能上的本质区别。特别是在负责高级认知决策的脑区，其神经活动往往包含更丰富、更复杂的动态高频特征。这种编码与解码在不同脑区表现出的一致性，不仅证实了人工智能模型在模拟复杂神经系统方面的巨大潜力，也为我们理解生物脑如何在高维空间中处理多尺度信息提供了关键证据。