TRIBE v2 多模态脑编码模型：预测视觉听觉语言刺激的fMRI反应 | 安装、使用与预训练权重获取

TRIBE v2 是一个面向计算神经科学的多模态脑编码基础模型，由 Meta 研究院开发。其核心用途是预测人类大脑在面对自然刺激（如视频、音频、文本）时的 fMRI 血氧水平依赖（BOLD）信号反应，从而在硅脑中模拟神经活动。 该项目解决的问题是：如何有效地整合视觉、听觉和语言等多种感官模态的深度学习表示，并将其映射到大脑皮层表面，以准确预测神经成像测量值。传统方法往往局限于单一模态或简单线性模型，难以捕捉自然刺激下大脑的复杂整合过程。TRIBE v2 通过统一的 Transformer 架构，实现跨模态特征的联合编码，并显式建模血流动力学延迟（补偿 5 秒滞后），从而更准确地模拟真实神经活动。 适用场景包括：神经科学研究中分析与验证不同感官模态对大脑活动的编码机制；计算认知科学里构建和测试关于感知、注意、语义处理的计算理论；以及脑成像数据分析中将外部刺激与 fMRI 测量进行关联建模。研究者可利用该模型探索多模态信息在大脑中的表征方式。 技术特征上，TRIBE v2 采用统一的 Transformer 架构，将视频、音频、文本的特征映射到 fsaverage5 皮层网格（约 20k 顶点），并补偿 5 秒的血流动力学延迟。项目提供预训练权重（HuggingFace）、简洁的推理接口（TribeModel），以及完整的训练 pipeline（基于 PyTorch Lightning）。代码模块化清晰，涵盖核心模型、训练模块、推理工具与脑可视化，支持从基础推理到完整训练的不同安装选项。