多模态 AI 模型之所以重要，是因为许多日常任务需要不止一种数据类型。一场会议可能产生幻灯片、语音和笔记；一份医疗记录可能包含扫描图像、报告和口述音频。能接收多种输入的模型减少了在不同工具间切换的需要。
早期融合：让原始输入尽早结合
早期融合在主网络层开始前就连接数据。图像被词元化为图块，音频波形变成频谱图块，而文本保持为词元。所有图块从第一层起便进入同一个 Transformer 堆栈。当各模态具有很强的空间或时间对齐关系时，这种方法表现良好。
后期融合：先处理独立编码器
后期融合先让每种模态经过各自的编码器：文本使用语言编码器，图像使用视觉编码器，音频使用专用音频编码器。只有最终嵌入会在交叉注意力块中汇合。由于每个编码器都可单独优化，这种方法更适合扩展到长输入。
语音界面将口头输入与屏幕上下文结合。用户可以把手机摄像头对准设备，用自然语言询问故障排除步骤。
视频分析平台生成摘要和可搜索的转写内容。编辑可以通过描述场景或引用说过的话，在数小时素材中搜索。
问：使用实现多模态 AI 模型的工具时，我的数据安全吗？ 答：安全性取决于部署方式。本地处理会将文件留在设备上，而云端 API 会把数据发送到远程服务器。
参考来源