多模态图像、视频、语音等跨模态能力

跨模态

在不同模态(文本、图像、音频)之间迁移与对齐信息的能力。

跨模态能力让模型理解「图像里的文字」「描述对应哪张图」等关系,统一表示空间是多模态模型的核心设计思想(CLIP 等为代表性工作)。

相关术语