模型架构Transformer、注意力与混合专家等模型结构

多头注意力

并行运行多组注意力,从不同子空间捕捉多样的关系。

多头注意力将查询、键、值拆分到多个「头」,每个头关注不同模式(如语法、指代、语义),最后拼接融合。它是 Transformer 标准组件,显著提升表达力。

相关术语