并行运行多组注意力,从不同子空间捕捉多样的关系。
多头注意力将查询、键、值拆分到多个「头」,每个头关注不同模式(如语法、指代、语义),最后拼接融合。它是 Transformer 标准组件,显著提升表达力。