位置编码

为模型注入序列中位置信息的方法。

注意力本身不感知顺序，位置编码为每个 Token 附加位置信号，让模型区分「你打了我」与「我打了你」。现代模型多使用旋转位置编码（RoPE）等可外推方案。