旋转位置编码 RoPE 原理：为什么主流大模型都选它

大模型面试问 Transformer，位置编码是绕不开的一环。而现在的标准答案就是 RoPE（Rotary Position Embedding，旋转位置编码）——LLaMA、Qwen、GLM 等主流开源模型全在用。

问题：Transformer 为什么需要位置编码

自注意力本身是置换不变的——打乱输入顺序，输出不变。必须额外注入位置信息。早期方案各有痛点：

• 绝对正弦编码：只知绝对位置，相对关系靠模型自己悟；
• 相对位置编码（T5 bias 等）：效果好但实现侵入注意力计算，不好扩展。

RoPE 的核心思想

用"旋转"代替"相加"：把每个 token 的 query/key 向量看作复数，按 token 的位置 m 旋转一个角度 mθ。

神奇之处在于：旋转后的 q_m 和 k_n 做内积时，结果只依赖相对位置 (m-n)——绝对位置的编码方式，自动获得了相对位置的性质。这是 RoPE 的精髓，也是面试必答点。

RoPE 的三大优点

1. 相对位置性质：注意力天然感知距离，无需额外设计；
2. 远程衰减可控：随相对距离增大，注意力有自然的结构化衰减；
3. 长度外推友好：配合 NTK-aware、YaRN 等缩放技巧，可以把训练 4K 的模型推到 128K 上下文——长文本时代的关键能力。

面试答法模板

"RoPE 通过复数旋转把位置编进 q/k，内积后只依赖相对位置；相比绝对编码保留了相对关系，相比 T5 bias 实现简洁且可与线性注意力等结构组合；长度外推配合 YaRN 类缩放是当前长上下文的主流做法。"

追问预备：旋转角 θ 的基频怎么取（几何级数）、为什么 value 不加 RoPE（旋转不改变范数意义下的信息但没必要）、YaRN 做了什么（分频段缩放注意力温度）。

公式推导卡住就截图问 AI 逐步过（工具免费 3 次），Transformer 全套考点在大模型面试知识图谱。