在Transformer架构中，有一个容易被忽略却至关重要的模块——位置编码（PositionalEncoding，PE）。如果说注意力机制让模型能“理解关联”，前馈神经网络让模型能“提纯特征”，那么位置编码的作用就是让模型能“感知顺序”。

人类语言中，语序直接决定语义：“我打了你”和“你打了我”仅因语序不同，含义完全相反。而Transformer的注意力机制是“并行计算”（同时处理所有词），天然缺乏对语序的感知——若没有位置编码，模型会把“我打了你”和“你打了我”视为相同的输入。位置编码的核心功能，就是给每个词“打上位置标签”，让模型知道“谁在前，谁在后”。

理想的位置编码需要满足三个条件。位置唯一性，即不同位置的编码向量必须不同；距离相关性，位置越近的词，编码向量越相似（如位置2和3的相似度高于2和10）；长度适应性，能适配任意长度的句子（训练时用100词，推理时能处理200词）。接下来介绍的所有位置编码方案，都是围绕这三个条件设计的。

绝对位置编码：给每个位置一个“唯一身份证”

绝对位置编码的核心思路是：为每个位置分配一个固定的编码向量（如位置0对应向量A，位置1对应向量B），无论句子内容如何，位置n的编码始终不变。这种“一一对应”的设计能保证“位置唯一性”，是早期Transformer的主流选择。

1.正余弦位置编码（SinusoidalPE）：原始Transformer的选择

Transformer原始论文提出的正余弦编码，是最经典的绝对位置编码方案。它通过正弦和余弦函数生成位置向量，公式如下：

其中，pos是词的位置（0,1,2,…），i是向量维度（0到d_model-1），d_model是嵌入维度（如512）。

正余弦编码的设计有其巧妙之处。在位置唯一性上，不同pos的正弦/余弦值不同（如pos=0时sin(0)=0，pos=1时sin(1/10000^…)≠0）；距离相关性方面，位置越近的词，编码向量越相似（如位置2和3的相似度高于2和10）；长度适应性上，正弦/余弦是周期函数，可无限生成任意pos的编码（即使句子长度超过训练时的最大长度）。例如对于512维的嵌入向量，位置0的编码向量前几个维度为[sin(0),cos(0),sin(0),cos(0),…]=[0,1,0,1,…]，位置1的编码向量前几个维度为[sin(1/10000^0),cos(1/10000^0),sin(1/10000^(2/512)),cos(1/10000^(2/512)),…]，这些向量的差异清晰反映了位置差异。

不过，绝对位置编码存在共性问题，即外推能力弱——当句子长度超过训练时的最大长度（如训练用512词，推理用1024词），新增位置（512-1023）的编码向量在训练中从未出现过，模型无法准确理解其位置关系。

2.可学习位置编码（LearnedPE）：BERT等模型的选择

可学习位置编码的思路更直接：随机初始化一组位置向量（如位置0到511各对应一个向量），通过训练让模型自动学习最优的位置表示。

例如训练时最大句子长度为512，则初始化一个512×d_model的矩阵（每行对应一个位置的编码），这个矩阵会像嵌入层一样参与模型的参数更新——模型在学习“猫追狗”的语义时，也会同步学习“猫在位置0，狗在位置2”的位置关联。

可学习位置编码的优势在于灵活性更高，无需人工设计函数，模型可根据任务自动调整位置编码（如在诗歌生成任务中，对押韵位置更敏感），而且在训练长度范围内，可学习编码通常比正余弦编码的效果略优。但它的外推能力极差，训练时未见过的位置（如512以上）没有对应的编码向量，无法直接处理长于训练长度的句子，同时泛化性弱，针对特定长度训练的编码，迁移到其他长度时性能下降明显。因此，可学习位置编码更适合“固定长度任务”（如句子分类，输入长度固定为512），但不适合需要处理变长文本的场景（如文档生成）。

相对位置编码：关注“相对距离”而非“绝对位置”

绝对位置编码的“外推困境”源于对“绝对位置”的依赖——位置512的编码对模型而言是全新的。相对位置编码则另辟蹊径：不编码绝对位置，只编码“词与词之间的相对距离”（如A在B前面3个位置）。

这种设计的优势在于：相对距离是“有限且可复用”的（如相对距离-2、-1、0、1、2覆盖了大部分关联），即使句子长度超过训练范围，相对距离的编码仍能复用训练时学到的规律。

1.自注意力中的相对位置建模：Transformer-XL的改进

Transformer-XL首次将相对位置信息引入注意力计算。在传统注意力中，分数计算为Attention(Q,K)=Softmax((QK^T)/√d_k)，而Transformer-XL修改为Attention(Q,K,R)=Softmax((Q(K^T+R^T))/√d_k)，其中R是“相对位置编码矩阵”（存储相对距离为-1、-2、…、+2的编码）。这意味着注意力分数不仅取决于词的内容（Q和K），还取决于它们的相对距离（R）。

例如计算“狗”对“猫”的注意力时，若“猫”在“狗”前面2个位置，就会加入“相对距离+2”的编码——这种关联在短句子和长句子中是一致的，因此模型能自然外推到更长文本。

2.ROPE（RotaryPositionEmbedding）：LLaMA、GPT-4等大模型的主流选择

ROPE（旋转位置编码）是目前最成功的相对位置编码方案之一，它通过“向量旋转”实现相对位置建模，兼顾了计算效率和外推能力。

ROPE的关键insight是：两个词的相对位置可以通过“其中一个词的向量旋转一定角度”来表示。具体来说，对位置为m的词向量q_m，用旋转矩阵R_m进行旋转；对位置为n的词向量k_n，用旋转矩阵R_n进行旋转；旋转后的内积q_m^TR_m^TR_nk_n=q_m^TR_{n-m}k_n（仅与相对距离n-m有关）。

这意味着：注意力分数只取决于词的内容和相对距离，与绝对位置无关。例如“猫”在位置2，“狗”在位置5（相对距离+3），和“猫”在位置102，“狗”在位置105（相对距离+3）的注意力分数计算方式完全相同。

ROPE的优势在于完美外推，相对距离的编码是固定的（如相对距离3的旋转角度固定），无论句子多长，模型都能复用训练时学到的相对位置规律；计算高效，旋转操作可在复数域高效实现（无需额外存储大矩阵），几乎不增加计算开销；而且兼容性强，可无缝集成到现有Transformer架构，无需修改注意力机制的核心逻辑。正是这些优势，让ROPE成为大模型处理长文本的“标配”——LLaMA2支持4096长度，GPT-4支持128000长度，都离不开ROPE的贡献。

3.ALiBi（AttentionwithLinearBiases）：简化的相对位置建模

ALiBi是一种更轻量的相对位置编码方案，它不修改词向量，而是直接给注意力分数添加一个“基于相对距离的偏置”。

具体来说，当两个词的相对距离为k时，ALiBi在注意力分数上减去一个与k成正比的偏置（如距离k的偏置为-m×|k|，m是可学习参数）。这种设计的逻辑是：相对距离越远，注意力分数的惩罚越大（符合人类阅读时“近邻词关联更强”的规律）。

ALiBi的优势在于极致简洁，无需修改嵌入向量或注意力计算，只需添加一个偏置项，实现成本极低，同时外推性好，相对距离的偏置规则（如距离越远惩罚越大）可直接应用于长句子，而且适合小模型，计算开销比ROPE更小，在资源受限的场景（如移动端）表现优异。不过它的精度略低，偏置的线性假设（距离与惩罚成正比）不如ROPE的旋转编码精准，在超长文本（如10万词）中性能略逊于ROPE。

长度外推策略：让模型处理“超长文本”的技巧

即使采用相对位置编码，模型处理远超训练长度的文本（如训练用4096词，推理用16384词）时，仍可能出现性能下降。这是因为长文本会带来新的挑战：注意力计算的噪声累积、长距离依赖的稀释。研究者们为此设计了多种“长度外推策略”。

1.位置插值（PositionInterpolation）：缩放现有位置编码

位置插值是最常用的外推方法，核心思路是：将超长文本的位置“压缩”到训练时的位置范围内。例如训练长度为4096，推理时要处理16384，则将位置4096映射为1024，位置8192映射为2048（相当于按1/4比例缩放）。

这种方法对ROPE特别有效：旋转角度与位置成正比，缩放位置等价于缩放旋转角度——模型可通过插值学习长距离的相对位置规律。LLaMA2通过位置插值，能将上下文长度从4096扩展到16384，性能仅下降5%左右。

2.YARN（YetAnotherRotation-basedPositionEmbedding）：动态调整旋转周期

YARN针对ROPE在超长距离（如10万词）的性能下降问题，提出“动态旋转周期”：短距离（如0-1000词）使用小周期旋转（角度变化快），保证精细的位置区分；长距离（如1000-10万词）使用大周期旋转（角度变化慢），避免旋转过度导致的信息丢失。

这种“远近有别”的设计，让ROPE在兼顾短距离精度的同时，能更好地处理长距离关联。实验显示，YARN可将LLaMA的有效上下文长度扩展到10万词以上，且长距离推理性能提升30%。

3.滑动窗口注意力：牺牲全局关联换取效率

当文本长度超过模型设计上限（如100万词）时，即使有外推策略，全局注意力的计算量也会爆炸（O(n²)复杂度）。滑动窗口注意力通过“限制注意力范围”降低计算量：每个词只关注前后k个词（如窗口大小为2048）；对超长篇文档，按窗口滑动处理（如先处理1-2048词，再处理1025-3072词）。

滑动窗口注意力的优势是计算量从O(n²)降至O(n×k)，可处理百万级长度文本，但它无法捕捉窗口外的长距离关联（如文档开头和结尾的呼应），适合对全局关联要求低的任务（如文本摘要）。

各大模型的长上下文处理方案：从设计到实践

不同模型根据任务需求和计算资源，选择了不同的位置编码和外推策略，形成了各具特色的长上下文能力。GPT-4采用ROPE作为基础位置编码，结合动态窗口和YARN改进的长度外推策略，支持128000的最大长度，兼顾超长长度和全局关联。LLaMA2同样以ROPE为基础，使用位置插值的外推策略，基础版支持4096长度，扩展版能支持100000以上，开源友好且外推成本低。BERT采用可学习编码，通过截断和Padding处理长度，支持512的最大长度，适合固定长度理解任务。Transformer-XL运用相对位置编码，借助片段缓存（Memory）的外推方式，支持8192长度，擅长长文档连贯生成。Mixtral基于ROPE，结合滑动窗口和分组注意力，支持32768长度，效率极高，适合实时对话。

这些方案的共同趋势是：以ROPE为基础，结合动态外推策略，在效率与长距离关联间找平衡——对需要全局理解的任务（如法律文档分析），牺牲部分效率保留全局注意力；对实时性要求高的任务（如聊天机器人），用滑动窗口换取速度。

未来方向：从“能处理长文本”到“能理解长逻辑”

当前位置编码的研究已从“如何处理更长文本”转向“如何更好地理解长距离逻辑”。例如逻辑感知位置编码，在编码中融入文本的结构信息（如段落边界、标点符号），让模型区分“句子内关联”和“段落间关联”；动态注意力窗口，根据文本内容自动调整窗口大小（如在逻辑密集段用小窗口聚焦，在叙述段用大窗口捕捉全局）；多尺度位置编码，同时编码词级、句级、段落级的位置信息，适配不同粒度的关联学习。

这些方向的探索，将让大模型不仅能“读完”一本百万字的书，更能“读懂”书中的逻辑脉络——这才是长上下文处理的终极目标。

结语：位置编码的“简单与深刻”

位置编码的设计看似只是“给词加位置标签”，却蕴含着深度学习的核心智慧：好的结构设计比单纯增加参数更重要。从正余弦编码的人工设计，到ROPE的数学优雅，再到ALiBi的极简思路，每一次进步都不是因为更复杂的计算，而是对“位置信息本质”的更深刻理解——模型需要的不是“绝对位置的数值”，而是“相对关系的规律”。

当我们看到AI能生成万字小说、分析整本书的主题时，不要忽略背后位置编码的贡献——正是这些“看不见的向量”，让模型能像人类一样“按顺序理解语言”，最终跨越“词”的局限，触及“语义”的本质。

未来，随着长上下文需求的不断提升，位置编码仍将是大模型创新的关键支点——毕竟，理解语言的第一步，是先知道“谁在前，谁在后”。

财政大臣里夫斯驳斥英国或需IMF救助的说法　　英国财政大臣雷切尔·里夫斯反驳了反对党保守党暗示英国可能需要寻求国际货币基金组织（IMF）救助的言论，称这一说法“不负责任”。　　里夫斯是在回应保守党领袖KemiBadenoch的言论，后者周一晚些时候在接受电视采访时表示，她“非常担心”英国可能不得不“卑躬屈膝”地向IMF求助，就像当年首相Ja