在自然语言处理（NLP）领域，Transformer模型自2017年提出以来，迅速成为主流架构。其核心优势在于摆脱了传统循环神经网络（RNN）的顺序依赖性，从而实现高效的并行计算。然而，这也带来了一个关键问题：由于完全摒弃了顺序结构，Transformer本身并不具备对输入序列顺序的感知能力。为了解决这一问题，研究者引入了“位置编码”（Positional Encoding）的概念。
位置编码是一种将序列中每个元素的位置信息注入模型的方法，使得Transformer能够区分不同位置的词或符号，从而获得对序列顺序的理解。这种机制虽然看似简单，但其背后的设计思想和数学原理却非常精妙。
首先，我们需要理解为什么Transformer需要位置编码。传统的RNN通过隐藏状态逐个处理序列中的元素，天然地保留了顺序信息。而Transformer使用的是自注意力机制（Self-Attention），它会同时考虑所有输入元素之间的关系，导致模型无法自动识别词序。例如，在句子“I saw her with him yesterday”中，如果不加入位置信息，Transformer无法判断“saw”是动作的核心动词，并处于句子的中间位置。因此，为了使Transformer具备时序感知能力，必须显式地将位置信息嵌入输入表示中。
接下来，我们来看位置编码是如何工作的。原始的Transformer论文中提出了两种位置编码方式：固定位置编码（如正弦和余弦函数组合）和可学习位置编码（Learnable Positional Embedding）。前者基于周期函数的性质，使得模型可以外推到训练中未见过的更长序列；后者则与词嵌入一样，作为参数在训练过程中被优化更新。
以正弦/余弦函数为例，位置编码的公式如下：
PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))
其中，pos 表示位置索引，i 表示维度索引，d_model 是词嵌入的维度。这种方式的优点在于，它允许模型捕捉相对位置关系。例如，两个位置之间的差值可以通过三角函数的恒等变换进行建模，从而帮助模型更好地理解序列中的上下文关系。
此外，可学习位置编码在一些后续工作中得到了广泛应用，尤其是在Vision Transformer（ViT）等任务中。这类编码不再依赖固定的数学函数，而是作为一个可训练的参数矩阵存在。其优势在于能够根据具体任务的数据分布灵活调整，适应不同的位置模式，但缺点是对长序列的泛化能力较弱。
除了这两种主流方法，近年来还出现了许多改进型位置编码方案。例如，相对位置编码（Relative Positional Encoding）不仅考虑绝对位置，还引入了元素之间的相对距离，增强了模型对局部结构的敏感性；旋转位置编码（Rotary Position Embedding, RoPE）则通过旋转操作将位置信息融入向量空间变换中，提升了模型在长文本建模中的表现。
位置编码的本质作用在于提供一种结构化的偏置，引导模型关注输入序列中的顺序信息。虽然Transformer本身具有强大的全局建模能力，但缺乏对时间或空间顺序的先验知识。位置编码正是填补这一空白的关键组件。
从应用角度看，位置编码在各种任务中都起到了至关重要的作用。在机器翻译中，它可以确保语序正确；在文本摘要中，有助于模型抓住段落结构；在语音识别中，能有效捕捉音素间的时序关系。甚至在非语言任务如图像识别中，位置编码也用于表达图像块（patch）的空间位置，使模型具备对图像布局的理解能力。
总结来说，位置编码是Transformer模型实现时序感知能力的核心机制之一。它通过显式注入位置信息，弥补了自注意力机制在处理无序数据时的缺陷。随着深度学习的发展，位置编码的形式也在不断演进，从最初的正弦函数扩展到可学习、相对、旋转等多种形式，进一步提升了模型的表现力和适用范围。对于从事NLP、计算机视觉或通用序列建模的研究者和工程师而言，深入理解位置编码的设计原理及其变体，将有助于构建更高效、更具鲁棒性的模型体系。