Transformer 是 Google 2017 年论文《Attention Is All You Need》提出的神经网络架构,改变了整个游戏:它不再缓慢地顺序处理,而是用注意力机制同时、关联地处理文本中的所有词元。
回报是:硬件上的并行训练、对长距离依赖的把握(「这个代词指哪个名词?」)以及可怕的可扩展性。今天所有重要的大模型——GPT、Claude、Gemini、Llama——都是它的直系后代。
架构一览:输入嵌入、堆叠的注意力层与前馈层、保持顺序的位置编码。2026 年的各种变体(MoE、FlashAttention、混合窗口)优化的是这副骨架,而非取而代之。
