跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

架构与模型

Transformer(变换器)

Transformer

Transformer(变换器)

通过注意力机制并行处理整个文本的神经网络架构——自 2017 年以来所有大语言模型的基础。

Transformer 是 Google 2017 年论文《Attention Is All You Need》提出的神经网络架构,改变了整个游戏:它不再缓慢地顺序处理,而是用注意力机制同时、关联地处理文本中的所有词元。

回报是:硬件上的并行训练、对长距离依赖的把握(「这个代词指哪个名词?」)以及可怕的可扩展性。今天所有重要的大模型——GPT、Claude、Gemini、Llama——都是它的直系后代。

架构一览:输入嵌入、堆叠的注意力层与前馈层、保持顺序的位置编码。2026 年的各种变体(MoE、FlashAttention、混合窗口)优化的是这副骨架,而非取而代之。

返回术语表