Transformer 中文学习台

原交互网页 按需加载 Polo Club 官方演示

先理解，再动手。

下方中文笔记可直接阅读。互动可视化由 Polo Club 提供，点击后才会加载官方网页与远程模型。

也可以在新窗口打开模型下载可能较大，加载速度取决于网络与设备。本页不托管或运行模型服务。

这里把中文学习笔记与官方交互入口放在一起。可以先读概念，再按需打开演示，看对应模块如何工作。

建议不要急着记公式，先理解信息如何从 token 流过 Embedding、Transformer Block、Output Probabilities。

文本生成型 Transformer 可以先理解成三段流水线： Embedding 把文字变成向量， Transformer Block 反复加工这些向量， Output Probabilities 把加工后的结果转成“下一个 token”的概率。

GPT-2 small 有 12 层 Transformer Block。层数越往后，token 的表示通常越抽象，也更融合上下文。

Embedding 的任务是把离散文字转成连续向量。流程是 Tokenization、Token Embedding、Positional Encoding，最后把 token 含义和位置信息合在一起。

直觉上，Token Embedding 表示“这个词或子词是什么”，Positional Encoding 表示“它在句子里的第几个位置”。

Self-Attention 让每个 token 根据上下文更新自己。它会生成 Query (Q)、Key (K)、Value (V)： Q 像搜索问题，K 像可匹配的索引，V 是真正要取回的信息。

Multi-Head 的意思是同时用多个 attention head 看同一句话。不同 head 可能关注语法、指代、局部短语或长距离语义。

Masked Self-Attention 会遮住未来 token，防止模型提前“偷看答案”。这对自回归文本生成很关键。

Attention 负责在 token 之间搬运信息，MLP 更像对每个 token 的表示做独立加工。在 GPT-2 small 中，MLP 会先把 768 维扩展到 3072 维，再压回 768 维，中间使用 GELU 激活函数。

模型最后会给词表里每个 token 一个 logit。softmax 把 logits 转成概率分布，然后模型选择下一个 token。

Layer Normalization 稳定训练， Dropout 降低过拟合， Residual Connections 让梯度更容易穿过深层网络。初学时先知道它们“帮助训练更稳”，不必一开始钻太深。

本页是基于 Transformer Explainer 制作的中文学习辅助页，采用概念重写和术语表形式，原交互可视化与模型来自 Polo Club；本页提供中文概念重写、术语表与学习顺序。官方演示按需嵌入，加载与推理由原站负责。