transformer 自注意力权重到底怎么算很多教程把公式和代码都摆出来了但初学者经常卡在 QKV 拆分和 attention_weights 的形状变化上。我翻原文的 PyTorch 示例时也有同感SelfAttention 这个函数名认识里面每一行也都认识但连起来就转不动尤其不知道为什么 q 和 k 要 transpose、softmax 之后那个权重张量到底长什么样。后来我换了个办法不再自己对着屏幕使劲想而是让走 TaoToken 的 Codex 对着代码逐行讲。先去 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_content 创建 API Key再把 Codex 的 Base URL 填成 https://taotoken.net/api之后就能在对话里看到它把 QKV 维度和注意力权重计算一步一步拆开比自己翻资料快得多。这篇文章把完整过程记录下来包括怎么拿 Key、怎么改 Codex 的配置文件、用什么提示词让 Codex 讲得足够细、以及最后怎么确认这次讲解调用确实没问题。1. 卡在 QKV 上的人不止你一个原文有一段 SelfAttention 函数核心代码只有几行却是理解整个 Transformer 的门槛。如果这几行没看透后面 MultiHeadAttention 的 split_heads、permute、reshape、fc_out 都会越看越糊涂。1.1 原文里最绕的几行原文 SelfAttention 的核心是这五步attention_logits torch.matmul(q, k.transpose(-2, -1)) scaling torch.sqrt(torch.tensor(k.size(-1), dtypetorch.float32)) scaled_attention_logits attention_logits / scaling attention_weights torch.softmax(scaled_attention_logits, dim-1) output torch.matmul(attention_weights, v)单独看每行都不难。难点在于 q、k、v 在多头拆分之后已经是四维张量形状是 (batch_size, num_heads, seq_len, head_dim)。很多人在这就断了k.transpose(-2, -1) 到底把哪两个维度换了答案是把倒数第二个维度和最后一个维度互换。k 从 (batch_size, num_heads, seq_len, head_dim) 变成 (batch_size, num_heads, head_dim, seq_len)。这样 q 与 k 转置做矩阵乘法时实际作用的是后两维得到 (batch_size, num_heads, seq_len_q, seq_len_k)这就是注意力得分矩阵也叫 attention_logits。这个矩阵的含义很直观第 i 行第 j 列表示第 i 个查询位置对第 j 个键位置的兼容度。分值越高模型越觉得这两个位置相关。除以 sqrt(head_dim) 是防止 score 随维度过大而进入 softmax 的饱和区导致梯度太小。mask 的处理是把掩码位置乘上一个很大的负数再相加让这些位置经过 softmax 之后权重趋近于 0相当于告诉模型这里不用关注。1.2 为什么让 Codex 来逐行讲自己看书容易卡在“以为懂了”的状态。Codex 的好处是你可以要求它用具体的张量形状把每一步走一遍而不是只给一句“计算注意力权重”。比如你问它“q 和 k 点积之后形状为什么变成这样”它会从矩阵乘法的规则开始讲告诉你四维张量的批次维度和头维度不变只有后两维参与计算。这种交互比自己翻论坛帖子直接得多。不过要让 Codex 干活得先让它有可用的模型通道。这就是接入 TaoToken 的环节。2. 接入准备TaoToken 拿 KeyCodex 写配置2.1 打开官网创建 API Key打开 TaoToken注册后进入控制台创建 API Key。创建时会给出一串以 sk- 开头的字符串复制保存好下一步要写进环境变量。这里同时建议花一分钟看一眼模型广场因为后面 Codex 配置里的 model 字段要填模型 ID不同时间可选的模型不一样以模型广场当时列表为准。官网落地页和接口地址是两回事不要混。官网用于注册、创建 Key、看模型广场和用量而后面填进 Codex 的 Base URL永远是 https://taotoken.net/api末尾不要加 /v1。2.2 ~/.codex/config.toml 里指到 TaoTokenCodex CLI 的配置文件位于 ~/.codex/config.toml。打开这个文件把模型提供商改名为刚定义的名字并在下方添加 provider 配置# model 这里填模型广场上选中的模型 ID model_provider taotoken [model_providers.taotoken] name taotoken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY然后在 shell 里导出这把 Keyexport TAOTOKEN_API_KEYYOUR_API_KEYYOUR_API_KEY 换成上一步在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_content 创建的真实 Key。model 那一行先不要照抄打开模型广场看当前可用的模型 ID 再填模型列表会调整写死一个 ID 可能在后面失效。配置保存后可以先跑一条最简单的命令验证连通性codex exec 请用一句话解释自注意力机制如果正常返回说明 Codex 已经通过 TaoToken 的兼容通道连上了模型可以进行下一步的代码讲解。3. 让 Codex 对着 SelfAttention 函数算一遍权重3.1 贴给 Codex 的引导词连通之后把原文的 SelfAttention 函数和你的疑问一起贴给 Codex。注意不要只贴代码要把具体问题写清楚这样它才会按照你卡的思路来讲。请逐行解释下面这个 SelfAttention 函数重点说清楚 1. q 和 k.transpose(-2, -1) 相乘后attention_logits 的形状是什么 2. scaling 为什么是 k.size(-1) 的平方根 3. mask 加 -1e9 的作用是什么 4. softmax 之后 attention_weights 的形状是什么 5. attention_weights v 输出的形状又是什么 代码 def SelfAttention(q, k, v, maskNone): attention_logits torch.matmul(q, k.transpose(-2, -1)) scaling torch.sqrt(torch.tensor(k.size(-1), dtypetorch.float32)) scaled_attention_logits attention_logits / scaling if mask is not None: scaled_attention_logits (mask * -1e9) attention_weights torch.softmax(scaled_attention_logits, dim-1) output torch.matmul(attention_weights, v) return output, attention_weightsCodex 回答时通常会把注意力机制的计算过程展开成“查询和键做点积、缩放、softmax、再和值加权”四步。如果它只给结论没给形状你可以追问一句“请把每一步的张量形状都列出来。”3.2 重点核对三个形状Codex 讲解后重点核对下面三个形状它们是把自注意力权重真正看懂的关键。第一个是 attention_logits 的形状。输入 q 是 (batch_size, num_heads, seq_len_q, head_dim)k 是 (batch_size, num_heads, seq_len_k, head_dim)。k.transpose(-2, -1) 之后变成 (batch_size, num_heads, head_dim, seq_len_k)所以乘积是 (batch_size, num_heads, seq_len_q, seq_len_k)。这里 seq_len_q 和 seq_len_k 不一定相等比如编码器输出的序列长度和解码器当前输入的序列长度就可能不同。第二个是 attention_weights 的形状。softmax 不会改变张量形状它只在最后一个维度上做归一化所以 attention_weights 仍然是 (batch_size, num_heads, seq_len_q, seq_len_k)。这个权重矩阵的每一行元素加起来等于 1代表一个查询位置对序列中所有键位置的关注程度分布。它就是“自注意力权重”这个名字的来源。第三个是 output 的形状。attention_weights 与 v 做矩阵乘法v 的形状是 (batch_size, num_heads, seq_len_k, head_dim)矩阵乘法作用在后两维结果是 (batch_size, num_heads, seq_len_q, head_dim)。这一步相当于用权重对每个键位置的值向量做加权求和所以输出位置依然对应查询的序列长度。这三个形状对上了SelfAttention 就不再是一串公式而是一个你可以随时推演的张量变换过程。4. MultiHeadAttention 的拆分与拼接也让 Codex 讲给你听4.1 split_heads 的 reshape 和 permuteMultiHeadAttention 比 SelfAttention 多了一个“多头”的概念初学者最容易晕在 split_heads 里。原文这个方法只有两行def split_heads(self, x, batch_size): x x.reshape(batch_size, -1, self.num_heads, self.head_dim) return x.permute(0, 2, 1, 3)x 经过线性层后是 (batch_size, seq_len, embedding_dim)。reshape 把最后一维 embedding_dim 拆成 num_heads 和 head_dim 两个维度变成 (batch_size, seq_len, num_heads, head_dim)。permute(0, 2, 1, 3) 把头的维度挪到第二个位置变成 (batch_size, num_heads, seq_len, head_dim)。这时每个头就独立出来了。后面的 SelfAttention 会在每个头上分别计算注意力权重头与头之间互不干扰所以可以并行。让 Codex 用具体数字走一遍会更清晰比如 batch_size64、seq_len38、embedding_dim256、num_heads8那么 head_dim32。reshape 后是 (64, 38, 8, 32)permute 后是 (64, 8, 38, 32)。4.2 多头拼接后去哪了SelfAttention 返回的 scaled_attention 形状是 (batch_size, num_heads, seq_len_q, head_dim)。要把多个头合并回原始维度原文做了两步scaled_attention scaled_attention.permute(0, 2, 1, 3) attention_output scaled_attention.reshape(batch_size, -1, self.embedding_dim)先 permute(0, 2, 1, 3)把 num_heads 挪回第三个位置变成 (batch_size, seq_len_q, num_heads, head_dim)。再 reshape 把后两维合并成 embedding_dim得到 (batch_size, seq_len_q, embedding_dim)。最后过 fc_out 线性层输出形状和输入完全一致。这里有一个容易忽略的点attention_output 的形状虽然回到了输入的形状但内容已经聚合了多个头各自学到的不同表示。每个头学习不同的投影子空间有的头可能更关注局部关系有的头更关注长距离依赖拼接后再用 fc_out 融合模型表达能力就比单头注意力强。这段解释同样可以交给 Codex。提示词这样写请用 batch_size64, seq_len38, embedding_dim256, num_heads8 为例 把 MultiHeadAttention.forward 里每一步的张量形状列出来包括 三个线性层的输入输出、split_heads 之后的形状、 SelfAttention 返回的 scaled_attention 和 attention_weights 形状、 以及最终 permute 和 reshape 合并回 embedding_dim 的过程。5. 跑通之后去控制台对一下这次调用记录5.1 用模型对话页做一次交叉验证Codex 讲完 SelfAttention 和 MultiHeadAttention 后你可以用同一把 Key 在 TaoToken 模型对话 里发一条同样的问题看返回结果是否一致。这个动作不是多余的它能确认两件事Codex 的 config.toml 里 Base URL、环境变量和模型 ID 三处是否都配置正确以及这次讲解对话确实走的是 TaoToken 的 API 通道。如果模型对话页能用、Codex 不能用问题基本出在 Codex 那边。常见的就两类一是 ~/.codex/config.toml 里 model_provider taotoken 和 [model_providers.taotoken] 的段名不一致导致找不到 provider二是 shell 里的 TAOTOKEN_API_KEY 没导出或者 Base URL 写成了 https://taotoken.net/api/v1。记住 Codex 里填的是 https://taotoken.net/api末尾不要带 /v1。5.2 回控制台看这次的调用记录刚才那两轮“Codex 讲解”已经产生了几次 API 调用。打开 控制台 API Keys 页面可以看到这把 Key 的调用次数、token 消耗和对应的时间。如果只是想偶尔让 Codex 讲一段代码按量付费就行。如果打算把 Codex 变成日常的代码阅读工具每天会发很多消息可以打开 Coding Plan 看看套餐是否更划算。分享一个个人感受只看公式和只看别人总结效果都比不上让模型对着你头晕的那几行代码一步一步推演。等 Codex 把 attention_logits 的形状变化讲明白之后再看原文里 create_padding_mask、create_look_ahead_mask 这些逻辑也会顺很多因为注意力权重到底在哪一步被 mask 影响你已经心里有数了。后续想接 Claude Code 的话环境变量写法不一样具体对照见 接入文档。