大语言模型原理（五）：Transformer 多头注意力、残差与归一化
上一篇把「女生撩刘海」这三个 token 算到了注意力的输出 Z。但 Z 还不是这一层的结果。从 Z 到真正送给下一层的东西，中间还隔着多头拼接、两次残差、两次层归一化和一个前馈网络。这几步各自解决一个具体问题，去掉任何一个，模型要么学不到足够丰富的关系，要么深度一堆上去就训不动。 这一篇把它们逐个计算完，例子和维度都沿用上一篇：三个 token，d = 2。 一、回顾：注意力机制算到了哪 输入矩
大语言模型原理（四）：注意力机制——缩放点积注意力公式
网上自注意力的讲解大多停在「让每个词看到句子里的其他词」这句比喻上。要真正搞清楚这一层在干什么，得回答四个具体问题：Q、K、V 三个矩阵从哪来，分数怎么算出来，为什么要除一个 √d_k，softmax 之后拿到的东西代表什么。 拿「女生撩刘海」这三个 token 为例，把向量维度压到 2，从查表拿到词向量，到最后算出输出矩阵 Z，整条链路一路算到底。 一、一个句子怎么变成矩阵 句子进注意力层之前，
大语言模型原理（三）：后训练——让模型学会对话
预训练结束时，手上的基座大模型只会做一件事：接着前面的内容往下续写。用户输入「我应不应该好好学习」，它回一句「天天向上」。距离一个能用的 AI 助手，还差最后一个阶段。 一、回顾：从接龙大师说起 1.1 前两个阶段做了什么 第一节讲数据准备：资料收集与清洗得到干净文本，文本切分成 token，每个 token 转换成高维向量，完成从文本到数字的转换。 第二节讲预训练：高维向量输入 Transfor
大语言模型原理（二）：预训练——从随机向量到接龙大师
上一篇讲完了数据准备：海量文本被切成带 ID 的 token，再通过预生成的 embedding 矩阵，让每个 token 按 ID 找到自己对应的高维向量。那批向量里的数字全是随机生成的，还没有承载任何语言含义。 随机数字怎么一步步学会表达含义，答案落在第二个阶段：预训练。 一、回顾：数字还没有含义 1.1 数据准备留下的东西 数据准备结束时，模型手上有两样东西：一份把 token 映射成 ID
大语言模型原理（一）：数据准备——从文本到数字
豆包、DeepSeek、ChatGPT 这类能直接对话的 AI，都属于大语言模型。模型在读懂任何一句话之前，得先把语言换成数字，因为计算机能做的只有数字计算。这步转换发生在数据准备阶段，拆开看是三件事：收集清洗、分词、嵌入。 一、三大阶段，与数据准备的目的 1.1 大模型诞生的三个阶段 一个大语言模型从无到有，要经过三个阶段：数据准备、预训练、对齐训练。 数据准备负责把原始语料整理成模型能吃进去的
