Yinchen 的博客
首页
分类
归档
关于
首页
分类
归档
关于
登录
标签:多头注意力
清除筛选
大语言模型原理(五):Transformer 多头注意力、残差与归一化
2026/08/19
大模型
上一篇把「女生撩刘海」这三个 token 算到了注意力的输出 Z。但 Z 还不是这一层的结果。从 Z 到真正送给下一层的东西,中间还隔着多头拼接、两次残差、两次层归一化和一个前馈网络。这几步各自解决一个具体问题,去掉任何一个,模型要么学不到足够丰富的关系,要么深度一堆上去就训不动。 这一篇把它们逐个计算完,例子和维度都沿用上一篇:三个 token,d = 2。 一、回顾:注意力机制算到了哪 输入矩