Yinchen 的博客
首页分类归档关于
首页分类归档关于登录
标签:多头注意力清除筛选

大语言模型原理(五):Transformer 多头注意力、残差与归一化

2026/08/19大模型
上一篇把「女生撩刘海」这三个 token 算到了注意力的输出 Z。但 Z 还不是这一层的结果。从 Z 到真正送给下一层的东西,中间还隔着多头拼接、两次残差、两次层归一化和一个前馈网络。这几步各自解决一个具体问题,去掉任何一个,模型要么学不到足够丰富的关系,要么深度一堆上去就训不动。 这一篇把它们逐个计算完,例子和维度都沿用上一篇:三个 token,d = 2。 一、回顾:注意力机制算到了哪 输入矩

sanyinchen

@sanyinchen

最近更新

  • Android Framework(二十五)Android底层渲染:Surface的底层实现原理
  • Android Framework(二十四)VSync 信号的请求与接收源码分析
  • Android-Framework(二十三)-SurfaceFlinger 源码分析:屏幕刷新、Vsync 与帧分发
  • Android View 事件分发机制入门
  • Android-Framework(二十二)-Input 事件的接受处理过程
  • Android-Framework(二十一)-Input 事件的分发过程

分类

算法 · 6Android系统 · 57题解 · 21设计模式 · 5Agent · 10大模型 · 7网络库 · 1c++ · 5Java · 1

© 2026 sanyinchen

主题适配自 LyraVoid/Mizuki·Wind Blog·文章归档·苏ICP备2025217901-2号