Yinchen 的博客
首页分类归档关于
首页分类归档关于登录
标签:位置编码清除筛选

大语言模型原理(四):注意力机制——缩放点积注意力公式

2026/08/19大模型
网上自注意力的讲解大多停在「让每个词看到句子里的其他词」这句比喻上。要真正搞清楚这一层在干什么,得回答四个具体问题:Q、K、V 三个矩阵从哪来,分数怎么算出来,为什么要除一个 √d_k,softmax 之后拿到的东西代表什么。 拿「女生撩刘海」这三个 token 为例,把向量维度压到 2,从查表拿到词向量,到最后算出输出矩阵 Z,整条链路一路算到底。 一、一个句子怎么变成矩阵 句子进注意力层之前,

sanyinchen

@sanyinchen

最近更新

  • Android Framework(二十五)Android底层渲染:Surface的底层实现原理
  • Android Framework(二十四)VSync 信号的请求与接收源码分析
  • Android-Framework(二十三)-SurfaceFlinger 源码分析:屏幕刷新、Vsync 与帧分发
  • Android View 事件分发机制入门
  • Android-Framework(二十二)-Input 事件的接受处理过程
  • Android-Framework(二十一)-Input 事件的分发过程

分类

算法 · 6Android系统 · 57题解 · 21设计模式 · 5Agent · 10大模型 · 7网络库 · 1c++ · 5Java · 1

© 2026 sanyinchen

主题适配自 LyraVoid/Mizuki·Wind Blog·文章归档·苏ICP备2025217901-2号