Yinchen 的博客
首页
分类
归档
关于
首页
分类
归档
关于
登录
标签:缩放点积注意力
清除筛选
大语言模型原理(四):注意力机制——缩放点积注意力公式
2026/08/19
大模型
网上自注意力的讲解大多停在「让每个词看到句子里的其他词」这句比喻上。要真正搞清楚这一层在干什么,得回答四个具体问题:Q、K、V 三个矩阵从哪来,分数怎么算出来,为什么要除一个 √d_k,softmax 之后拿到的东西代表什么。 拿「女生撩刘海」这三个 token 为例,把向量维度压到 2,从查表拿到词向量,到最后算出输出矩阵 Z,整条链路一路算到底。 一、一个句子怎么变成矩阵 句子进注意力层之前,