跳到主要内容

多头注意力

多头注意力,就是让模型“同时从多个不同角度”去理解一句话或一段数据。

单头注意力​

首先让我们搞懂,单个“注意力”在干什么?

它依赖于三个核心向量:

  • 查询向量(Query):相当于你在问一个问题。比如“我想找红色的东西”。
  • 键向量(Key):相当于给每个信息贴的标签。比如“苹果-红色”、“天空-蓝色”、“草地-绿色”。
  • 值向量(Value):相当于信息的本体内容。

整个计算逻辑就是:模型用 Q 去和所有 K 做匹配,算出相关性分数(权重),然后用这个权重去提取对应的 V。说白了,就是“根据你的关注点,去信息库中捞取最相关的内容”。

提示

更直观:我有个问题Q:我想找红色的东西,然后我一个个去问这些键向量K,最后我觉得“苹果-红色”最相关,所以我就提取“苹果-红色”的值V。

多头注意力​

如果只有一个“注意力”,模型只能从一个维度去理解信息,容易“一根筋”。

多头注意力(Multi-Head) 的做法是:把 Q、K、V 这三条向量,分别切分成 hh 份(比如 8 份或 12 份),每份独立送入一个“头”(Head)里去计算注意力。

每个“头”在训练中会无监督地学会关注不同的侧重点:

  1. 头 1 可能专门负责捕捉语法结构(比如主语和谓语的关系);

  2. 头 2 可能专门负责捕捉指代关系(比如“它”指的是“苹果”还是“盘子”);

  3. 头 3 可能专门负责捕捉距离远近(只关注挨得近的词);

  4. 头 4 可能专门捕捉语义相关性(把“苹果”和“水果”联系起来)。

打个生活比方:就像一个公司开评审会,老板(单头注意力)可能会一言堂,只关注销售数据。但如果是“多部门专家评审会”(多头注意力):

本文字数:0 字

预计阅读时间:0 分钟


统计信息加载中...

有问题?请向我提出issue