Chapter 1: Attention & Transformers

Attention & Self-Attention

人类在处理信息时会“有选择地关注”最相关的部分，比如看一张图时注意某个局部，读文章时注意关键句子。

基本思想：给输入信息的不同部分分配不同的权重，然后对加权后的信息进行整合。

最常见的是加性注意力或点积注意力，核心是 $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$

• $Q$: 当前需要处理的对象
• $K$: 输入序列中的所有元素的键
• $V$: 输入序列中的所有元素的值
• $softmax(QK^{T})$: 表示“Query 与 Key 的相似度”，越相关权重越大

Self-Attention 实际上是 Attention 机制的一种特殊情况，特点是 Q、K、V 都来自同一个序列。

作用：序列中的每个元素都能和序列中的所有其他元素计算相关性，从而获取全局上下文信息。

$$\text{SelfAttention}(X) = text{softmax}\left(\frac{XW_Q(XW_K)^T}{\sqrt{d_k}}\right)XW_V$$ $X$ 来自于同一个序列

Why Transformer use Self-Attention?

传统的序列模型处理方式

在传统的序列处理模型（如 RNN、LSTM 和 GRU）中，模型是按顺序逐个处理序列中的元素（例如单词或字符），并且每个元素的处理依赖于前一个元素的隐藏状态。

:warning: 这种方法在处理长序列时会面临梯度消失或梯度爆炸的问题，导致模型难以捕捉长距离的依赖关系。

• Transformer 的计算方式对 GPU 更友好，能更好地利用并行计算资源
  • RNN 需要按时间步顺序处理，难以并行化
  • Transformer 的 Self-Attention 机制允许同时处理序列中的所有位置，充分利用 GPU 的并行计算能力

Transformers 结构

输入 X 与 attention_mask 的 shape

• 输入 X 一般形状为[batch_size, seq_len, embedding_dim]
• attention_mask 是经过 tokenizer 后返回的 mask 结果，表示哪些样本需要忽略形状一般是[batch_size, num_heads, seq_len]

为什么用 Transformer 中用 layer norm

1. 列长度的灵活性： Transformer 处理的是序列数据，序列长度可能因输入样本而异。LayerNorm 对每个样本自身的一层神经元的输入进行归一化，与其他样本的序列长度无关，能够很好地处理不同长度的输入序列。而 batch norm 对长度大小不同的 NLP 任务计算的超参数泛化能力差。
2. 并行计算的适应性： Transformer 的多头注意力机制高度并行化，LayerNorm 只需要对单个样本的一层进行计算，不需要等待其他样本的信息，因此更适合并行计算环境。
3. 模型的稳定性： LayerNorm 基于每一层自身的输入进行归一化，能够更好地控制每一层输入的范围和分布，避免梯度消失或梯度爆炸问题。

post-norm 与 pre-norm

• 原始的 transformer 中使用的是 post-norm，而 llm 中大多使用 pre-norm