想四步推导

第一步：Q/K/V 怎么来？输入序列 X（n×d_model），乘以三个可学习矩阵：

Q = XW_Q，  K = XW_K，  V = XW_V

W_Q, W_K ∈ ℝ^d_model×d_k，W_V ∈ ℝ^d_model×d_v。同一个输入 X，通过不同的线性变换，变成三种角色：Q 是"查询"（我要找什么），K 是"键"（我能匹配什么），V 是"值"（我实际带的信息）。

第二步：算相似度。每个 query 跟所有 key 做点积：scores = QK^T（n×n 矩阵，scores_ij = 第 i 个 query 与第 j 个 key 的相似度）。

第三步：为什么除以 √d_k？假设 Q、K 的每个元素独立取自均值 0、方差 1 的分布。点积 q·k = ∑_i=1..dk q_ik_i，方差 = d_k（独立变量乘积求和的方差相加）。维度越大，点积方差越大，softmax 输入会变得极端（一个值远大于其他），进入饱和区，梯度几乎为零。除以 √d_k 把方差拉回 1，保持 softmax 分布平滑。

第四步：softmax 加权求和。

Attention(Q,K,V) = softmax(QK^T / √d_k) V

softmax 把每行变成概率分布（和为 1），再乘 V 就是"按关注程度加权的信息汇总"。

想多头：并行看不同关系

单头注意力只能学一种关注模式。多头把 d_model 切成 h 份（如 512/8=64），每头独立算 Attention，最后拼起来再乘 W_O。有的头看语法，有的头看指代，有的头看位置邻近——多视角融合。

MultiHead(Q,K,V) = Concat(head₁,…,head_h) W_O，  head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)

位位置编码：注意力不认顺序

自注意力是"集合运算"——打乱词序结果一样。但语言有顺序！必须额外注入位置信息。

正弦位置编码（原版）：用不同频率的 sin/cos 编码位置：

PE(pos, 2i) = sin(pos / 10000^2i/d_model)
PE(pos, 2i+1) = cos(pos / 10000^2i/d_model)

把 PE 直接加到词嵌入上。好处：能泛化到训练时没见过的长度。

可学习位置编码：直接把位置当参数学（BERT/GPT-2 用）。简单但不能外推到更长序列。

RoPE（旋转位置编码）：把位置信息编码成旋转矩阵乘在 Q/K 上。LLaMA/Qwen 等现代大模型标配，通过旋转角度自然编码相对位置，支持长度外推。

想三种掩码策略决定三种模型

① Encoder-only（BERT）：双向注意力，每个词能看到左右所有词。预训练任务：掩码语言模型（MLM）——把句子里 15% 的词遮住，让模型猜。适合理解类任务：分类、实体识别、检索。

② Decoder-only（GPT/LLaMA）：因果掩码（causal mask），每个词只能看到自己和左边的词。预训练任务：自回归语言模型——预测下一个词。适合生成类任务：聊天、写作、代码。这是当今大模型主流。

③ Encoder-Decoder（T5/BART）：Encoder 双向看输入，Decoder 因果生成输出。预训练：把原文改成"伪句"再还原。适合翻译、摘要这种"输入→输出"任务。

想三段式流水线

① 预训练（Pre-training）：几万亿 token 自监督学下一词。成本几千万到几亿美元。产出一个"什么都知道但不会聊天"的基础模型（Base Model）。

② 监督微调 SFT：用几万~几十万条"指令-回答"对（人工标注），教会模型"听到指令要怎么回答"。从续写机器变成对话助手。这一步便宜，数据质量决定上限。

③ 对齐（Alignment）：让回答符合人类偏好。两条路线：

RLHF：人对多个回答排序 → 训奖励模型 RM → 用 PPO 强化学习优化 LLM。复杂、贵、不稳定。

DPO（Direct Preference Optimization）：跳过奖励模型和 RL，直接用偏好对（chosen/rejected）做二元交叉熵优化。简单稳定，是当今主流。

想幂律缩放

OpenAI 2020 发现：测试损失 L 随参数量 N、数据量 D、计算量 C 呈幂律下降：

L(N) ≈ (N_c/N)^α_N，  α_N ≈ 0.076

直觉：不是"大一点好一点"的线性关系，而是"翻 10 倍参数，损失降一点点"——但这一点点在长链推理上可能是质的飞跃。

涌现能力（Emergence）：小模型完全不会的能力（如多步推理、代码生成），在模型规模跨过某个阈值后突然出现。这不是魔法，而是指标从"随机"跳到"可用"的临界点。

Chinchilla 定律：参数和数据要同步增长，约每翻 6 倍参数配 1 倍数据。早年 GPT-3 数据没喂够（参数浪费），Chinchilla 修正了这个配比。

想KV Cache 是什么

自回归生成：每次生成一个新 token，都要把前面所有 token 重新过一遍注意力——这太浪费了，因为前面的 K、V 没变。

KV Cache：把历史 token 的 K、V 缓存起来。生成新 token 时，只需算新 token 的 Q，跟缓存的 K、V 算注意力。复杂度从 O(n²) 降到 O(n) 每步。这就是为什么生成长文本比短文本慢——缓存越来越大。

上下文窗口：模型一次能看的最大 token 数（如 4K/32K/128K/1M）。超出就忘。

长度外推：训练时只见过 4K，怎么用到 128K？方法：RoPE 插值（PI）、NTK-aware 插值、YaRN。本质是把位置编码的频率调低，让模型能"想象"更长的位置。

想为什么要量化

原始模型权重是 FP16（16 位浮点）。7B 模型约 14GB 显存，普通人消费级显卡跑不动。量化：把权重从 16 位压到 8 位甚至 4 位整数，显存减半/减到四分之一。

INT8 量化：权重用 8 位整数表示，推理时反量化回浮点。精度损失很小（<1%），显存减半。

INT4 量化（GPTQ/AWQ）：压到 4 位，7B 模型只要 ~4GB。精度有损失但可用。

QLoRA：量化 + 高效微调。把基座模型 4 位量化冻结，只训练很小的 LoRA 适配器（<1% 参数）。让 7B 模型在单张 24GB 显卡上就能微调——这是 2023 年个人玩大模型的转折点。

想引子与大白话

引子：全量微调 7B 模型，连梯度带优化器状态要 60GB 显存。普通人 24GB 卡想微调？LoRA 说：基座冻结不动，只在旁边学一个小"补丁"。

① LoRA（Low-Rank Adaptation）：冻结原始权重 W，在旁路加两个小矩阵 A（r×d）和 B（d×r），让更新 ΔW = B·A。r 通常取 8~64，参数量从 d² 降到 2dr——通常 <1% 原参数量。推理时可把 BA 合并回 W，零延迟。

W_new = W_frozen + B·A，  B∈ℝ^d×r, A∈ℝ^r×d，r ≪ d

② QLoRA：7.7 已说——把基座 4 位量化冻结，只训 LoRA。再加上双重量化和分页优化器，7B 模型单卡 24GB 微调可行。

③ PEFT 家族：Parameter-Efficient Fine-Tuning 的统称。除了 LoRA 还有：Prefix Tuning（在输入前加可学向量）、Prompt Tuning（只学 embedding）、Adapter（在层间插小瓶颈）。LoRA 是其中最通用、效果最好的。

④ 多任务 LoRA：一个基座挂多个 LoRA（一个写代码、一个写诗、一个客服），按场景切换。省得为每个任务存一个完整模型。

想引子与大白话

引子：同一个模型，提问方式不同，回答质量天差地别。提示工程就是不花一分钱训练，只靠怎么写 prompt 把模型榨出更多性能——这是用大模型最便宜的优化。

① Zero-shot：直接问，"把这句翻译成英文"。模型靠预训练见过的任务直接答。

② Few-shot：在 prompt 里给几个示例（"苹果→apple，香蕉→banana，葡萄→？"），模型照着模式做。示例怎么排、给几个，都影响效果。

③ Chain-of-Thought（CoT，思维链）：让模型"一步步想"。提示词加一句"Let's think step by step"，多步推理题准确率暴涨。因为模型把中间步骤也写出来，等于给自己搭了脚手架。

④ ReAct：8.2 讲过——CoT 只在脑子里想，ReAct 边想边调工具。CoT 适合纯推理，ReAct 需要查外部信息。

⑤ 自洽性（Self-Consistency）：让模型用不同推理路径答同一题多次，取多数票。比单次 CoT 更稳。