跳到主要内容

什么是大语言模型

我们先不着急去看 Transformer 长什么样、参数怎么算,先退一步问一个更朴素的问题:大语言模型到底在干一件什么事?

1. 它做的事其实非常简单​

如果你把 GPT 拆到最里面,会发现它的工作原理就一句话:给定前面出现过的一串词,预测下一个词是什么。

比如你输入 "今天天气真",模型会给你一个概率分布:

好      : 0.42
不错 : 0.18
差 : 0.09
糟糕 : 0.05
...

然后按某种策略挑一个词接上去,比如挑到"好",就变成 "今天天气真好"。接着把这句话再喂回去,让它预测下一个词。就这样一个一个往外吐字,一直吐到它自己吐出一个"结束符",或者你手动叫停。

这就是 LLM 的全部——一个巨大的"下一个词预测器"。

有意思的地方在于:这么一个看起来朴素得不能再朴素的任务,一旦模型足够大、数据足够多,它就开始表现出各种"看起来像会思考"的能力。写代码、翻译、总结、做数学题、扮演角色,全都是从"预测下一个词"这一件事里长出来的。

2. 为什么"预测下一个词"能学到这么多​

这是一个直觉上不太顺的事情。凭什么"猜下一个字"就能让模型学会写代码?

一个粗糙的解释是:要想在一个非常大的语料上把"下一个词"预测得足够好,你不得不理解世界。

比如让模型补全 "小明比小红大 3 岁,小红今年 8 岁,小明今年"——如果它想以高概率预测出 "11",它就得学会加法。要补全 "以下 Python 函数会返回"——它就得看懂那段函数。要补全 "《红楼梦》里贾宝玉的通房丫头是"——它就得记住一些世界知识。

语言不是随便乱排的字符,它承载了大量关于世界的结构。你把预测下一个词做到极致,等价于把语言背后所有这些结构都"顺带"学会了。这就是为什么"下一个词预测"这件小事能撬动这么大的能力涌现。

3. 从统计到神经网络​

预测下一个词这件事其实并不新。早在几十年前,NLP 就在做语言模型(Language Model, LM)。只是那时候的做法很朴素——数频率。

比如二元模型(bigram):统计语料里"今天"后面接过什么词、各出现多少次,然后按频率归一化,就得到 P(下一个词 | "今天") 的概率分布。三元模型就再往前多看一个词。

这个思路的缺陷很明显:

  • 窗口开不大。开到 5-gram 数据就稀疏了,很多组合根本没在训练集里出现过。
  • 看不见语义。"苹果"和"香蕉"在统计模型眼里是完全不同的两个 token,没有任何关系。

到了 2013 年前后,word2vec 把词映射成了稠密的向量(embedding),"苹果"和"香蕉"在向量空间里终于挨得近了。再往后是 RNN / LSTM,能建模比较长的上下文。但它们都有一个共同的问题:难并行、序列越长信号衰减越快。

真正的转折点是 2017 年的 Transformer——用注意力机制取代了循环结构,训练可以完全并行,长距离依赖也能直接拿到。后面所有大模型基本都是它的变体。

4. LLM 训练分几步​

现在大家熟悉的一个 ChatGPT 类模型,训练一般分成三个阶段:

第一步,预训练(Pretraining)。在几万亿 token 的通用语料(网页、书籍、代码)上做"下一个词预测",让模型把语言和世界知识"装进"参数里。这一步最烧钱,动辄上万张 GPU 跑几个月。产出的是一个"基座模型"(base model)——它什么都懂一点,但你没法直接跟它对话,它只会自动续写。

第二步,监督微调(SFT)。用几万到几十万条"人写的示例对话"教它按指令回答。比如 <问题> 请解释一下光合作用 <回答> 光合作用是植物利用... 这样的样本,让它学会"接到问题就给答案"这种对话格式。

第三步,偏好对齐(RLHF 或 DPO)。让人对模型的多个回答排序,训练一个奖励模型,再用强化学习让基础模型往"人更喜欢的方向"调。这一步会让模型变得"更礼貌、更有帮助、不乱说话"。

三步下来,你就从一个"下一个词预测器"得到了一个"能对话的助手"。这本 LLM 章节的后半段,会一个一个把这三步展开讲。

5. 一些必须先知道的术语​

以下这些词后面章节反复会用,先在这里做个约定:

  • Token:模型处理的最小单位。不是"字"或者"词",而是一个 Tokenizer 切出来的碎片。中文里一个汉字大概等于一个 token,英文里"unhappiness"可能被切成"un"/"happi"/"ness"三个 token。
  • Context length(上下文长度):模型一次能吃进去的最长 token 数。GPT-3 是 2K,GPT-4 是 8K/32K/128K,Claude 已经到 200K,Gemini 号称能到 1M。这个数字直接决定"能塞多长的输入"。
  • Parameter(参数量):模型里可训练的浮点数总数。7B 就是 70 亿,175B 就是 1750 亿。这个数量级和显存、算力开销强相关。
  • Prompt(提示词):你喂给模型的输入。
  • Completion(补全):模型生成的输出。
  • Prefill 阶段:模型第一次读入 prompt、把 KV Cache 建起来的过程。
  • Decode 阶段:一次一个 token 往外吐的过程。

后面讲 KV Cache 的时候你会看到,prefill 和 decode 的计算特征其实非常不一样——一个吃计算、一个吃带宽,这也是所有推理优化的起点。

6. 参数量到底意味着什么​

7B、13B、70B、175B——这些数字你可能天天看,但它们具体是什么意思?

一个 7B 模型有 70 亿个可训练参数,每个参数在 FP16 下占 2 字节。所以光是把参数放进显存,就要 14 GB。这已经吃掉一张 A100 (40G) 三分之一的显存了。如果再加上激活值、梯度、优化器状态,训练一个 7B 模型的静态开销大概是参数量的 8 倍——要 112 GB。所以 7B 是"单卡刚好能推理,训练要多卡"的分水岭。

再往上,70B 是"多卡推理起步"的分水岭——FP16 下 140 GB,一张卡装不下,必须切开。175B(GPT-3)以上就必须张量并行 + 流水线并行一起上了。

一个非常粗略的直觉表:

参数量FP16 推理显存场景
1-3 B2-6 GB手机、边缘、消费级显卡随便跑
7-13 B14-26 GB单张 4090/A10/A100
30-70 B60-140 GB多卡推理
100 B+>200 GB集群,工业部署

后面讲量化的时候你会看到,同一个 7B 模型如果量化到 INT4,显存能压到 4 GB 以下,就能塞进手机了。这也是为什么"量化"这一章值得单独讲。

7. 这个专栏后面会讲什么​

后面的章节大致按这样的顺序:

  • 架构层面:Transformer 结构、位置编码、Tokenizer;
  • 训练层面:预训练、Scaling Law、SFT、RLHF;
  • 推理层面:KV Cache、采样策略、FlashAttention、投机采样;
  • 微调层面:LoRA、QLoRA、参数高效微调;
  • 部署层面:量化、蒸馏、服务化。

每一章都会尽量按同一个套路来讲:先给你一个最朴素的想法,看看它有什么问题,再看现在的做法是怎么把这些问题一个一个解掉的。这样你不光记住"现在的做法是这样",还能明白"为什么非得这么做"。

在开始下一章之前,你只需要在心里记住一件事:

一切 LLM 的复杂性,都是从"预测下一个词"这个简单目标里长出来的。