大模型 怎么工作

猜下一个词

想想用手机打字发消息的时候。打出一个词，输入法就会弹出几个接下来可能用的词。LLM 做的事本质上也一样，只是它读过的文字多得多，看的前文也长得多。
LLM 把前面的话全读一遍，挑出下一个词。接上这个词以后，再把变长的句子重新读一遍，挑出再下一个词。严格说来，它挑的单位是比词更小的片段，叫词元，这里为了好懂，就叫它词。

点候选词，把句子接下去。每点一次，下一个词的候选就会带着概率出现，句子一个词一个词地长起来。

只是挑了下一个词，不知不觉就成了一句通顺的话。秘诀在每个候选旁边的数字，也就是概率。概率表示这个词接下来出现的可能性有多大。
合乎语法、意思说得通的词概率高，牛头不对马嘴的词概率低。LLM 从海量文字里学到哪些词常跟在哪些词后面，再用它来算这些概率。

凭概率挑一个

概率并不难。给接下来可能出现的每个词打一个“有多像样”的分，再把这些分调成加起来正好百分之百。在“天空晴朗”后面，“凉快”这样的词概率高，“漆黑”就低。
LLM 通常挑概率高的词，不过并不总是只挑第一名，常常按概率大小像抽签一样抽一个。同一个问题每次的回答略有不同，原因就在这里。

每一步都点概率最高的词。选中的词接到句子上，再进入下一步。候选是事先定好的，所以试几次结果都一样。

每挑一个词，句子就长一格。真正的 LLM 会把变长的整句重新读一遍，再重新算出下一个词的候选。
挑、接、重读、再挑。把这个小动作重复无数次，就成了段落，成了长长的回答。LLM 写出的文字不是一下子冒出来的，而是这样一步一步堆起来的。

前文不同，概率就不同

下一个词的概率不是固定的，前面来了什么话，概率就会大变。“肚子饿了，所以我拿起了”后面，吃的东西最像样；“船到了港口，所以我拿起了”后面，船上用的东西最像样。
紧挨着的几个字一样，前文一变，接下来的词就全变了。从前文里挑出有用的词来看，靠的是上一课讲的注意力。

点一下换前文。紧挨着的几个字不变，前文一换，下一个词的概率条就整个变了样。

只换了前文，下一个词的概率就翻了个儿。LLM 看起来聪明的秘诀就在这里：它把整段前文看一遍，挑出合乎眼下情况的下一个词。
所以同一个问题，前面放了什么说明和例子，回答就会大不一样。人们常说提问要写好，道理也在这里。

一件事里长出好多本事

这里发生了一件令人惊讶的事。只是训练它把下一个词猜好，没人教过的本事却跟着来了。一长段文字后面接着“一句话概括”，最像样的下文就是摘要；接着“用英语说”，最像样的下文就是翻译。
问题说明后面接着“用代码写”，接下去的就是代码。像这样随着模型变大自己冒出来的本事，有时被称为涌现能力。

点一下切换能力。摘要、翻译、写代码，全都出自同一件事：猜下一个词。只是前面铺的走向不同，机器做的事只有一件。

换个按钮，做的事看起来就不同了，可往里看全都一样：看着前面的走向猜下一个词。用海量文字把这一件事磨练好，许多本事就一起跟来了。至于像助手一样耐心回答问题，那是之后又用人给回答打的分再调教一遍的结果。
不过有一点一定要记住：LLM 回答前并不核对事实，它挑的是最像样的下一个词。所以它会理直气壮地说出不存在的书名，或者错误的数字。

小结

归纳起来是这样：LLM 是看着前文、凭概率猜下一个词的机器。它给每个候选打上概率，挑出一个，一个词一个词地接成长文。前文变了，概率也跟着变，看前文的哪里，由注意力来定。
把这一件事做好以后，摘要、翻译、写代码这些本事也跟着来了。只是别忘了，LLM 挑的是像样，不是真相。

依次点要点回顾一下。(猜下一个词 → 凭概率一个词一个词地接 → 随前文而变，注意力 → 许多本事跟着来)

现在 LLM 的真面目看清了：不是魔法，而是凭概率猜下一个词的机器。把这件简单的事做到极大的规模，连意想不到的本事都长了出来。
可是 AI 造出来的只有文字吗？也有 AI 根据学到的东西画画、作曲。下一课讲生成式 AI：用学到的模式造出新东西。