这一章我们不碰任何数学公式，只用两个你天天用的东西来类比：手机输入法的联想功能，和一个很会读书的朋友。

核心机制：超级自动补全

你在手机上打字，"今天天气真"，输入法会弹出"好""不错""热"这些选项。这就是自动补全——根据前面已经输入的字，猜下一个字。

大语言模型做的，本质上就是这件事。区别在于：

因为它"读过"的东西太多了，所以预测出来的结果，看起来像真的在思考。

训练：它怎么学会的

训练大语言模型，分两步。

第一步：大量阅读。 模型会"读"互联网上的海量文字——维基百科、书籍、论坛帖子、代码仓库。不挑内容，量大管饱。这个过程叫"预训练"，耗时几个月，烧掉几千万美元的电费。

这一步结束后，它就是一个"什么都知道一点但不会聊天"的文字生成器。你问它"怎么做红烧肉"，它可能会给你一个食谱，也可能会接着你的话写一段小说——因为没有教它"回答问题"这个格式。

第二步：学会对话。 人类训练师会告诉它：这种回答好，那种不好。慢慢地，它学会了"用户是在问问题，我应该给出有帮助的回答"。这一步叫"对齐"，让它变得好用。

两个关键概念

上下文窗口

就是你跟 AI 对话时，它能"记住"的信息量。

早期 ChatGPT 只能记住大概几页纸的内容。现在的模型能记住整本书。这意味着你可以把很长的文档扔给它，它从头到尾都能看到。

实操含义：如果对话太长，前面的内容它可能会"忘记"。重要信息最好每隔一段时间重新提一下。

温度

控制 AI"创造力"的一个旋钮。

• 低温（接近 0）：AI 很保守，每次都选最可能的回答。适合写代码、做数学、翻译。
• 高温（接近 1）：AI 更跳跃，会出一些意想不到的结果。适合写创意文案、起名字、头脑风暴。

大部分 AI 编程工具默认用低温，所以写出来的代码通常比较规矩。

它为什么有时会瞎编

因为它的核心机制是"预测下一个字"，而不是"核实事实"。

当你问它一个它没见过答案的问题，它不会说"我不知道"。它按照"如果有人问这个，通常接下来会出现什么文字"的规律，给你生成一个看起来很合理的回答。

业内管这个叫幻觉。它不是故意骗你，只是它的工作原理决定了：它永远会产出一些什么，哪怕不对。

降低幻觉的方法：

• 问具体的问题，不要问开放式的
• 让它引用来源（如果有联网功能）
• 重要的信息自己核实一下
• 让它写代码时，实际跑一下看看能不能用

本章小结