DeepSeek 是如何学会“思考”的

如果你用过 DeepSeek R1，一定会注意到它在给出答案之前，会先输出一段很长的 <think> 过程。它有时会自我否定，有时会换一种思路重新推导，逻辑性很强。

很多人第一次看到这种长程思考时，会以为这是某种巧妙的提示词技巧。仿佛只要在系统提示中加一句“请一步步仔细思考，并把过程写在标签内”，模型就能立刻变聪明。实际上并非如此简单，这种思维链的出现，代表了训练范式的一次根本性变化。

过去几年，各大公司提升模型能力的主要方法是监督微调（SFT）。这类似于传统的填鸭式教学：公司聘请大量受过高等教育的专家，手写成千上万道复杂数学题的详细解题步骤。模型通过大量阅读这些标准答案，来模仿人类的思考格式。这种方法的瓶颈很明显：模型的上限受限于标注人员的水平，而且高质量的人工标注数据成本高，也难以持续供应。

DeepSeek 团队决定放弃这条依赖人工数据的路线，转而采用纯强化学习。

可以这样理解：把一个没有经验的模型放进一个只有数学题和编程题的训练场。这里没有解题步骤，也没有人类老师指导，系统只看最终结果。如果模型算出的数学答案正确，或者写出的代码能够顺利编译运行，系统就给它一个较高的奖励；如果结果错误，无论中间的推导看起来多么完整，都会受到惩罚。

选择数学和代码作为突破口，是合理的决定。这两个领域的对错是客观的，不需要人工主观判断。这样就避免了模型用花言巧语骗取高分的问题，使纯粹的自动评判成为可能。

在这种明确的奖惩机制下，所谓的“涌现”现象出现了。

模型经过成千上万次的试错，逐渐摸索出了一条提高得分的规律。它发现，如果像以前那样看到问题就直接给出答案，往往会出错并受到惩罚。为了获得奖励，它开始把复杂的问题拆成几个小步骤，在给出结论之前先自我检验，发现推理走不通时还会推翻重来。

我们看到的那些逻辑清晰的思维链，并不是工程师事先写好的模板，而是模型在大量训练中，为了提高正确率而形成的解题策略。

当然，理论上很多人都清楚这一点，真正落地却很困难。这种大规模的强化学习非常消耗算力。传统的强化学习算法在训练时，除了运行正在解题的主模型，还需要在内存中加载一个体积庞大的“裁判模型”来实时评估状态。这往往会导致显存迅速耗尽，训练也很不稳定。

DeepSeek 能够走通这条路线，依靠的是他们自研的 GRPO 算法。这项技术去掉了多余的裁判模型，让系统直接比较主模型多次尝试之间的相对好坏，并据此分配奖励。这样就节省了大量显存，使基于大量试错的强化学习在有限的算力下变得可行。

回过头看，DeepSeek R1 的成功说明，真正的逻辑推理能力不能只靠模仿获得。当我们给人工智能设定了客观的目标，并给它足够的试错空间和算力支持时，它完全有能力自己摸索出得出正确结论的思考路径。