复杂推理：大语言模型的北极星能力
About
复杂推理：大语言模型的北极星能力
作者：符尧
动机：大语言模型作为新一代计算平台
我们研究复杂推理的原因有两个：
- 复杂推理是标志着小模型与大模型差异的关键因素，这一点在 GPT-4 发布文章中已经讨论过；
- 复杂推理是使模型成为下一代操作系统的核心能力。
构建具有强大复杂推理能力的语言模型的现有方法。复杂推理的方案与通用大型语言模型（LLM）开发的方案相似，包括三个阶段：持续训练 (continue training)、指令微调 (instruction finetuning) 和强化学习 (reinforcement learning)。我们还会进一步讨论代码与推理之间令人惊讶的耦合关系；