后训练范式
后训练范式（Post-Training Paradigm）是指在大语言模型的预训练完成之后，通过一系列方法对模型进行进一步优化和调整，使其更好地适配特定应用场景和对齐人类偏好。后训练已成为大语言模型开发流程中的关键环节。
基本流程
大语言模型的标准开发流程包括两个主要阶段：
- 预训练阶段：在大规模、多样化的互联网文本数据上进行自监督学习，使模型获得通用的语言理解和生成能力
- 后训练阶段：在预训练模型的基础上，通过监督微调、人类反馈对齐等方法，优化模型的行为和输出质量
核心方法
监督微调（Supervised Fine-Tuning, SFT）
使用高质量的人工标注数据对模型进行有监督训练。SFT数据通常包括指令-回答对或对话数据，帮助模型学会遵从人类指令。
基于人类反馈的强化学习（RLHF）
通过训练奖励模型来编码人类偏好，然后使用强化学习算法（如PPO）优化策略模型。RLHF能够有效减少有害输出、提高有用性，并使模型输出更符合人类的期望。
直接偏好优化（Direct Preference Optimization, DPO）
DPO是一种不需要显式训练奖励模型的替代方法，它直接从人类偏好数据中优化策略。DPO简化了RLHF的流程，降低了训练的复杂度和计算成本。
后训练的重要性
- 对齐（Alignment）：确保模型的行为符合人类的价值观和期望
- 安全性：减少有害、偏见和不当内容的生成
- 实用性：提升模型在具体任务上的表现和可用性
- 可控性：使模型能够更好地遵循指令和约束
从简单RLHF到强化学习的演进
在ChatGPT等早期系统中，后训练主要采用基于人类反馈的强化学习。随着技术发展，后训练范式逐渐从简单的RLHF演进到更复杂的强化学习方法，包括GRPO（Group Relative Policy Optimization）等新型算法，进一步提升了模型的推理能力和对齐效果。
链接到
- 上一个知识点：11.2 关键技术概览
- 下一个知识点：11.4 基于人类反馈的强化学习