ChatGPT大模型
ChatGPT是由OpenAI开发的大规模语言模型对话系统，基于InstructGPT基座进行训练。ChatGPT通过多轮对话的训练数据采集方式和强化学习对齐技术，实现了出色的对话交互能力，引领了大语言模型（LLM）的广泛应用。
基座模型
ChatGPT的模型基座是InstructGPT系列。InstructGPT在GPT-3的基础上引入了基于人类反馈的强化学习（RLHF）进行微调，使模型能够更好地遵循人类指令。
多轮对话数据
ChatGPT在数据采集上具有显著特点。标注者需要提供多轮问答形式的数据（通常由一人扮演用户、另一人扮演AI），而不仅仅是孤立的问答对。这种对话式数据使得模型学会了：
- 上下文记忆：在多轮对话中保持对话历史的一致性
- 指代消解：正确理解对话中的指代关系
- 交互式回应：能够追问、澄清和逐步回答复杂问题
关键技术组成
ChatGPT的成功建立在多个关键技术的综合运用上：
预训练
在大规模文本语料上进行自监督预训练，使模型获得广泛的语言知识和世界知识。
监督微调（SFT）
使用高质量的人工标注对话数据对预训练模型进行监督微调，使模型初步学会遵从指令和进行对话。
RLHF对齐
通过基于人类反馈的强化学习进一步优化模型行为，使模型输出更加符合人类偏好。这包括训练奖励模型（Reward Model）并使用PPO算法优化策略。
模型能力
ChatGPT展现出多种涌现能力：
- 语境学习（In-Context Learning）：通过输入中的示例进行少样本学习
- 推理能力：在数学推理、逻辑推理等任务上表现优异
- 代码生成：能够理解并生成多种编程语言的代码
- 多语言支持：支持数十种语言的交互
影响与局限
ChatGPT的发布标志着大语言模型从研究走向大规模应用的转折点。然而仍需注意其局限性，包括事实性错误（幻觉）、推理不一致性以及对有害输入的敏感性等问题。
链接到
- 上一个知识点：11.7 大模型安全合规
- 下一个知识点：11.9 DeepSeek