大模型安全合规
内容安全问题
大语言模型在广泛应用中面临着重要的内容安全挑战：
- 有害内容生成：模型可能被诱导生成暴力、色情、歧视等有害内容
- 幻觉问题（Hallucination）：模型可能生成看似合理但事实上错误的信息
- 越狱攻击（Jailbreak）：通过提示注入等手段绕过模型的安全机制
- 偏见与歧视：训练数据中的社会偏见可能被模型继承和放大
安全防护措施
- 对齐训练：通过 RLHF 等对齐技术使模型符合安全规范
- 内容过滤：输入输出级别的敏感内容检测
- 红队测试（Red Teaming）：通过对抗性测试发现安全漏洞
- 价值观对齐：确保模型行为符合人类价值观和社会伦理
AI 科研成果的可专利性与著作权归属问题
随着 AI 生成内容的普及，法律和合规问题日益凸显：
- 可专利性：AI 自主生成的发明是否可以申请专利？发明人如何认定？
- 著作权归属：AI 生成的作品（文本、代码、图像）的版权归谁所有？
- 训练数据合规：使用受版权保护的数据训练模型是否构成侵权？
- 责任界定：当 AI 生成有害或侵权内容时，责任由谁承担？
监管与治理
全球各国正在逐步建立 AI 监管框架，要求大模型在开发和应用过程中遵循透明度、可解释性、公平性和问责制等原则。
链接到
- 上一个知识点：11.6 组相对策略优化算法
- 下一个知识点：11.8 ChatGPT大模型