1.4 正则化

正则化

正则化是一种防止模型过拟合、增强泛化能力的技术。通过在损失函数中加入模型复杂度的惩罚项，限制参数的大小或数量。

L1 正则化（Lasso）

在损失函数中添加参数绝对值的和：

$$L_{\text{total}}=L+\lambda \sum |{\theta }_j|$$

L1 正则化能够产生稀疏解，即将部分参数压缩至 0，从而实现特征选择和模型简化。

L2 正则化（Ridge）

在损失函数中添加参数平方和：

$$L_{\text{total}}=L+\lambda \sum {\theta }_j^2$$

L2 正则化使参数值整体变小但不会归零，能有效应对参数过大导致的过拟合。

正则化系数 $\lambda$

• $\lambda$ 越大，正则化惩罚越强，模型越简单
• $\lambda$ 过大会导致欠拟合
• 需要根据验证集表现选择合适的 $\lambda$

![[Machine Learning/images/001_正则化_正则化系数_$lambda$.png]] ![[Machine Learning/images/002_正则化_正则化系数_$lambda$.png]] ![[Machine Learning/images/003_正则化_正则化系数_$lambda$.png]]

链接到

• 上一个知识点：1.3 Softmax回归
• 下一个知识点：无（本章最后一个知识点）