1.1 线性回归

线性回归

线性回归是最基本的回归模型，它假设目标值与输入特征之间存在线性关系。模型通过学习一组权重参数，对输入特征进行加权求和来预测连续值输出。

平方损失函数

线性回归通常使用平方损失（均方误差）作为损失函数，衡量预测值与真实值之间的差异：

$$L=\frac{1}{2}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

其中 $y_i$ 为真实值，${\hat{y}}_i$ 为模型预测值。平方损失函数是凸函数，具有全局最优解。

梯度下降与学习率

梯度下降是一种迭代优化算法，通过沿损失函数梯度的反方向更新参数，逐步逼近最小值。参数更新公式为：

$$\theta :=\theta -\alpha \frac{\partial L}{\partial \theta }$$

学习率 $\alpha$ 控制每次更新的步长：

• 学习率过大会导致振荡甚至发散
• 学习率过小会使收敛速度过慢

链接到

• 上一个知识点：无（本章第一个知识点）
• 下一个知识点：1.2 逻辑回归