1.2 逻辑回归

逻辑回归

逻辑回归虽然名字中带有”回归”，但实际上是一种用于二分类的线性模型。它通过 Sigmoid 函数将线性输出映射到 (0, 1) 区间，表示样本属于正类的概率。

交叉熵损失函数

逻辑回归使用交叉熵损失（对数损失）来衡量预测分布与真实分布之间的差异。对于二分类问题，交叉熵损失定义为：

$$L=-\frac{1}{n}\sum _{i=1}^n\left[y_i\log (p_i)+(1-y_i)\log (1-p_i)\right]$$

其中 $y_i$ 为真实标签（0 或 1），$p_i$ 为模型预测为正类的概率。

交叉熵损失的特点：

• 当预测概率与真实标签一致时损失趋近于 0
• 当预测概率与真实标签严重不符时损失趋于无穷大
• 相比平方损失，交叉熵在梯度下降中收敛更快

链接到

• 上一个知识点：1.1 线性回归
• 下一个知识点：1.3 Softmax回归