Softmax回归

Softmax回归（Softmax Regression）是逻辑回归在多分类问题上的推广，它将线性模型的输出映射为每个类别的概率分布，使得所有类别的预测概率之和为1。

基本思想

对于 $K$ 个类别，Softmax回归为每个类别 $k$ 学习一组权重向量 $w_{k}$ 和偏置 $b_{k}$ 。对于输入 $x$ ，先计算每个类别的线性得分：

z_{k} = w_{k}^{T} x + b_{k}, k = 1, 2, \dots, K

Softmax函数将这些得分转换为概率值。对于第 $k$ 个类别，其预测概率为：

P (y = k ∣ x) = \frac{e ^{z_{k}}}{\sum _{j = 1}^{K} e ^{z_{j}}}

Softmax函数的特性：

Softmax回归使用交叉熵损失函数。对于单个样本 $(x_{i}, y_{i})$ ，其中 $y_{i}$ 为真实类别，损失为：

L_{i} = - lo g P (y = y_{i} ∣ x_{i}) = - lo g (\frac{e ^{z_{y_{i}}}}{\sum _{j = 1}^{K} e ^{z_{j}}})

总损失是所有样本损失的平均值。优化的目标是最小化交叉熵损失，使模型对正确类别的预测概率尽可能接近1。

当 $K = 2$ 时，Softmax回归退化为逻辑回归。在二分类情况下，两个类别的 Softmax 输出等价于逻辑回归的 Sigmoid 输出。

Softmax回归广泛应用于多分类问题，如手写数字识别（MNIST）、图像分类、文本分类等场景，同时也是深度神经网络中输出层最常用的激活函数。