2.3 最小平方误差准则

最小平方误差准则

最小平方误差准则（MSE）将分类问题视为回归问题，通过最小化预测值与目标值之间的平方误差来求解线性分类器的参数。

基本形式

对于训练集 $\{({\mathbf{x}}_i,y_i)\}$，最小平方误差准则的目标函数为：

$$\underset{\mathbf{w}}{\min }\sum _{i=1}^n({\mathbf{w}}^T{\mathbf{x}}_i-y_i{)}^2$$

其中 $y_i$ 为目标输出（通常用 $\pm 1$ 或 0/1 编码）。

解析解

与感知器的迭代方法不同，最小平方误差准则可以求得闭式解（解析解）：

$$\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$

这在数学上等价于线性回归的最小二乘解。

优缺点

• 优点：计算效率高，存在解析解
• 缺点：对异常值敏感，平方误差会放大离群点的影响；对于分类问题，最小化平方误差不一定直接优化分类准确率

链接到

• 上一个知识点：2.2 最小距离准则
• 下一个知识点：2.4 感知器函数准则