线性支持向量机

线性支持向量机（软间隔 SVM）是对线性可分 SVM 的推广，允许部分样本被误分类或出现在间隔内部，从而对噪声和异常点更具鲁棒性。

松弛变量

对于每个样本引入松弛变量 $ξ_{i} \geq 0$ ，允许其在一定程度上违反硬间隔约束：

y_{i} (w^{T} x_{i} + b) \geq 1 - ξ_{i}

在最大化间隔的同时，最小化总的违规量：

w, b, ξ min \frac{1}{2} ∥ w ∥^{2} + C i = 1 \sum n ξ_{i}

其中参数 $C$ 控制间隔大小与分类错误的权衡：

硬间隔 SVM 容易被异常点严重影响——一个离群的噪声点就可能大幅改变决策边界。引入松弛变量后，模型可以忽略这些异常点，获得更好的泛化能力。