3.3 非线性支持向量机

非线性支持向量机

非线性支持向量机通过核技巧将低维特征映射到高维空间，使原本线性不可分的数据在高维空间中变得线性可分，同时避免直接在高维空间进行计算。

核技巧

核技巧的核心思想是：在高维空间中计算内积时，不需要显式地进行高维映射，而是通过一个低维的核函数直接得到内积结果：

$$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$$

从而大大降低了映射到高维空间及进行高维内积运算的计算复杂度。

常用核函数

• 线性核：$K({\mathbf{x}}_i,{\mathbf{x}}_j)={\mathbf{x}}_i^T{\mathbf{x}}_j$（退化为线性 SVM）
• 多项式核：$K({\mathbf{x}}_i,{\mathbf{x}}_j)=({\mathbf{x}}_i^T{\mathbf{x}}_j+c{)}^d$
• 高斯核（RBF）：$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\exp (-\gamma \Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }^2)$

应用

非线性 SVM 能够处理复杂的非线性分类问题，在实际应用中高斯核（RBF）是最常用的选择，因为它只有一个参数 $\gamma$ 需要调节，且能够逼近任意复杂的决策边界。

链接到

• 上一个知识点：3.2 线性支持向量机
• 下一个知识点：无（本章最后一个知识点）