SVM 的一些疑问

原创 人工智能 机器学习

1. 为什么 SVM 问题中的正类 y=-1，负类 y=1

我们知道任一点到超平面的距离为
\[ \frac{|w^{T}x+b|}{||w||} \]
在之前的描述中我们知道函数间隔\(\hat{\gamma} = |w^{T}x+b| = y(w^{T}x+b)\)，几何间隔\(\gamma = \frac{|w^{T}x+b|}{||w||} = \frac{y(w^{T}x+b)}{||w||}\)，我们发现加上\(y\)之后就可以去绝对值，即对于正分类点

• \(w^{T}x+b>0\)时，\(y=1>0\)，相乘为正
• \(w^{T}x+b<0\)时，\(y=-1<0\)，相乘为正

那么这就是\(y\)取\(+1, -1\)的原因吗，有一部分原因是这样的，但也不完全是，这样做最大的好处就是计算简便，同时理解起来也更容易，看下面的解释

首先我们要明白这是一个二分类问题，既然是二分类问题，那么\(y\)就只需要取两个值就可以了，当我们的分类点位于超平面的两侧时，恰好符号分别为正负，所以我们取了\(-1, +1\)，当然也可以取\(-10, +10\)，\(-11, +4\)，甚至还可以取\(+1, +2\)，因为归根结底我们只需要两个不同的数就可以代表二分类问题了。我们用\([+1, +2]\)举个例子，在之前我们判断一个误分类点的方法是
\[ \begin{aligned} y(w^{T}x+b)>0~~~T \\ y(w^{T}x+b)<0~~~F \end{aligned} \]
那么现在我们修改了\(y\)代表的分类值，判断方法就变为
\[ \begin{aligned} (y-1.5)(w^{T}x+b)>0~~~T \\ (y-1.5)(w^{T}x+b)<0~~~F \end{aligned} \]

2. 为什么在求解SVM时，令分子等于1？

SVM中求几何间隔的形式为\(\frac{y(w^{T}x+b)}{||w||}\)，然后我们令分子等于1，即函数间隔等于1，将上述问题转化为
\[ max = \frac{1}{||w||}~~~st.~y_{i}(w^{T}x_{i}+b) \geq 1~~i=1,...,n \]
为什么可以这样做呢？首先看上述公式我们在\(y_{i}(w^{T}x_{i}+b) \geq 1\)时已经默认令函数间隔\(\hat{\gamma}=1\)了，其实最初的形式为
\[ \underset {w,b}{\operatorname {max}} ~~~ \gamma~~~~st.~\frac{y_{i}(w^{T}x_{i}+b)}{||w||} \geq \gamma~~i=1,...,n \]
也就是说我们希望最大化超平面关于训练数据集的几何间隔\(\gamma\)，约束条件表示超平面\((w,b)\)关于每个训练样本点的几何间隔至少是\(\gamma\)，这样就是如下图的形式，上述约束条件中分子就是函数间隔

考虑到函数间隔和几何间隔的关系，我们将上式转化为
\[ \underset {w,b}{\operatorname {max}} ~~~\frac{ \hat{\gamma}}{||w||}~~~st.~~~y_{i}(w^{T}x_{i}+b) \geq \hat{\gamma}~~i=1,...,n \]
这就是原始问题等价变形之后的形式了，接下来解释为什么函数间隔\(\hat{\gamma}=1\)，在之前SVM详解这篇文章中我们知道当\(w,b\)等比例的增大或者变小时，我们的超平面是不变的，也就是说不论是\(\hat{\gamma}=1,2,3,10,100,1000\)，结果都是相同的，只不过得到的\(w,b\)变成了原来的倍数，所以为了计算方便以及更好的理解，我们不如直接令\(\hat{\gamma}=1\)；换一个理解思路\(\hat{\gamma}=1\)就是相当于给原问题加上了一个约束条件，也就是问题变为
\[ \underset {w,b}{\operatorname {max}} ~~~\frac{ \hat{\gamma}}{||w||}~~~st.~~~ \left\{\begin{matrix} y_{i}(w^{T}x_{i}+b) \geq \hat{\gamma}~~i=1,...,n \\ \hat{\gamma}=1 \end{matrix}\right. \]
即
\[ \begin{aligned} \underset {w,b}{\operatorname {max}} ~~~\frac{1}{||w||}~~~st.~~~ y_{i}(w^{T}x_{i}+b) \geq1~~i=1,...,n \\ \end{aligned} \]

3. \(w,b\)到\(\alpha\)公式推导

\[ L(w, b, \alpha) = \frac{1}{2}||w||^{2} - \sum_{i=1}^{n}\alpha_{i}(y_{i}(w^{T}x_{i}+b) - 1)~~~i=1,...,n \]

对\(w, b\)求导之后得到\(w = \sum_{i=1}^{N}\alpha_{i}y_{i}x_{i}~~\)以及\(~~\sum_{i=1}^{N}\alpha_{i}y_{i}=0\)，带入得到下面式子

\[ L(\alpha) = \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}\cdot x_{j}) - \sum_{i=1}^{n}\alpha_{i} \]

求解过程

\[ \begin{aligned} L(w, b, \alpha) & = \frac{1}{2}||w||^{2} - \sum_{i=1}^{n}\alpha_{i}(y_{i}(w^{T}x_{i}+b) - 1) \\ & = \frac{1}{2}w^{T}w - \sum_{i=1}^{n}\alpha_{i}y_{i}w^{T}x_{i} - \sum_{i=1}^{n}\alpha_{i}y_{i}b + \sum_{i=1}^{n}\alpha_{i} \\ & = \frac{1}{2}w^{T}\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i} - \sum_{i=1}^{n}\alpha_{i}y_{i}w^{T}x_{i} - 0\times b + \sum_{i=1}^{n}\alpha_{i} \\ & = -\frac{1}{2}w^{T}\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i} + \sum_{i=1}^{n}\alpha_{i} \\ & = -\frac{1}{2}(\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i})^{T}\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i} + \sum_{i=1}^{n}\alpha_{i} \\ & = -\frac{1}{2}\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i}^{T}\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i} + \sum_{i=1}^{n}\alpha_{i} \\ & = -\frac{1}{2}\sum_{i=1}^{N}\sum_{i=j}^{N}\alpha_{i}y_{i}x_{i}^{T}\alpha_{j}y_{j}x_{j} + \sum_{i=1}^{n}\alpha_{i} \\ & = -\frac{1}{2}\sum_{i=1}^{N}\sum_{i=j}^{N}\alpha_{i}y_{i}\alpha_{j}y_{j}x_{i}^{T}x_{j} + \sum_{i=1}^{n}\alpha_{i} \\ & = -\frac{1}{2}\sum_{i=1}^{N}\sum_{i=j}^{N}\alpha_{i}y_{i}\alpha_{j}y_{j}(x_{i}\cdot x_{j}) + \sum_{i=1}^{n}\alpha_{i} \end{aligned} \]

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Apr 27, 2026 07:53 pm