知识点深化 · 支持向量机 SVM
支持向量机 SVM：在两类之间划出"最宽的那条马路"
SVM 是一个二分类模型。它不问"谁离我近"，而是问"我画的这条分界线，能不能让两边离它最近的点都尽量远"。这条分界线叫决策超平面，它到两边最近点的距离叫间隔（margin）。SVM 要做的就是最大化这个间隔，再加上一招核技巧，就能把根本分不开的点"搬到高处"变成线性可分。这一页把最大间隔、支持向量、软间隔 C、核函数一次讲透。
① 小白第一课怎么学（4 步走，约 55 分钟）
SVM 数学味重，先别碰对偶推导，先建立"画马路"的直觉：
1看图建立直觉（12 分钟）
读第②③部分：盯着间隔图看，搞懂"分界线、间隔带、支持向量"分别是图上哪根线、哪些点。
2记核心概念（13 分钟）
背第④部分：最大间隔、支持向量、软间隔 C、三种核函数对照表。
3做例题（15 分钟）
精读第⑤部分三道例题，理解"哪些点真正决定了分界线"。
4刷题+纠错（15 分钟）
做第⑦⑩部分，错题回到第⑥部分高频错误里找原因。
本课小目标学完你要能：① 画出最大间隔超平面并指出哪些是支持向量；② 说清 C 越大越硬、越小越软；③ 区分线性核 / RBF 核各自适合什么数据；④ 理解核技巧为什么能"升维"却不算量爆炸。
② 一图看懂：SVM 全地图
读法：中心是 SVM，分出四块——最大间隔（优化目标）、支持向量（谁决定边界）、软间隔 C（容错）、核技巧（升维）；下方是对偶形式（让核技巧成立）与最终决策函数。
③ 先认识它：SVM 就是在两类之间修一条最宽的马路
把两类点想象成球场两边的球迷：红队和蓝队挤在场地上。你要在中间画一条线把他们分开。
随便画一条线也能分开，但如果画得太贴某一边的球迷，新来一个稍微站歪的人就分错了。
SVM 的思路：找一条线，让它到两边离它最近的球迷的距离都尽可能大——也就是在两队之间修一条最宽的马路。马路中间线就是决策超平面，马路两半就是间隔带。
右边的示意图里，正好踩在马路边缘上的那几个点就是"支持向量"——它们死死顶住了马路，去掉它们，马路位置就会变。其他离得远的点删了也不影响分界线。
核技巧的大白话如果红队蓝队根本混在一起、一条直线怎么都分不开怎么办？SVM 说：把桌子拍一下，让所有球弹到半空——在高处，用一张平桌子（超平面）就能把红蓝分开。核函数就是那个"拍桌子"的动作：它不显式地把点搬到高维，而是直接算两点在高维空间里的相似度，所以计算量不爆炸。
④ 完整体系与公式表
核心定义对照
| 概念 | 含义 | 大白话 |
|---|
| 决策超平面 | wᵀx + b = 0 | 两类中间那条分界线 |
| 几何间隔 | γ = 1/‖w‖ | 马路的一半宽度 |
| 支持向量 | 满足 yᵢ(wᵀxᵢ+b)=1 的点 | 踩在马路边线上的点 |
| 软间隔 | 引入松弛变量 ξᵢ ≥ 0 | 允许个别球迷越线站 |
| 惩罚参数 C | 权衡"间隔宽"与"少犯错" | C 越大越不许犯错 |
硬间隔 SVM 的优化目标
最大间隔（等价于最小化权重）
min (1/2)·‖w‖²
s.t. yᵢ(wᵀxᵢ + b) ≥ 1， i = 1…n
软间隔 SVM（实际都用这个）
允许分错，用 C 控制代价
min (1/2)‖w‖² + C · Σᵢ ξᵢ
s.t. yᵢ(wᵀxᵢ+b) ≥ 1 − ξᵢ， ξᵢ ≥ 0
常用核函数对照表
| 核函数 | 公式 | 适用场景 |
|---|
| 线性核 Linear | K(x,z) = xᵀz | 特征维度高、样本量大，如文本分类 |
| 多项式核 Poly | (γ xᵀz + r)^d | 需要多项式关系，阶数 d 可调 |
| 高斯 RBF 核 | exp(−γ‖x−z‖²) | 最通用，维度不高、关系非线性，默认首选 |
最终决策（对偶后只依赖支持向量与核）
f(x) = sign( Σ_{i∈SV} αᵢ yᵢ K(xᵢ, x) + b )
C 与 γ 的调节直觉
① C 很大：几乎不许分错 → 间隔窄、容易过拟合；C 很小：容忍分错 → 间隔宽、容易欠拟合。
② RBF 的 γ 很大：每个支持向量影响范围小 → 决策边界扭曲、过拟合；γ 很小：边界平滑 → 欠拟合。两者都用交叉验证网格搜索。
⑤ 用法场景与典型例题
例1（基础·识别支持向量）二维平面上，正类点 (3,0)、(3,2)，负类点 (1,0)、(1,2)，线性可分。问哪条线是最大间隔超平面？谁是支持向量？
两类分别竖在 x=3 和 x=1 两列，中间最宽的路在正中。
① 两列点对称分布，最宽马路的中线在 x=2，即超平面 x = 2。
② 间隔边界在 x=1 和 x=3，正好压在所有 4 个点上。
③ 4 个点全部是支持向量——因为它们都踩在间隔边界上，删掉任何一个，边界就变。
答案：超平面 x=2；4 个点都是支持向量。
例2（软间隔·C 的影响）数据中有一个离群点钻进了对面那团。C 调大还是调小更合理？
这个点是噪声，不该为它牺牲整条边界。
① C 很大 = 绝不允许分错，模型会为了这个离群点把边界扭过去 → 过拟合噪声。
② 应调小 C，给松弛变量 ξ 放行，让模型容忍这一个错分，保住宽而稳的马路。
答案：调小 C，牺牲一个点换整体泛化。
例3（核选择）任务是手写数字识别，每个样本 784 维像素。优先选哪种核？
维度已经很高，线性关系往往就够用。
① 784 维很高，高维下点更容易被超平面分开，线性核常常已经很好。
② 线性核没有 γ 要调、训练快；RBF 在超高维下反而慢且易过拟合。
答案：优先线性核；若欠拟合再试 RBF 并网格搜索 C、γ。
什么时候用 SVM样本量中等（万级以下）、维度高、需要非线性边界时 SVM 很强；样本上百万时 SVM 训练慢，通常换逻辑回归或梯度提升树。
⑥ 中国学生高频错误诊断（4 条）
错误 1：以为所有点都参与决定边界只有支持向量（αᵢ>0 的点）才决定超平面。远离边界的点删了模型纹丝不动——这正是 SVM 稀疏、抗噪的原因。
错误 2：把 C 调反C 越大越严格、间隔越窄、越容易过拟合；C 越小越宽松、越容易欠拟合。和直觉"参数大=厉害"正好相反。
错误 3：用 RBF 核却不做特征归一化RBF 基于距离，量纲大的特征（如收入 8000）会压垮量纲小的特征（如年龄 0-1）。用核前必须标准化/归一化。
错误 4：以为核技巧真的把点搬到了高维没有！它只算高维点积的结果（核函数），不显式构造高维坐标，所以维度再高也算得动——这叫"核把戏 kernel trick"。
⑦ 考点与真题演练（4 题）
考点分布
| 考法 | 出题形式 | 应对 |
|---|
| 支持向量判定 | 给点集判断哪些是 SV | 落在间隔边界上的才是 |
| C 对边界影响 | 问过拟合时 C 该调大还是小 | 过拟合→调小 C |
| 核函数选择 | 高维文本 / 非线性数据选核 | 高维选线性，非线性选 RBF |
| 核技巧本质 | 为什么升维不爆算量 | 只算高维点积，不构造坐标 |
基础真题1. 在 SVM 中，真正决定决策超平面位置的是？
中档真题2. 软间隔 SVM 中，增大惩罚参数 C 通常会导致？
中档真题3. 使用高斯 RBF 核 SVM 之前，最必须做的预处理是？
拔高真题4. 核技巧（kernel trick）能在不爆炸计算量的前提下处理非线性问题，其根本原因是？
⑧ 必背公式卡
超平面：wᵀx + b = 0 分类分界线
最大间隔目标：min ½‖w‖²，s.t. yᵢ(wᵀxᵢ+b)≥1 路越宽越好=‖w‖越小
软间隔：min ½‖w‖² + C·Σξᵢ C 大=不容错，C 小=容错
支持向量：yᵢ(wᵀxᵢ+b)=1 的点（αᵢ>0） 踩边线的点
RBF 核：K(x,z)=exp(−γ‖x−z‖²) 距离越近越像
决策函数：sign(Σ αᵢyᵢK(xᵢ,x)+b) 只和支持向量算
调参口诀：过拟合→调小 C、调小 γ；欠拟合→调大 C、调大 γ 交叉验证网格搜索
⑨ 应用输出：用 SVM 建模一个二分类问题
建模场景：垃圾邮件识别（正常邮件 vs 垃圾邮件）
把每封邮件表示成一个词频向量 x（高维，几百到几千维），标签 y=+1 垃圾、y=−1 正常。
· 维度很高、文本在高维常近似线性可分 → 首选线性核 SVM。
· 用 TF-IDF 把词频归一化（量纲统一，距离/点积才公平）。
· 用 5 折交叉验证网格搜索 C（如 0.1, 1, 10）选泛化最好的。
· 部署时只有支持向量参与打分，新邮件算 f(x)=sign(Σ αᵢyᵢK(xᵢ,x)+b) 即可。
口述解题思路训练合上书大声说："SVM 在两类间修最宽的路，路宽等于 2/‖w‖，所以要最小化 ½‖w‖²；踩在路沿上的点叫支持向量，只有它们说话；数据分不开就用核技巧拍桌子升维，RBF 最通用但必须先标准化；C 大不许错、C 小容错。"能顺下来就真懂了。
⑩ 分层练习 18 题（基础 6 + 中档 6 + 拔高 6）
▍基础 6 题
基础1SVM 试图最大化的是什么？
分类间隔（margin），即决策超平面到两类最近点的距离。
基础2落在间隔边界上、决定超平面的点叫什么？
支持向量（Support Vector）。
基础3写出 SVM 决策超平面方程。
wᵀx + b = 0。
基础4硬间隔要求所有点正确分类，它用什么允许个别点犯错？
软间隔 + 松弛变量 ξᵢ，并由 C 控制代价。
基础5RBF 核衡量两点的什么关系？
相似度：距离越近 K 越接近 1，越远越接近 0。
基础6判断：核技巧真的把每个样本显式搬到了高维空间。
错。它只算高维点积 K(x,z)，不显式构造高维坐标。
▍中档 6 题
中档7增大 C，间隔会变宽还是变窄？
变窄：更不容许分错，边界贴得更紧。
中档8模型在训练集上几乎零错误、测试集很差，该怎么调 C？
这是过拟合，应调小 C（放宽容错、变宽间隔）。
中档9用 RBF 核前为什么要标准化？
RBF 依赖欧氏距离，大量纲特征会主导距离，导致小量纲特征被忽略。
中档10高维文本分类（几万词特征）优先选哪个核？
线性核：高维下近似线性可分，且训练快、无需调 γ。
中档11对偶形式下，预测一个新点只需要和哪些点计算？
只需和支持向量（αᵢ>0）算核函数，这就是 SVM 稀疏的原因。
中档12γ（RBF）很大时，决策边界会怎样？
每个支持向量影响范围很小，边界扭曲复杂、易过拟合。
▍拔高 6 题
拔高13删掉一个不在间隔边界上的训练点，超平面会变吗？
不会。它不是支持向量，对 w、b 无贡献。
拔高14线性可分时仍用软间隔 C=∞，等价于什么？
C→∞ 意味着 ξᵢ 代价无穷大，必须 ξᵢ=0，退化为硬间隔 SVM。
拔高15为什么 SVM 对超高维大样本不如逻辑回归实用？
核 SVM 训练复杂度约 O(n²)~O(n³)，样本上百万时太慢；逻辑回归是线性 O(n)。
拔高16两类点完全对称分居 x=−2 与 x=2，最大间隔超平面在哪？间隔多宽？
中线在 x=0，间隔边界在 x=±2，间隔总宽 4（2/‖w‖=2 单侧）。
拔高17多分类任务 SVM 原生支持吗？怎么扩展？
原生是二分类，多分类用 one-vs-rest 或 one-vs-one 组合多个二分类器。
拔高18ROC 评估中，SVM 输出的是距离还是概率？想要概率怎么办？
原始输出是到超平面的有符号距离，不是概率；可用 Platt 缩放（sigmoid 拟合）转成概率再画 ROC。
⑪ 记忆口诀 + 7 天复习计划
三句口诀
① 中间画线两边退，间隔越宽越稳健。
② 踩在路边是支持向量，其余删了不影响。
③ 分不开就拍桌子升维，RBF 通用先归一，C 大严格 C 小宽。
| 天 | 任务 | 自检 |
|---|
| 第 1 天 | 读②③，手画间隔图标出支持向量 | 能指出马路、边线、SV |
| 第 2 天 | 背公式卡 + 做基础 1-6 | 基础全对 |
| 第 3 天 | 做中档 7-12 + 重做错题 | 能说清 C、γ 调向 |
| 第 4 天 | 做拔高 13-18 | 理解对偶与稀疏性 |
| 第 5 天 | 做⑦真题 4 题 | 限时每题 2 分钟 |
| 第 6-7 天 | 合上书口述三句口诀，默写决策函数 | 不看资料全默对 |
← 返回算法与AI总览