本节内容主要来自周志华老师的《机器学习》系列，李航《统计学习方法》。

参考视频8 支持向量机（2）：感知机与支持向量机_哔哩哔哩_bilibili

待更新.

支持向量机基础

感知机和logistic回归的关系

logistic回归可转为感知机模型

支持向量机和感知机的关系

观察感知机损失函数可发现，感知机所找到的超平面不唯一

支持向量机名字解析：支持向量机本质上是找出对划分类别最有用的样本点（向量）从而建立分类模型

线性支持向量机

线性可分支持向量机

线性可分支持向量机的求解原理

1.先找到支持点算出最小几何间隔

2.再找到使支持点到间隔的举例最小的超平面

函数表达

将几何间隔转换为函数间隔

归一化缩放w，b使wx+b=1

最大间隔算法求解参数

举例

解释视频8 支持向量机（7）：最大间隔算法_哔哩哔哩_bilibili

线性可分支持向量机的优化算法

涉及的数学知识参考往期文章：机器学习系列 (5) -最大熵模型

软间隔线性支持向量机

松弛变量（弹性因子）

软间隔线性支持向量机的算法

拉格朗日函数

求解同上

于是,对任意训练样本(i,),总有ai=0或yf(æi)=1-§.若ai=0,则该样本不会对 f(a)有任何影响;若ai>0,则必有f()=1-5i,即该样本是支持向量:由式(6.39)可知,若αi0,进而有点=0,即该样本恰在最大间隔边界上;若αi=℃,则有μ=0,此时若点≤1则该样本落在最大间隔内部,若点>1则该样本被错误分类.由此可看出,软间隔支持向量机的最终模型仅与支持向量有关。

非线性支持向量机

非线性支持向量机原理

核函数原理

举例

将二维空间映射到三维空间

如何找正定核函数

常用核函数

非线性支持向量机的算法

坐标下降法与SMO算法

SMO序列最小最优化算法