使用支持向量机(SVM)实现二分类
前言:
支持向量机(Support Vector Machine,SVM)是一种监督式学习的机器学习算法,主要用于分类和回归分析。其基本思想是在特征空间中找到一个最优的超平面,将不同类别的数据点尽可能地分开。在分类问题中,这个超平面能够使两类数据点之间的间隔(Margin)最大化。
我认为寻找这个超平面的过程及时寻找重要的支持向量,而这个距离也就是支持向量找的是否准确的度量方式。当然两类数据点之间的间隔最大时,那么支持向量找的越准确。
正文:
支持向量机作为一种二分类学习方法,其在分类问题中扮演的角色就是最大化间隔。那么这个最大化的过程其实是有严格的数学推导的。
相信大家或许多多少少都知道求最大值的一些方法,比如说求导,求偏导,当有约束条件时,还有拉格朗日函数可以进行求解,还有KKT条件等。
线性可分支持向量机(硬间隔最大化)公式推导主要推导步骤有:
目标函数构建:目标是找到使间隔(Margin)最大的超平面。间隔定义为两个平行于超平面的边界平面(分别经过两类数据中距离超平面最近的点)之间的距离,距离等于,最大化这个距离ÿ