基本
目前看来svm是逻辑回归的优化版本，优化了效果和计算量。
svm使用了另外一种cost function，他的参数放到了前面，改成了 C * A + B ，这个C就是参数，相当于以前的 \frac{1}{λ} ，如果C很大，那么就需要让A尽可能的小，那么A要趋近于0.
A是由 cost1 和 cost0 相加组成，也就是说 cost1 在y=1时，要等于0，cost0 在y=0时，要等于0，根据新的cost function，此时 z 的要求要比逻辑回归的高很多，要达到 1 和 -1的级别，而逻辑回归只需要达到 0.
所以svm比逻辑回归效果更好。
svm拥有更大的“间距”，也就是到样本之间的距离更大，这样有更大的对样本的包容性，能够容许未出现的样本有更加大的误差。这也就是有很多人叫svm为大间距分类器的原因。
核函数
就是将原有的变量进行映射的函数，将原有的多个维度的变量，映射为各种结果，例如点乘，平方，多项式等等。好处在于快速且节省空间，方便计算。
高斯核函数，可以将变量升维，升到无限维度，让数据能够在更高维度的时候达到线性可分。
分类与回归
分类使用svm的思想，是在margin中，尽可能少有点，并且距离点尽可能大，而回归问题正好相反，回归的思想是margin中的点尽可能多，相距尽可能小。
0 条评论