SVM简要介绍

348 阅读 0 评论 0 点赞

# SVM

>    支持向量机（SVM），是一个用于解决**二分类**问题的有监督机器学习模型。

#### 1.SVM的两个优点

* 更高的速度
  
* 在有一定的样本数量支持下（成千上万张），具有比其他模型有更好的效果

#### 2.SVM的工作过程

###### 2.1.线性数据

>    为了更好地理解SVM的工作流程，我们引入一个例子。假如在一个$xy$坐标系上有很多红色和蓝色的点，将这些点看作是我们要处理的两个(categories)类别`(red,blue)`，而我们的数据具有两个(features)特征$$x$$和$$y$$，我们想要找到一个(classifier)判别器，当我们给定一个坐标$$(x,y)$$，判别器会给出    该坐标所属的类别$$red$$或$$blue$$，具体描述如下图。

![support vector machines svm](https://d33wubrfki0l68.cloudfront.net/bb6acfd742447bab1e4c619cad0d9aec9e6d58bd/7381d/static/52081a1b625e8ba22c00210d547b4f1a/ae702/plot_original.png)

>    SVM对于以上给定的数据点，能够给出一条最好的划分两个样本的直线，使得直线的一边全部都是$$red$$，另一边全部都是$$blue$$。

![support vector machines svm](https://d33wubrfki0l68.cloudfront.net/ddde7b980851a9c12b72cee173debe8794962820/54f9b/static/57fd2448dfb67cfff990f32191463e80/ae702/plot_hyperplanes_2.png)

>    但是，能够划分的直线有无数条，那一条才是最好的呢？对于SVM来说，最好的划分直线就是让两边最近的点离直线的距离最近。如图所示

![support vector machines svm](https://d33wubrfki0l68.cloudfront.net/b33ca241f49a2ffc8b57a62558efd876410a49ac/56c8c/static/7002b9ebbacb0e878edbf30e8ff5b01c/ae702/plot_hyperplanes_annotated.png)

###### 2.2.非线性数据

> 对于线性数据来说，很容易就找到了最优分割线，但对于一些非线性数据来说，用线性分割线来分割就显得比较困难了。如下

![support vector machines svm](https://d33wubrfki0l68.cloudfront.net/a80bfcd16e1c9e1235f6afb112afba3988e31bb4/7276f/static/2631f704a0b3f6e31246294578a7d777/95f64/plot_circle_01.png)

> 在二位坐标$$xy$$上，想找到一条分割线来进行分割两个类别是非常困难的。所以我们增加一个坐标系$$z$$，我们令$$z=x^2+y^2$$，将原来二维的数据映射到三维空间上，如下图

![support vector machines svm](https://d33wubrfki0l68.cloudfront.net/1ecdc513142b40c1162efa613f6b4f8eb996cdbd/f9ac6/static/9f18ce83bab159464cc138a653e3fc63/dbc4f/plot_circle_02.png)

> 这样，我们就可以巧妙地用一个平面分割两个类别的数据。我们来看一下

![support vector machines svm](https://monkeylearn.com/static/250face99659fab3c5402676fd8dd420/dbc4f/plot_circle_03.png)

> 将它重新映射回二位平面上

![support vector machines svm](https://d33wubrfki0l68.cloudfront.net/6fc63b6e6ea9adc551d4245acfb6d1bc48d5ca69/2e42a/static/a4dc8a44f6a8adf55df920a602668a42/95f64/plot_circle_04.png)

> 由此，我们就可以轻松地找到一个分割线来分割两个类别

> 原来是在二维平面上找 $$a · b = xa · xb  +  ya · yb +  (xa² + ya²) · (xb² + yb²)$$ 找$$x$$和$$y$$的最优解，转化成在三位空间中找 $$a · b = xa · xb  +  ya · yb  +  za · zb$$ 找$$x$$和$$y$$的最优解

> 所以，对于一些非线性的数据来说，增加一个维度进行计算是SVM常用的方法
###### 3.SVM的代码实现
导入模块
```python
import numpy as np
import joblib
from sklearn import svm
import matplotlib.pyplot as plt
```
预定义要处理的点
```python
x = [[20, 10], [4, 5], [18, 9], [10, 7], [9, 1], [13, 18]]
x = np.array(x)
y = [1, 1, 0, 0, 1, 0]
y = np.array(y)
```
训练模型
```python
model = svm.SVC(C=10, kernel='linear')
model.fit(x, y)
```
预测点所处的类别
```python
X=[[20, 10], [4, 5], [18, 9], [10, 7], [9, 1], [13, 18]]
# predict
a = [[100, 100]]
for i in range(len(X)):
a_pre = model.predict([X[i]])
if a_pre[0]==0:
	plt.scatter(np.array(X)[i:i+1,0],np.array(X)[i:i+1,1],s=40,c='b')
else:
	plt.scatter(np.array(X)[i:i+1,0],np.array(X)[i:i+1,1],s=40,c='r')
```
对应的支持向量机
```python
Support_vector = model.support_vectors_
print("Support_vector:", Support_vector)
```
对应参数
```python
w = model.coef_
print("w:", w)
b = model.intercept_
print("b:", b)
```
画出结果图
```python
if w[0, 1] != 0:
	xx = np.arange(0, 20, 0.1)
	# optimal boundary
	yy = -w[0, 0]/w[0, 1] * xx - b/w[0, 1]
	plt.scatter(xx, yy, s=4)
	# support vector
	# b1 = Support_vector[0, 1] + w[0, 0]/w[0, 1] * Support_vector[0, 0]
	# b2 = Support_vector[1, 1] + w[0, 0]/w[0, 1] * Support_vector[1, 0]
	# yy1 = -w[0, 0] / w[0, 1] * xx + b1
	# plt.scatter(xx, yy1, s=4)
	# yy2 = -w[0, 0] / w[0, 1] * xx + b2
	# plt.scatter(xx, yy2, s=4)
else:
	xx = np.ones(100) * (-b) / w[0, 0]
	yy = np.arange(0, 10, 0.1)
	plt.scatter(xx, yy)
plt.show()
```

0.0分

2 人评分

本文分类：文章列表
浏览次数：348 次浏览
发布日期：2022-07-28 08:50:05
本文链接：https://blog.dotcpp.com/a/89026

上一篇 > 深度学习——AP的计算方法
下一篇 > 深度学习——Relu函数的作用

C语言网提供由在职研发工程师或ACM蓝桥杯竞赛优秀选手录制的视频教程，并配有习题和答疑，点击了解：

一点编程也不会写的：零基础C语言学练课程

解决困扰你多年的C语言疑难杂症特性的C语言进阶课程

从零到写出一个爬虫的Python编程课程

只会语法写不出代码？手把手带你写100个编程真题的编程百练课程

信息学奥赛或C++选手的必学C++课程

蓝桥杯ACM、信息学奥赛的必学课程：算法竞赛课入门课程

手把手讲解近五年真题的蓝桥杯辅导课程

SVM简要介绍

评论列表共有 0 条评论

发表评论取消回复

SVM简要介绍

7月4号刷题记录yyyyyyyyyyyyyyyyyyy

结构体之时间设计

报数问题（约瑟夫环问题）

2998: 电影票

评论列表 共有 0 条评论

发表评论 取消回复

评论列表共有 0 条评论

发表评论取消回复