支持向量机(SVM)举例

时间:2023-12-04 11:34:26

例(1) 无核(No kernel or linear kernel)

  代码和数据集来自于https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

#coding = utf-8
import numpy as np
import pandas as pd
import sklearn.svm
import seaborn as sns
import scipy.io as sio
import matplotlib.pyplot as plt #数据的加载
mat = sio.loadmat('./data/ex6data1.mat')
print(mat.keys())
data = pd.DataFrame(mat.get('X'),columns=['X1','X2'])
data['y'] = mat.get('y')
#print (data)
print (data.head()) #样本展示
#画布的大小
fig , ax = plt.subplots(figsize=(8,6))
#scatter(输入量x1,输入量x2,点的大小,点的颜色,画布颜色)
ax.scatter(data['X1'],data['X2'],s=50,c=data['y'],cmap='Reds')
ax.set_title('Raw data')
ax.set_xlabel('X1')
ax.set_ylabel('X2')
#plt.show() #try C = 1
svc1 = sklearn.svm.LinearSVC(C=1,loss='hinge')
#根据所给的训练集调整模型
svc1.fit(data[['X1','X2']],data['y'])
#返回平均精确值对于所给的测试数据和label
score = svc1.score(data[['X1','X2']],data['y'])
print (score) #对于给定的样本预测置信度
data['SVM1 Confidence'] = svc1.decision_function(data[['X1','X2']])
fig , ax = plt.subplots(figsize=(8,6))
ax.scatter(data['X1'],data['X2'],s=50,c=data['SVM1 Confidence'],cmap='RdBu')
ax.set_title('SVM(C=1) Decision Confidence')
#plt.show() #try C = 100
svc100 = sklearn.svm.LinearSVC(C=100,loss='hinge')
#根据所给的训练集调整模型
svc100.fit(data[['X1','X2']],data['y'])
#返回平均精确值对于所给的测试数据和label
score = svc100.score(data[['X1','X2']],data['y'])
print (score) #对于给定的样本预测置信度
data['SVM100 Confidence'] = svc100.decision_function(data[['X1','X2']])
fig , ax = plt.subplots(figsize=(8,6))
#置信度越高,则点的颜色越深
ax.scatter(data['X1'],data['X2'],s=50,c=data['SVM100 Confidence'],cmap='RdBu')
ax.set_title('SVM(C=100) Decision Confidence')
plt.show() print (data.head())

样本展示:

支持向量机(SVM)举例

参数C=1时:

支持向量机(SVM)举例

参数C=100时:

支持向量机(SVM)举例

输出值:

支持向量机(SVM)举例

上半部分是数据集前五行,X1,X2表示坐标,y为标签。下半部分,加上了在C=1时和C=100时的置信度

通过两个图像对比:

C值越大对于训练集的表现越好,但是间隔减小也就是对于噪声等干扰的容忍度减小,可能引发过度拟合(overfitting),这时说明对于噪声的惩罚力度太大。C趋近于零的时候,就只会考虑间距越大越好,如果好的话会忽略一些异常点,但是有的时候会造成欠拟合。所以C=1的图像和C=100的图像对比,我们发现,C=100时分割线附近的点的颜色明显要比C=1分割线附近的点的颜色浅,说明C=100的间隔要小于C=1的分割间距。

(2) 高斯核函数(Gaussian SVM)

  

#coding=utf-8
import matplotlib.pyplot as plt
from sklearn import svm
import numpy as np
import pandas as pd
import seaborn as sns
import scipy.io as sio #kernel function 高斯函数
def gaussian_kernel(x1,x2,sigma):
return np.exp(- np.power(x1 - x2,2).sum() / (2*(sigma ** 2))) x1 = np.array([1,2,1])
x2 = np.array([0,4,-1])
sigma = 2 result = gaussian_kernel(x1,x2,sigma)
print (result) mat = sio.loadmat('./data/ex6data2.mat')
print (mat.keys())
data = pd.DataFrame(mat.get('X'),columns=['X1','X2'])
data['y'] = mat.get('y') print (data.head()) print (data.shape) #展示原始数据
#set( )通过设置参数可以用来设置背景,调色板等
sns.set(context="notebook",style="white",palette=sns.diverging_palette(240,10,n=2))
sns.lmplot('X1','X2',hue='y',data=data,
size=5,
fit_reg = False,
scatter_kws={"s":10}
)
#plt.show() #使用高斯核函数
svc = svm.SVC(C=100,kernel='rbf',gamma=10,probability=True)
'''
C:C-SVC的惩罚参数C?默认值是1.0 C越大,相当于惩罚松弛变量,希望松弛变量接近0,即对误分类的惩罚增大,趋向于对训练集全分对的情况,这样对训练集测试时准确率很高,但泛化能力弱。C值小,对误分类的惩罚减小,允许容错,将他们当成噪声点,泛化能力较强。 l kernel :核函数,默认是rbf,可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’
用于预处理数据矩阵成为核矩阵   0 – 线性:u'v    1 – 多项式:(gamma*u'*v + coef0)^degree   2 – RBF函数:exp(-gamma|u-v|^2)   3 –sigmoid:tanh(gamma*u'*v + coef0) l gamma : ‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’,则会选择1/n_features
l probability :是否采用概率估计?.默认为False
'''
print (svc) #训练模型
svc.fit(data[['X1','X2']],data['y'])
#给出平均精确值
svc.score(data[['X1','X2']],data['y']) #计算样本X中可能输出的概率,返回的是(n_sample,n_class),本实例是正负类,所n_class=2
#返回是m*2的数组,正样本概率和负样本概率
predict_prob = svc.predict_proba(data[['X1','X2']])[:,1]
#print (predict_prob)
fig , ax = plt.subplots(figsize=(8,6))
#通过概率值来分割样本
ax.scatter(data['X1'],data['X2'],s=30,c=predict_prob,cmap='Reds')
plt.show()

样本展示:

支持向量机(SVM)举例

代码中主要过程是:

(1)训练模型

(2)计算样本X中可能输出的概率,返回的是(n_sample,n_class),本实例是正负类,所n_class=2

  所以返回矩阵中,有正样本概率和负样本概率。

predict_prob = svc.predict_proba(data[['X1','X2']])[:,0]

这句代码是取预测的负样本概率存放在predict_prob中。

predict_prob = svc.predict_proba(data[['X1','X2']])[:,1]
这句代码是取预测的正样本概率存放在predict_prob中。 分别查看结果:
支持向量机(SVM)举例

支持向量机(SVM)举例

对于这两张图,我们应该关注正负样本分界线出的样本点,很明显它不像其它点,根据点的颜色的深浅判断,概率几乎变化不大,只有在分割线处,概率发生变化,这能说明什么呢?

如果根据https://www.cnblogs.com/zhxuxu/p/9590685.html 这篇博客中所说的,如果把样本点映射成地标,再通过高斯核函数计算出相对应的特征向量(一个特征向量对应一个样本),在分割线处距离明显要大于其他位置,距离影响样本点的概率,这样就可以理解了。

通过本例,我对支持向量机又有的深刻的理解。

如有不对,还望指教!!!