6.LibSVM核函数

时间:2024-04-26 19:05:58

libsvm的核函数类型(svmtrain.c注释部分):

"-t kernel_type : set type of kernel function (default 2)\n"
"    0 -- linear: u'*v\n"
"    1 -- polynomial: (gamma*u'*v + coef0)^degree\n"
"    2 -- radial basis function: exp(-gamma*|u-v|^2)\n"
"    3 -- sigmoid: tanh(gamma*u'*v + coef0)\n"
"    4 -- precomputed kernel (kernel values in training_instance_matrix)\n

linear:线性核函数(linear kernel)
polynomial:多项式核函数(ploynomial kernel)
RBF:径向基核函数(radical basis function)
sigmoid: 神经元的非线性作用函数核函数(Sigmoid tanh)
precomputed :用户自定义核函数
究竟用哪一种核函数取决对数据处理的要求,不过建议一般都是使用RBF核函数。因为RBF核函数具有良好的性态,在实际问题中表现出了良好的性能。

下面来考虑这样一种情况,给定m个训练样本6.LibSVM核函数,每一个6.LibSVM核函数对应一个特征向量。那么,我们可以将任意两个6.LibSVM核函数6.LibSVM核函数带入6.LibSVM核函数中,计算得到6.LibSVM核函数。i可以从1到m,j可以从1到m,这样可以计算出m*m的核函数矩阵(Kernel Matrix)。为了方便,我们将核函数矩阵和6.LibSVM核函数都使用6.LibSVM核函数来表示。

如果假设6.LibSVM核函数是有效地核函数,那么根据核函数定义

6.LibSVM核函数

可见,矩阵K应该是个对称阵。

自定义核函数时,使用-t 4参数后,需要根据核函数给出核矩阵即可。比如:线性核函数是 K(x,x') = (x * x'),设训练集是train_data,设训练集有150个样本, 测试集是test_data,设测试集有120个样本。
训练集的核矩阵是 ktrain1 = train_data*train_data'
测试集的核矩阵是 ktest1 = test_data*train_data'
想要使用-t 4参数还需要把样本的序列号放在核矩阵前面 ,形成一个新的矩阵。然后使用svmtrain建立支持向量机,再使用svmpredict进行预测即可。形式与使用其他-t参数稍有不同,如下。

clear;
clc; %%
load heart_scale.mat;
% Split Data
train_data = heart_scale_inst(:,:);
train_label = heart_scale_label(:,:);
test_data = heart_scale_inst(:,:);
test_label = heart_scale_label(:,:); %% Linear Kernel
model_linear = svmtrain(train_label, train_data, '-t 0');
[predict_label_L, accuracy_L, dec_values_L] = svmpredict(test_label, test_data, model_linear); %% Precomputed Kernel One
% 使用的核函数 K(x,x') = (x * x')
% 核矩阵
ktrain1 = train_data*train_data';
Ktrain1 = [(:)',ktrain1];
model_precomputed1 = svmtrain(train_label, Ktrain1, '-t 4');
ktest1 = test_data*train_data';
Ktest1 = [(:)', ktest1];
[predict_label_P1, accuracy_P1, dec_values_P1] = svmpredict(test_label, Ktest1, model_precomputed1);
% 这样得到的结果和上步中使用LibSVM提供的线性核得到的结果相同。 %% Precomputed Kernel Two
% 使用的核函数 K(x,x') = ||x|| * ||x'||
% 核矩阵
ktrain2 = ones(,);
for i = :
for j = :
ktrain2(i,j) = sum(train_data(i,:).^)^0.5 * sum(train_data(j,:).^)^0.5;
end
end
Ktrain2 = [(:)',ktrain2];
model_precomputed2 = svmtrain(train_label, Ktrain2, '-t 4'); ktest2 = ones(,);
for i = :
for j = :
ktest2(i,j) = sum(test_data(i,:).^)^0.5 * sum(train_data(j,:).^)^0.5;
end
end
Ktest2 = [(:)', ktest2];
[predict_label_P2, accuracy_P2, dec_values_P2] = svmpredict(test_label, Ktest2, model_precomputed2); %% Precomputed Kernel Three
% 使用的核函数 K(x,x') = (x * x') / ||x|| * ||x'||
% 核矩阵
ktrain3 = ones(,);
for i = :
for j = :
ktrain3(i,j) = ...
train_data(i,:)*train_data(j,:)'/(sum(train_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5);
end
end
Ktrain3 = [(:)',ktrain3];
model_precomputed3 = svmtrain(train_label, Ktrain3, '-t 4'); ktest3 = ones(,);
for i = :
for j = :
ktest3(i,j) = ...
test_data(i,:)*train_data(j,:)'/(sum(test_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5);
end
end
Ktest3 = [(:)', ktest3];
[predict_label_P3, accuracy_P3, dec_values_P3] = svmpredict(test_label, Ktest3, model_precomputed3);

函数的正确选取依赖产生分类问题的实际问题的特点,因为不同的实际问题对相似程度有着不同的度量,核函数可以看作一个特征提取的过程,选择正确的核函数有助于提高分类准确率。核函数的构造可以直接构造,也可以通过变换来得到。