逻辑回归(LR)和支持向量机(SVM)的区别和联系

时间:2023-11-10 19:29:44

1. 前言

在机器学习的分类问题领域中,有两个平分秋色的算法,就是逻辑回归支持向量机,这两个算法个有千秋,在不同的问题中有不同的表现效果,下面我们就对它们的区别和联系做一个简单的总结。

2. LR和SVM的联系

  1. 都是监督的分类算法。
  2. 都是线性分类方法 (不考虑核函数时)。
  3. 都是判别模型

3. LR和SVM的不同

  1. 损失函数的不同,LR是对数损失函数,SVM是hinge损失函数
  2. SVM不能产生概率,LR可以产生概率。
  3. SVM自带结构风险最小化,LR则是经验风险最小化
  4. SVM会用核函数而LR一般不用核函数
  5. LR和SVM在实际应用的区别:根据经验来看,对于小规模数据集,SVM的效果要好于LR,但是大数据中,SVM的计算复杂度受到限制,而LR因为训练简单,可以在线训练,所以经常会被大量采用。

4. 概念解释

  • 判别模型:是直接生成一个表示或者的判别函数(或预测模型),SVM和LR,KNN,决策树都是判别模型。
  • 生成模型:是先计算联合概率分布然后通过贝叶斯公式转化为条件概率,朴素贝叶斯,隐马尔可夫模型是生成模型。
  • 经验风险:对所有训练样本都求一次损失函数,再累加求平均。即,模型\(f(x)\)对训练样本中所有样本的预测能力。
  • 期望风险:对所有样本(包含未知样本和已知的训练样本)的预测能力,是全局概念。(经验风险则是局部概念,仅仅表示决策函数对训练数据集里的样本的预测能力。)
  • 结构风险:对经验风险和期望风险的折中,在经验风险函数后面加一个正则化项(惩罚项),是一个大于0的系数\(\lambda\)。\(J(f)\)表示的是模型的复杂度。