Coursera台大机器学习课程笔记9 -- Logistic Regression

时间:2023-03-08 17:39:40

如果只想得到某种概率,而不是简单的分类,那么该如何做呢?在误差衡量问题上,如何选取误差函数这段很有意思。

接下来是如何最小化Ein,由于Ein是可凸优化的,所以采用的是梯度下降法:只要达到谷底,就找到了最优解。与PLA对比发现,

logistic regression的梯度下降其实也是调整错分的w(错分有较大权重).

当采用梯度下降法时,发现Ein是非线性,所以不能像linear regression那样,直接得到闭式解,于是采用了小技巧将其转为线性。于是可以得到最优的方向。

关于步长的选择,过大过小都不好,理想的方式是采用可变的步长:当梯度过大时,采用大步长;当梯度很小时,采用小步长。

参考:http://beader.me/mlnotebook/section3/logistic-regression.html

http://www.cnblogs.com/ymingjingr/p/4330304.html