Adaboost算法的可视化训练过程

时间:2022-08-23 14:54:24

    数据挖掘中有十大经典算法(C4.5,CART,PageRank,Apriori,K-Means,kNN,Naive Bayes,Adaboost,EM,SVM),而其中的Adaboost算法尤为出名,因为它极少出现过拟合现象,而且训练非常简单,速度快。(当然,SVM更出名,效果更好,所以SVM一直统治江湖,直到近年来,深度学习的发展,这种格局才被打破)。

    之前也看过一些网友(学者)的博客(文章),却总是云里雾雨,理解不深。上次参加周志华教授做的精彩报告《AdaBoost到LDM》后,就想深入地学习一下该算法。

    希望多挤时间,把EM,SVM等一些经典的算法(尤其是可视化过程)纪录下来,激励自己。

    初次在CSDN上写东西。如有错误,欢迎指正;如感兴趣,欢迎留言。


原理

Adaboost算法的可视化训练过程

可视化

                                                      训练过程

Adaboost算法的可视化训练过程

具体细节


第 1 次迭代

Adaboost算法的可视化训练过程

注:第一幅图,表示权重之和;

第二幅图也就是H(x),

正样本落入红色区域表示正确分类,落入蓝色区域表示错误分类,

负样本落入蓝色区域表示正确分类,落入红色区域表示错误分类,

第三幅图:分类结果。



第 2 次迭代

Adaboost算法的可视化训练过程

第 3次迭代

Adaboost算法的可视化训练过程

第 19次迭代

Adaboost算法的可视化训练过程

第 20 次迭代

Adaboost算法的可视化训练过程

第 21 次迭代

Adaboost算法的可视化训练过程


测试结果


                                       Adaboost算法的可视化训练过程

小总结

通过多个(线性)分类器的集成,组成强分类器,然后对非线性问题进行分类。

参考文献

1.Schapire, R.E.: Explaining AdaBoost.

2.Schapire, R.E., Freund, Y.: Boosting: Foundations and Algorithms. MIT Press (2012).