机器学习:集成学习(集成学习思想、scikit-learn 中的集成分类器)

时间:2024-03-07 22:54:35

一、集成学习的思想

  • 集成学习的思路:一个问题(如分类问题),让多种算法参与预测(如下图中的算法都可以解决分类问题),在多个预测结果中,选择出现最多的预测类别做为该样本的最终预测类别;

 

  • 生活中的集成思维:
  1. 选择电影:10 个人中,如果有8个人觉得这个电影值得看,那么很多人就会跟进这个现象选择看这部电影;

 

 

二、scikit-learn 中的集成分类器

  • scikit-learn 中封装的集成分类器:VotingClassifier

 1)模拟集成学习操作

  • 模拟数据集

    import numpy as np
    import matplotlib.pyplot as plt
    from sklearn import datasets
    
    # n_samples=500:表示生成 500 个样本;默认自动生成 100 个样本;
    X, y = datasets.make_moons(n_samples=500, noise=0.3, random_state=42)
    
    from sklearn.model_selection import train_test_split
    X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)
  1. datasets.make_moons(n_samples=500):表示生成 500 个样本;默认自动生成 100 个样本;

 

  • 使用逻辑回归算法分类器

    from sklearn.linear_model import LogisticRegression
    
    log_clf = LogisticRegression()
    log_clf.fit(X_train, y_train)
    log_clf.score(X_test, y_test)
    # 准确率:0.864

     

  • 使用 SVM 算法分类器

    from sklearn.svm import SVC
    
    svm_clf = SVC()
    svm_clf.fit(X_train, y_train)
    svm_clf.score(X_test, y_test)
    # 准确率:0.888

     

  • 使用决策树算法分类器

    from sklearn.tree import DecisionTreeClassifier
    
    dt_clf = DecisionTreeClassifier()
    dt_clf.fit(X_train, y_train)
    dt_clf.score(X_test, y_test)
    # 准确率:0.84

     

  • 对各个算法预测结果投票
    y_predict1 = log_clf.predict(X_test)
    y_predict2 = svm_clf.predict(X_test)
    y_predict3 = dt_clf.predict(X_test)
    
    y_predict = np.array((y_predict1 + y_predict2 + y_predict3) >= 2, dtype=\'int\')
  • 投票方式:
  1. (y_predict1 + y_predict2 + y_predict3) >= 2
  2. 三种算法的预测结果中,只有当 2 个或 3 个的预测结果为 1 时,最终的预测结果才为 1;

 

  • 查看投票结果的准确率
    from sklearn.metrics import accuracy_score
    
    accuracy_score(y_test, y_predict)
    # 准确率:0.896

     

  • 采用集成学习思路得到的准确率比其它 3 中算法得到的准确率高;

 

 

二、scikit-learn 中的集成分类器

 1)代码

  • from sklearn.ensemble import VotingClassifier
    # 集成分类器 VotingClassifier 的参数:
        # 1)estimators=[]:传入需要使用的算法,放在列表中,使用方式类似管道 Pipeline;
        # 2)voting=\'hard\':表示选择最终预测结果的方式,以出现最多的分类结果作为最终的预测结果;
    # 正常情况下,需要对所选择的算法进行调参;
    voting_clf = VotingClassifier(estimators=[
        (\'log_clf\', LogisticRegression()),
        (\'svm_clf\', SVC()),
        (\'dt_clf\', DecisionTreeClassifier())
    ], voting=\'hard\')
    
    voting_clf.fit(X_train, y_train)
    voting_clf.score(X_test, y_test)
    # 准确率:0.896

     

  • 注意
  1. 使用方式如以上红色代码;
  2. 参数 estimators=[ ]:传入需要使用的算法,放在列表中,使用方式类似管道 Pipeline;
  3. 参数 voting=\'hard\':表示选择最终预测结果的方式,以出现最多的分类结果作为最终的预测结果;
  4. 正常情况下,需要对所选择的算法进行调参;