[머신러닝] 앙상블(Ensemble) 기법_부스팅(Boosting)_Adaboost

Adaptive Boost Ensemble(Adaboost) 이란?

1) Adaboost알고리즘은 예측 성능이 조금 낮은 weak classifier를 다량 구축 및 조합하여 가중치 수정을 통해 좀 더 나은 성능을 발휘하는 하나의 strong classifier를 합성하는 방법

2) Boosting: 약한 분류기 여려 개로 강한 분류기 하나를 만드는 방법

3) Adaboost: Adaptive + Boosting

• a_m=약한 분류기의 가중치

• G_m (x)=약한 분류기

• M: 반복횟수(iteration)

AdaBoost Hyperparameter

1) Explore Number of Trees: AdaBoostClassifier함수에서 ’n_estimators’인수로 tree의 수 설정(기본값: 50)

2) Explore Weak Learner: Decision tree의 depth를 tuning하여, weak learner의 성능을 향상, DecisionTreeClassifier 함수의 ‘max_depth’인수로 decision tree의 depth 설정(기본값: 1)

3) Explore Learning rate:
   - Learning rate: 최적화 알고리즘에서 loss function을 최소화하는 방향으로 이동하면서 각 iteration마다 step size(보폭)을 결정하는 튜닝 파라미터
   -AdaBoostClassifier  함수의 ‘learning_rate’인수로 learning rate 설정(보통 0~1사이의 값 사용)

4) Explore Alternate Algorithm: Decision tree 대신 logistic regression weak learner사용해 모델 생성, Scikit-learn library의 ‘GridSearchCV’ class 사용해 트리 수와 learning rate grid search