[머신러닝] 앙상블(Ensemble) 기법_부스팅(Boosting)_XGBoost

Extreme Gradient Boosting Algorithm(XGBoost) 이란?

1) XGBoost

• Gradient Boosting에서 한단계 더 나아간 버전

• Gradient Boosting에 비해 더 빠르고 성능이 좋음

• 병렬 학습이 지원됨

2) XGBoost의 장점

• GBM 대비 빠른 수행시간, 과적합 규제(Regularization),

• 분류와 회귀에서 뛰어난 예측 성능 발휘

• Early Stopping(조기종료) 기능이 있음

 

XGBoost Hyperparameter

1) Explore Number of trees

 

2) Explore Tree Depth: XGBClassifier함수에서 max_depth 인수로 tree의 깊이 설정(default:6)

 

3) Explore Learning Rate: XGBClassifier 함수에서 ‘eta’ 인수로 learning rate 설정(default:0.3)

 

4) Explore Sample  Size: XGBClassifier 함수에서 ‘subsample’ 인수로 모델 학습을 위한  sample 수 설정(default:1.0)

 

5) Explore Number  of Features: XGBClassifier 함수에서 ‘colsample_bytree’ 인수로 모델 학습을 위한  feature 수 설정