스태킹
-
앙상블 기법 배깅 vs 부스팅 vs 스태킹머신러닝 2021. 1. 15. 22:01
. 딥러닝, 머신러닝을 공부하다보면 '앙상블'이라는 단어가 많이 나온다. 앙상블은 인간의 집단 지성처럼 1개의 모델이 아닌, 여러 모델(여기서 모델이란 weight가 다른 같은 아키텍쳐도 다른 모델이라 생각한다)을 합쳐서 더 좋은 결과를 얻는것이다. 이러한 앙상블에 대표적인 3개의 기법이 있다. 배깅 (bagging) 배깅은 데이터의 일부를 복원추출해서 여러 모델에서 학습시킨 결과를 합쳐서 좋은 결과를 얻는다. (추출된 샘플 데이터 그룹을 bootstrap이라한다.) 대표적인 예로는 Random forest 기법이 있다. 부스팅 (Boosting) 부스팅은 weak한 모델을 여러개 이용하여 좋은 결과를 얻는 방식이다. 여기서, weak한 모델이란 성능이 별로 좋지 않은 모델을 의미한다. 그렇다면, 어떻게..