shine_hyun shine_hyun

Optimization Ensemble Optimizer Regularization Optimization (최적화) 모델을 학습시킬 때, 이 모델이 잘 동작하는가?를 알기위한 몇몇의 개념들 Generalization Unseen data (test data)에서 얼마나 동작하는가 Underfitting vs overfitting Underfitting : 모델이 너무 간단하기 때문에 학습 오류가 줄어들지 않는 현상 Overfitting : 모델이 실제 분포보다 학습 샘플들 분포에 더 근접하게 학습되는 현상 Cross validation 모델의 generalization 을 높이기 위한 방법중 하나. 주로 데이터 셋이 적을때 오버피팅이 나지 않도록 사용하는 경우가 많다. 딥러닝에서는 CV를 통해 최적의 ..

. 딥러닝, 머신러닝을 공부하다보면 '앙상블'이라는 단어가 많이 나온다. 앙상블은 인간의 집단 지성처럼 1개의 모델이 아닌, 여러 모델(여기서 모델이란 weight가 다른 같은 아키텍쳐도 다른 모델이라 생각한다)을 합쳐서 더 좋은 결과를 얻는것이다. 이러한 앙상블에 대표적인 3개의 기법이 있다. 배깅 (bagging) 배깅은 데이터의 일부를 복원추출해서 여러 모델에서 학습시킨 결과를 합쳐서 좋은 결과를 얻는다. (추출된 샘플 데이터 그룹을 bootstrap이라한다.) 대표적인 예로는 Random forest 기법이 있다. 부스팅 (Boosting) 부스팅은 weak한 모델을 여러개 이용하여 좋은 결과를 얻는 방식이다. 여기서, weak한 모델이란 성능이 별로 좋지 않은 모델을 의미한다. 그렇다면, 어떻게..