[논문리뷰]Unsupervised Out-of-Distribution Detection by Maximum Classifier Discrepancy

1. Introduction

기존 OOD 방법론 논문 :

- ID/ OOD 라벨링이 되어있는 데이터로 모델 학습

- ID 데이터에 대한 clf 모델 학습 및 OOD 탐지.

 

본 논문 : 

- ID데이터에 대한 clf 모델 생성 --> ID/OOD데이터에 대한 라벨링 없이 clf 모델을 unsupervised learn을 통해 finetuning

 

2. 모델

 

3. 학습

• STEP A
  • 데이터를 통한 CLF 모델 FCL에 2개의 Linear Layer(Decision boundary)를 형성
    
    • Loss Function : Cross Entropy
• STEP B
  • ID/OOD를 혼합한 라벨링 되지않은 데이터를 이용해 2개의 Linear Layer의 거리차이가 크도록 모델 학습 및 클래스 라벨링되어있는 ID 데이터로 모델 학습
    • Loss Function : Descrepancy loss

 

4. 실험

• 데이터셋
  • ID : CIFAR10/ CIFAR100
  • OOD : LSUN/ iSUN/ TIN
• Model
  • DensenetBC
  • WRN28-10
• Hyper parmeters
  • (Step A/B) learning rate : 0.1
  • (Step A/B) batch size : 64
  • (Step A) epoch : 200/300
  • (step B) epoch : 10
• 결과

Baseline으로 삼은 ODIN(Out-of-Distribution Detector for Neural Networks.2018) 과 ELOC(Out-of- distribution detection using an ensemble of self supervised leave-out classifiers.2018) 보다 월등히 좋은 성능을 보임

 

5. Ablation Study

• StepB에서 라벨링되지 않은 데이터의 OOD와 ID의 비율을 변화시킴.

예상대로 OOD 샘플이 적을수록 성능은 좋지 않다. 하지만 논문에서도 최악의 세팅에서도 baseline 모델들보다 좋은 성능이라고 주장.

 

 

5. 느낀점

• ID 데이터는 CLF모델에 의해 명확히 cluster되는 반면, OOD는 그 중간에 애매한 곳에 위치해 있다는 아이디어
• Unsupervised learning이라는 이유로 StepB에서 train데이터와 test데이터를 동일하게 이용하여 실험 진행. (너무 찝찝하다. 과연..? / 다른 unsupervised learning 실험 세팅도 이렇게 진행하는지 확인해볼 필요가 있다)
• 아무리 unlabeled된 OOD라해도 OOD를 사용하는게 아닌가.. 과연 OOD의 매우 일부만을 가지고 train을 진행한 뒤, 색다른 OOD데이터를 넣었을때도 얼만큼의 모델 성능이 유지가 될 것인가. 

 

 

 

 

뭔가 동시다발적으로 하는 것들이 있다보니, 어떤날은 새로운 지식을 깊게 파기보다 얕게 훑고 문제만 해결하기 급급할 때도 있다. 오늘도 무언가 계속 했지만, 새로운 지식을 진득하게 앉아서 습득하진 못했다. 이런날은 TIL을 어떻게해야하나.. 고민하다가 틈틈히 읽고 리뷰하는 논문들을 정리해서 올려보기로! 지금 논문은 내가 코드를 재현중인 논문으로 정말 한 100번은 이제 본것 같다. 이렇게 좀 쓰고나니까 조금 더 알아야하는 개념들이 보이는 느낌 🐯 아무튼 아마도 내일은 휴가다. 호호