[CVPR22 리뷰] Failure Modes of Domain Generalization Algorithms

Contributions

• DG에서의 error를 모델의 단계별로 분해하여 분석
  1. Training set underfitting: 규제 텀이 너무 강력해서 본래 목적에 대해 모델이 언더피팅 되었는가?
  2. Test set inseparability: feature extractor가 트레이닝셋에 너무 오버피팅 되어 테스트셋에서 의미있는 특징을 추출하는가?
  3. Training-test misalignment: 트레이닝셋과 테스트셋 특징에 대해 classifier가 분류를 할 수 있도록 특징을 잘 추출했는가?
  4. Classifier non-invariance: classifier의 트레이닝셋과 테스트셋 특징에 대한 분류 성능이 모두 좋은가?

ORAL paper인데 실험이 생각보다 강력하지 않네요.  2개의 데이터셋에 대해서만 실험을 수행했습니다. 

 

저자는 위에 설명된 4가지 에러를 기준으로 실험을 수행했습니다. 그리고 모델에서 사용하던 기존 classfier와 동일한 구조의  domain classifier를 사용하여 domain distinguishability를 측정합니다.

기존에 존재하던 알고리즘 (HSIC (이전에 저자들이 고안함), CORAL, DANN) 에 대해 하이퍼파라미터 서치와 모델 셀렉션을 다시 수행한 정도입니다.

제 생각엔 domainbed에 있는 여러가지 데이터셋에 대해서도 실험을 돌려서 검증을 해봐야하지 않나 싶은데.. 좀 아쉽네요.