Deep shoveling

Contributions DG에서의 error를 모델의 단계별로 분해하여 분석 Training set underfitting: 규제 텀이 너무 강력해서 본래 목적에 대해 모델이 언더피팅 되었는가? Test set inseparability: feature extractor가 트레이닝셋에 너무 오버피팅 되어 테스트셋에서 의미있는 특징을 추출하는가? Training-test misalignment: 트레이닝셋과 테스트셋 특징에 대해 classifier가 분류를 할 수 있도록 특징을 잘 추출했는가? Classifier non-invariance: classifier의 트레이닝셋과 테스트셋 특징에 대한 분류 성능이 모두 좋은가? ORAL paper인데 실험이 생각보다 강력하지 않네요. 2개의 데이터셋에 대해서..

본 논문은 CVPR 2022에 oral paper로 accept 되었습니다. (https://arxiv.org/pdf/2106.03721.pdf) For what facebook[1]에서 최근 제안된 DG (domain generalization) 알고리즘들이 일반적인 ERM (empirical risk minimization)[2] 알고리즘과 성능이 크게 차이 나지 않는 점을 지적하였으나 이유는 모름 OOD (out of distribution) generalization 과업 데이터셋들에 대한 알고리즘의 효율성을 제대로 평가하기 위해 distribution shift에 대한 정량화 지표를 제공 Contributions OOD generalization의 데이터셋의 distribution shift 정..