딥러닝/Vision

[CVPR22 리뷰] Unsupervised Domain Generalization by Learning a Bridge Across Domains

dnap512 2022. 7. 15. 10:25

#unsupervised domain generalization, #domain transfer

기본적으로 MOCOv2 방법을 따른다. 다른점은 같은 이미지에 augmentation을 적용하여 얻은 생성샘플 (a, b)2개를 BrAD domain으로 transfer 시킨다. 그리고 이에 대해 contrastive learning을 수행한다. Queue에는 도메인마다 분류하여 피쳐를 저장하고, negative key는 현재 샘플과 동일한 도메인 피쳐를 샘플링하여 학습한다.

학습은 3개의 loss로 구성된다.

1. BrAD 모델 loss: 정답은 휴리스틱한 방법(canny edge detector, or HED 모델)을 사용한다.

2. Domain adversarial loss: BrAD 도메인으로 transfer한 샘플에 대해 원 도메인을 잘 맞추지 못하도록 학습시킨다.

3. Contrastive loss: (원본 도메인 샘플a 특징, positive: BrAD 도메인 샘플b 특징, negative: 큐에서 샘플링)

 

 

실험이 꽤 인상적이다. 기존 SSL 방법에 비해 적은 데이터로 학습이 성능이 잘 나오는 방법으로 보인다.

아쉬운 점은 모든 데이터를 썼을때 성능을 report하지 않은 것이다. 모든 데이터를 썼을때 최종 성능도 올라간다면 방법론의 의미가 조금 더 있지 않을까 싶다.