통계/머신러닝 모르는 사람

0. Abstract - 기존의 long-tailed recognition method는 모델의 퍼포먼스를 uniform test class distribution에서 측정하는 것을 가정한다. 이 블로그의 long-tailed learning 카테고리에 있는 논문들 뿐만이 아니라 대부분이 다 그렇게 한다. 그러나 실제 test class distribution은 이러한 가정을 위반할 때가 많고, (데이터가 본질적으로 long-tailed or inversely long-tailed 분포 따르는 경우) 이는 기존 방법들의 real-world application을 실패하게하는 원인이 되곤 한다. - 이에 이 논문의 저자들은 좀 더 실용적인 task setting을 제안한다: Test-agnostic lon..

1. Introduction MAE 등의 masked image modeling (MIM)은 그 단순성과 풍부한 representation을 학습할 수 있는 능력 때문에 기존 self-supervised learning method보다 downstream task에서 좋은 성과를 보였고, 그 덕에 최근 self-supervised learning 분야에서 각광받고 있다. MIM 이전에 self-supervised learning에서 가장 주목받던 contrastive learning과는 달리, MIM은 (reconstruction task를 수행하기 위해) 다른 이미지들과의 관계를 모델링 하기 보다는 인풋 이미지의 local relation 을 학습하는 데에 더 초점을 맞춘다. 그 덕에 MIM은 disc..

[요약] 그동안 발표되었던 long-tailed learning (classification) 이 어떻게 진행되었었는지 논문 별로 간략하게 요약한 것이다. (Self-supervised method 위주) ( 주의 - 개인적인 필요에 의해 작성되는 것이라 상당히 요약되어 있음) ( 나중에 다 따로 정리해 놓는 것이 목표...) Rethinking the value of Labels for Improving Class-imbalanced Learning (NeurIPS 20) [요약] : Dataset이 Imbalance 할 경우 Label의 가치에 대한 논란이 있다. (그래도 있는 게 낫다 vs 차라리 없는 게 낫다) 각 관점에서 기인한 semi-supervised method와 self-supervis..

제목만 봐도 알 수 있듯이 Prototype을 활용한 Contrastive Learning 을 소개하는 논문이다. 그동안의 Contrastive Learning은 InfoNCE를 loss function으로 하고 이를 최소화함으로써 같은 이미지(instance)끼리는 (embedding space에서) 가깝게 위치하도록 하고, 다른 이미지 끼리는 밀어내도록 하는 instance discrimination 기반 방법 위주로 진행되었다. 이 방식은 꽤나 성공적이어서 여러 분야에서 이용되었지만, 데이터의 의미적 구조를 포착하지 못한다는 단점이 있다. 예를 들어 웰시코기와 허스키를 생각해보자. 둘 모두 개의 종류로 의미상 거의 동일하다고도 볼 수 있다. 하지만 기존 instance discrimination 방..