Multi-class N-pair loss (Sohn 2016) is a generalization of triplet loss* allowing joint comparisionjoint comparison among more than one negative samples. When applied on a pair of positive samples 𝐳_𝐢 and 𝐳_𝐣 (𝑦_𝑖=𝑦_𝑗), where z_i z_j is the inner product, which is equivalent to cosine similarity when both vectors have unit norm.

출처

수집시간

2021/08/14 10:21

연결완료

1 more property

*Triplet loss (Weinberger et al. 2006) operates on a triplet of vectors whose labels follow 𝑦_𝑖=𝑦_𝑗 and 𝑦_𝑖≠𝑦_𝑘. That is to say two of the three (𝐳_𝐢 and 𝐳_𝐣) shared the same label and a third vector 𝐳_𝐤 has a different label. In triplet learning literatures, they are termed anchor (z_i), positive (z_j), and negative (z_k), respectively. where 𝑚 again is a margin parameter that requires the delta distances between anchor-positive and anchor-negative to be larger than 𝑚. A triplet may have the following three scenarios before any training.* 이 내용을 이해하고 오면 이해가 굉장히 쉬워진다.

위 식에서 triplet loss 의 흔적을 찾는다고 생각해 보자. z_i 는 achor 을, z_j 는 positive sample 을 대변하는 친구, z_k 는 negative sample 을 대변하는 친구이다. negative sample 과 anchor 내적값의 차를 통해 loss 를 계산한다. 이때 여기서 N 이 아니고 2N 인 이유는, N 의 단위는 pair 이기 때문이다. (참고 : Encoder 및 projection head는 batch 단위로 학습하게 되는데, 만약 N의 batch size를 이용하게 된다면 각각 data augmentation을 거쳐서 2N개의 sample을 얻을 수 있습니다. 이렇게 되면 각 sample 별로 1쌍의 positive pair와 2N-2쌍의 negative pair를 구성할 수 있게 됩니다. 논문에서는 positive pair 간의 similarity는 높이고, negative pair 간의 similarity는 최소화하는 형태의 loss function을 제안하여 학습에 활용하였습니다. (질문 넣음. 2N-2쌍이 아니라 N-1 쌍 아니냐고 → 안녕하세요. 1개의 query sample에 대해, positive pair를 이루는 1개의 sample을 제외한 나머지 2n-2 개의 sample들과 각각 negative pair를 구성할 수 있습니다. n개의 이미지 중 query sample이 되는 1개의 이미지를 제외한 n-1 개의 다른 이미지들이 augmentation을 거쳐서 2n-2개의 sample이 되고, 이것들과 모두 negative pair를 이룬다고 이해하시면 될 것 같습니다.)) a 개의 데이터를 2번씩 augmentation 시키면, 2a 개의 데이터가 나오는데, 각 영상(anchor)의 입장 에서는 1개의 positive sample (1 개의 positive pair), 2a-2 개의 negative sample 인데 그 "각각"에 대해서 negative pair 로 쓸 수 있으므로 2a 개의 pair 라는 것이다. positive-negative 가 10쌍이면 데이터의 수는 20개가 된다. 하나의 anchor 에 대해서 나머지 18 개로 negative pair 을 만들 수 있으니 얼마나 좋은가.

triplet loss 와 다르게, loss 를 구하는 데 z_k 를 지정해 줄 필요가 없는데, 어떤 z_i, z_j 가 input 으로 사용되든 모든 neagtive z_k 에 대해서 전부 연산을 거치기 때문이다.

Triplet loss (left) and its extension (N+1)-triplet loss (right) (from Sohn 2016)

이해하고 보면 이것은 굉장히 잘 그려진 그림이라는 것을 알 수 있다. 어떤 input x 를 3개 넣었다고 생각해 보자. 곡선 화살표는 모델의 optimization 이전과 이후의 변화를 나타낸다. 이 그림이 보여주고 싶은 것은, 그냥 위 식은 triplet loss 의 일반화라는 점이다.

Default view

그림 설명

input

type

neural network 의 output

위 그림에서

Open

anchor

f(v1)

Open

negative

f(v2)