Triplet loss (Weinberger et al. 2006) operates on a triplet of vectors whose labels follow 𝑦_𝑖=𝑦_𝑗 and 𝑦_𝑖≠𝑦_𝑘. That is to say two of the three (𝐳_𝐢 and 𝐳_𝐣) shared the same label and a third vector 𝐳_𝐤 has a different label. In triplet learning literatures, they are termed anchor (z_i), positive (z_j), and negative (z_k), respectively. where 𝑚 again is a margin parameter that requires the delta distances between anchor-positive and anchor-negative to be larger than 𝑚. A triplet may have the following three scenarios before any training.*

출처

수집시간

2021/08/14 08:29

연결완료

1 more property

이것을 이해하기 앞서, Max margin contrastive loss (Hadsell et al. 2006) takes a pair of embedding vectors z_i and z_j as inputs. It essentially equates the Euclidean distance* between them if they have the same label (y_i=y_j) and is otherwise equivalent to hinge loss, It has a margin parameter m > 0 to impose a lower bound on the distance : label 이 같을 때, 다를 때 나눠서 각각에 거리를 loss 에 반영. 을 이해하면 편하다.

그리고 m 의 존재를 이해하기 위해서는 아래 두 상황을 생각해보면 편하다.

1.

 m=0 이라고 치고  label y_i 와 y_j 가 같고, y_i 와 y_k 가 멀리 떨어진 상황

2.

 m=0 이라고 치고  label y_i 와 y_j 가 같고, y_i 와 y_k 도 같은 상황

m 이 없다면 두 결과는 동일하다. 하지만 확실한 것은 우리가 바라는 상황이 2보다는 1에 가깝다는 사실이다.

*내용을 바탕으로 생각해보면 우리는 미리 알고 있어야 하는 것이 바로 m 이다. 이것을 미리 알아야, 적절한 loss 를 설계할 수 있는 것이다. 데이터셋의 특성을 파악하면서, 적절한 m 을 찾아내는 다음과 같은 작업을 Triplet mining 이라고 한다. easy: triplets with a loss of 0 because the negative is already more than a margin away from the anchor than the positive 인 상황이라면 당연히 변화하는 것이 없을것이다. the FaceNet (Schroff et al. 2015) paper. Schroff et al. argued that triplet mining is crucial for model performance and convergence. They also found that the hardest triplets led to local minima early on in training, specifically resulted in collapsed models, whereas semi-hard triplets yields more stable results and faster convergence. 이므로 hard: triplets where the negative is closer to the anchor than the positive 는 지양해야 한다고 밝혀져 있고, semi-hard: triplets where the negative lies in the margin 인 상황에서 시작해야 한다고 한다.