Object Detection에서의 IoU, Precision, Recall 설명

  물체 탐지(Object Detection)에서는 성능 평가 지표로 mAP와 recall이 사용된다. 한 논문에서 제안한 방법이 얼마나 효과적인지 이해하기 위해서는 이 평가 지표가 어떤 의미로 사용되었는지 정확히 알 필요가 있다. 먼저 IoU에 대해서 알아보자.

 

▶ Intersection over Union (IoU)

 

  IoU란 두 바운딩 박스가 겹치는 비율을 의미한다. IoU는 모델을 평가 단계에서 효과적으로 사용된다. 우리가 만든 모델이 탐지한 결과와 실제 정답을 비교할 때, 특정 IoU 이상 겹쳤을 때만 올바른 답(Positive)으로 분류하도록 사용된다. 예를 들어 가장 일반적으로 사용되는 mAP@0.5는 정답과 50% 이상이 겹친다면 정답으로 판정하겠다는 의미이다.

 

  예를 들어 mAP@0.8은 정답과 80% 이상이 겹칠 때만 맞았다고 인정하겠다는 의미이다. 당연히 수치가 높아질수록 매우 정밀한 모델을 요구하는 것이므로 평가 결과는 감소하게 된다.

 

출처: pyimagesearch

 

  또한 Precision과 Recall에 대하여 이해할 필요가 있다.

 

▶ Precision

 

  Precision은 (올바르게 탐지한 수 / 탐지한 수)를 의미한다.

 

▶ Recall

 

  Recall은 (올바르게 탐지한 수 / 실제 물체의 수)를 의미한다.

 

  Recall과 Precision은 반비례로 구성되는 경향이 있다. 우리 모델이 그냥 무작정 이미지 내에 매우 많은 물체가 있다고 판단을 해버리면 Recall은 높게 나오지만, Precision은 매우 낮게 나온다. 반면에 그냥 하나의 물체라도 매우 정확히 잘 찾아낸다면 Precision은 높게 나오지만, Recall은 매우 낮게 나올 수 있다.

 

  예를 들어 이미지 내에 강아지가 20마리 존재한다고 해보자. 이때 우리의 모델이 10마리의 강아지를 검출하고, 5마리는 정확히 맞추었다고 해보자. 그러면 Precision = 5 / 10 = 50%이고, Recall = 5 / 20 = 25%이다.

 

  반대로 이미지 내에 강아지가 10마리 존재한다고 해보자. 이때 우리의 모델이 20마리의 강아지를 검출하고, 7마리는 정확히 맞추었다고 해보자. 그러면 Precision = 7 / 20 = 35%이고, Recall = 7 / 10 = 70%이다.

 

▶ Average Precision

 

  앞서 말했듯이 Precision과 Recall은 반비례적인 관계를 가지기 때문에 Average Precision을 대신 이용할 수 있다. Average Precision은 대략 다음과 같이 생겼다. Precision-Recall 그래프를 단조 감소 그래프 형태로 바꾸어 넓이를 구할 수 있다. 그래서 일반적으로 논문에 가장 많이 등장하는 mAP(Mean Average Precision)이 여기에서 나온 개념이다.

 

출처: innerpeace-wu.github.io