Metrics

IoU & Dice

IoU

IoU는 Intersection over Union의 약자로 보통 두 가지 물체의 위치(Bounding Box)가 얼마나 일치하는지를 수학적으로 나타내는 지표이다. 객체 인식같은 모델을 사용했을 때 실제 물체의 위치와 예측된 물체의 위치를 평가방법으로 사용할 수 있다.

Mask도 일종의 region임을 생각했을 때 segmentation 문제에서도 ground truth와 prediction region 사이의 IoU를 계산할 수 있다.

predicted segmentation map(= A)과 ground truth(= B)의 교집합(intersection)을 합집합(= union)으로 나누어주어 구한다.

IoU = J(A,B) = \frac{A\cap B}{A\cup B}

Dice Score = F1 Score

Dice score는 IoU와 같이 두 개의 영역 A, B가 얼마나 겹쳐지는 지를 나타내는 지표이다.

predicted segmentation map(= A)과 ground truth(= B)의 교집합(= intersection)에 2배한 값을 두 영역의 합(A + B)로 나누어 구한다.

Dice = \frac{2*|A\cap B|}{|A|+|B|} = \frac{2*TP}{(TP+FP)+(TP+FN)}

Dice 공식이 IoU와 다른 점은 두 영역의 조화평균을 구한다는 것이다.

조화평균이란 평균을 구하는 각 요소의 역수의 산술평균을 구하고, 그 값을 다시 역수로 변환하는 것인데, 해당 요소가 전체 데이터에서 차지하는 비율을 반영한 평균을 취하고 싶을 때 사용한다.

조화평균을 구할 때 어떤 값이 유난히 작거나 크더라도 전체적인 평균값에는 비교적 적은 영향을 미친다.

HarmonicMean = \frac{1}{\frac{\frac{1}{a}+\frac{1}{b}}{2}} = \frac{2ab}{a+b}

iou 메트릭은 f1 score 보다 나쁜 분류의 단일 인스턴스가 나쁘다는 경우에도 정량적으로 처벌하는 경향이 있다. L2가 L1보다 더 큰 실수를 처벌할 수 있는 방법과 유사하게, Iou는 F1 score에 상대적인 오류에 “제곱”영향을 미치는 경향이 있다.

따라서 F1 score는 평균 성능에 가까운 것을 측정하는 경향이 있고 Iou는 최악의 경우의 값에 가까운것을 측정한다.

예를들면 대부분의 추론이 B보다 A가 더 좋다고 하지만 그들 중 일부는 A분류기를 사용하면 더 안좋다고 한다. F1 score는 A를 말하고 Iou 메트릭은 B를 선호하는 경우가 있을 수 있다.

mAP(Mean Average Precision)

mAP는 Fast R-CNN, YOLO, Mask R-CNN 등 여러 object detection 모델들의 평가 지표로써 활용된다.

mAP는 precision, recall 과 이것을 계산한 AP(Average precision)들의 평균값이며, 0~1 사이의 값에 대해 계산된다.

mAP를 이해하기 위해서는 Confusion Matrix, Precision, Recall, IoU에 대해 알아야 한다.

Confusion Matrix (혼동 행렬)

•

True Positive (TP) : 옳은 검출

•

True Negative (TN) : 검출되지 말아야할 것이 검출되지 않음

•

False Positive (FP) : 틀린 검출 (Type 1 Error)

•

False Negative (FN) : 검출되어야 할 것이 검출되지 않음 (Type 2 Error)

Precision(정밀도)와 Recall(재현율)

Precision은 정밀도를 의미하며, 모든 검출 결과 중 옳게 검출한 비율을 의미한다.

Precision = \frac{TP}{TP+FP} = \frac{TP}{all\space detections}

ex) 알고리즘이 5개를 검출해냈는데(실제 몇 개의 물체가 검출되어야 하는지와 상관없이) 그 중 4개가 옳게 검출해낸 것이라면 Precision은 4/5 = 0.8이다.

Recall은 재현율을 의미하며, 마땅히 검출되어야하는 물체들 중에서 제대로 검출한 비율을 의미한다.

(검출율이라고도 한다.)

Recall = \frac{TP}{TP+FN} = \frac{TP}{all\space ground\space truths}

ex) 라벨이 붙어있는 물체(즉, 마땅히 검출되어야 할 물체)가 10개인데 그 중 4개가 옳게 검출되었다면 recall은 4/10 = 0.4가 된다.

Precision과 Recall은 항상 0과 1사이의 값으로 나오게 되는데, 정확도와 검출율은 서로 반비례 관계를 가진다. 정확도가 높으면 검출율은 낮아지고, 정확도가 낮아지면 검출율은 올라간다. 따라서 정확도와 검출율의 성능 변화 전체를 확인해야 한다.

그렇다면 물체를 검출했을 때 옳게 검출되었다와 옳게 검출되지 않았다를 구분해주는 기준, 즉 TP(옳은 검출)와 FP(틀린 검출)를 결정해주는 기준은 무엇일까? 그 기준이 바로 IoU이다.

IoU & Dice

→ IoU를 통해 나온 값이 0.5보다 작으면 FP 라고 하고 높으면 TP라고 한다.

Precision-Recall 곡선

Precision-recall 곡선(PR 곡선)은 물체를 검출하는 알고리즘의 성능을 평가하는 방법이다.

Confidence레벨에 대한 thresold값의 변화에 따라 precision과 recall값들도 달라진다. Confidence는 검출한 것에 대해 알고리즘이 얼마나 정확하다고 생각하는지 알려주는 값이다.

ex) Confidence 레벨이 0.999라면 → 알고리즘 曰 “내 생각에 이 검출은 거의 99.9% 정확해.”

confidence레벨이 높다고 해서 무조건 정확한 것은 아니다. 알고리즘 스스로 그런 느낌 혹은 확신을 가지고 있는 것이다. 따라서 알고리즘의 사용자는 보통 confidence 레벨에 대해 threshold 값을 부여한다. threshold값이 0.4라면 confidence레벨로 0.1, 0.2, 0.3을 갖는 검출은 무시하는 것이다.

threshold를 10%미만 지정하고 15개의 번호판 이미지에서 총 10개의 이미지가 검출되었다고 가정한다음 그 결과값을 Confidences에 대해 내림차순으로 정렬했다면 아래의 표와 같이 정렬될 것이다. 만약 threshold를 90%으로 설정하였으면 맨위에 값인 95%만 검출된 것으로 보아서 precision은 1이고 recall은 0.067이 될 것이다.

위에 설명했던것과 마찬가지로 precision은 TP / TP+FP이고 recall은 TP / TP+FN이다.

위에 결과를 그래프로 나타낸 것이 바로 PR곡선이다. X축은 recall(재현율)을 의미하고 Y축은 precision(정확도)을 의미한다.

Average Precision(AP)

Precision-Recall 그래프는 성능을 전반적으로 파악하기에는 좋으나 서로 다른 두 알고리즘의 성능을 정량적으로 비교하기에는 어려운 점이 있다. 그래서 나온 것이 AP이다. AP는 인식 알고리즘의 성능을 하나의 값으로 표현한 것이다. 이 값이 높으면 성능이 좋은것이다.

계산전에는 pr그래프가 그려진 파란색 선들을 빨간색 선들처럼 단조적으로 감소하는 그래프로 변경해준다. 예를 들어 recall이 0.33일때 1하고 0.83의 값을 가지고 있는데 그다음 recall의 값이 0.4일떄 0.86의 값을 가진다. 이러한 경우에 recall이 0.33일때의 값인 0.83을 0.86으로 바꾼 후 AP그래프를 만든다. AP그래프가 다 그려젔으면 이제 그래프 아랫면적에 있는 사격형들의 값을 계산해준다.

위 식 같은 경우에는 1 * 0.33 + 0.86 * (0.4-0.3)+ 0.77 * (0.46-0.4) = 0.4364가 된다.

만약 클래스가 여러개인 경우에는 각각 클래스당 AP를 구한 다음에 구한 AP를 다 더한 후 클래스의 개수로 나누어줌으로써 평가를한다. 이것을 mAP라 부른다.

mAP는 3d Segmentation에 적합한 지표가 아니다. 그래서 mAP대신 iou들의 평균 지표인 miou를 사용한다