counter create hit

[용어] Precision vs Recall (정밀도 vs 재현율)

Precision vs Recall

 

Observation (actual class)

Condition positive

Condition negative

Test outcome positive

TP (True Positive)
Correct hit

FP (False Positive)
False alarm (Type I error)

Test outcome negative

FN (False Negative)
Missing result (Type II error)

TN (True Negative)
Correct rejection

Precision 과 recall [recall ratio]의 사전적인 의미는 정밀도와 재현율 이다. 전산처리된 결과를 실제 대상과 비교하여, 해당 전산 처리 방식이 얼마나 신뢰할 수 있는지를 파악하기 위해 사용한다. 예를 들면, 백신 소프트웨어의 실제 바이러스 잡는 방식을 얼마나 신뢰할 수 있는지를 증명할 때 사용할 수 있다.
Precision과 recall을 이해하기 위해서는, 우선 위의 표를 이해하여야 한다. 위의 표는 전산 처리 결과와 실제 값이 일치하는 지 여부에 따라 분류한 것이다. 위의 백신에 비유하여 다시 나타내자면 아래와 같다.

 

실제 바이러스 여부

바이러스

바이러스 아님

바이러스로 진단

TP (True Positive)
제대로 잡은 바이러스

FP (False Positive)
오진 (바이러스로 잡은 정상 파일)

바이러스로 진단하지 않음

FN (False Negative)
Missing result (Type II error)
미탐 (잡지 못한 바이러스)

TN (True Negative)
Correct rejection
실제 정상 파일

이제, precision 과 recall을 설명하기 위해, 위의 개념을 집합으로 표현하였다.

위의 다이어그램을 기초로 precision 과 recall은 다음과 같다.

결론적으로, precision 을 탐지한 바이러스 중 실제로 바이러스인 개수에 대한 비율이고, recall은 실제 바이러스 중에 백신이 실제로 탐지한 바이러스 개수에 대한 비율이다.

References

[1] jzcafe, “Full of aroma and bouquet..: Precision and Recall (정확도와 재현율),” 15 February 2011. [Online]. Available: http://jzcafe.blogspot.kr/2011/02/precision-and-recall.html.
[2] Wikipedia, “Precision and recall – Wikipedia, the free encyclopedia,” [Online]. Available: http://en.wikipedia.org/wiki/Precision_and_recall. [Accessed 31 January 2015].
[3] Cardia, “Cardia’s Law :: [IR] Precision and Recall,” 03 September 2013. [Online]. Available: http://cardia.tistory.com/59.
[4] 월간전자기술 편집위원회, “정밀도 [precision],” in 전자용어사전, 성안당, 1995.
[5] 전산용어사전 편찬위원회, “재현율 [recall factor, recall ratio],” in 컴퓨터인터넷IT용어대사전, 일진사, 2011.

Leave a Reply

Your email address will not be published. Required fields are marked *

*