분류성능평가지표 총 정리

혼동행렬 (confused matrix)

혼동행렬(confusion matrix)은 모델의 분류 성능을 평가할 때 사용되는 지표이다.

관련 자료마다 예측, 실제, T, F 위치가 다 다르기 때문에 주의해야 한다.

 

이번 포스팅의 기준

TN: 예측 X, 실제 X	FP (1종 오류): 예측은 O, 실제론 X
FN (2종 오류): 예측은 X, 실제 O	TP 예측 O, 실제 O

 

한눈에 보기 가장 잘 정리된 이미지

이미지 후출처_https://velog.io/@hajeongjj/Eval-Metrics

정확한 원 출처를 찾지 못했습니다. 문제가 된다면 알려주세요

 

좀 더 쉽게 이해하기

1종 오류와 2종 오류 예시

1종 오류

실제는 임신이 아닌데(0),  임신(1)로 예측

스팸메일이 아닌데 스팸메일로 예측

무고한 피고인에게 유죄를 선고

 

2종 오류

실제는 임신인데(1), 임신이 아닌 것(0)으로 예측

암인데 암이 아닌 것으로 예측

화재가 났는데 화재가 아니라고 예측

 

분류성능평가지표

Accuracy(정확도)

전체 데이터에서 모델이 맞게 판단한 비율

전체 건강검진 대상자 중 암환자 비율 등 데이터 불균형 시, 모델 평가 지표로서 활용하기 어려움

 

Precision(정밀도)

정밀도는 True라고 분류한 것들 중에서 실제로 True인 것의 비율

모델의 예측값이 얼마나 정확하게 예측됐는가를 나타내는 지표

Recall(재현도) ==  Sensitivity

실제로 True인 것 중 True로 예측된 것의 비율

실제값 중에서 모델이 검출한 실제값의 비율

내용참고_https://truman.tistory.com/179

 

Specificity(특이도)

재현율의 반대 개념, 실제 False일 때 예측도 False으로 한 비율

 

Precision(정밀도)과 Recall(재현도) 자세히 알아보기

https://ko.wikipedia.org/wiki/정밀도와_재현율

- Precision 이 낮다 -> 참이 아닌데도 참이라고 한 것이 많다.

- Recall 이 낮다. -> 참인데 못 찾은 것이 많다.

 

F1 score

정밀도와 민감도의 조화평균

 

 

+) 내용 추가하기

AUC

ROC curve

임계값(threshold)

Precision-Recall Tradeoff

 

---

내용출처_[오늘코드] 멋쟁이사자처럼 AI스쿨 7기 강의자료