STUDY/머신러닝 | 딥러닝

분류성능평가지표 총 정리

2022. 11. 24. 17:41

혼동행렬 (confused matrix)

혼동행렬(confusion matrix)은 모델의 분류 성능을 평가할 때 사용되는 지표이다.

관련 자료마다 예측, 실제, T, F 위치가 다 다르기 때문에 주의해야 한다.

 

이번 포스팅의 기준

TN: 예측 X, 실제 X FP (1종 오류): 예측은 O, 실제론 X
FN (2종 오류): 예측은 X, 실제 O TP 예측 O, 실제 O

 

한눈에 보기 가장 잘 정리된 이미지

이미지 후출처_https://velog.io/@hajeongjj/Eval-Metrics

정확한 원 출처를 찾지 못했습니다. 문제가 된다면 알려주세요

 

좀 더 쉽게 이해하기

1종 오류와 2종 오류 예시

1종 오류

실제는 임신이 아닌데(0),  임신(1)로 예측

스팸메일이 아닌데 스팸메일로 예측

무고한 피고인에게 유죄를 선고

 

2종 오류

실제는 임신인데(1), 임신이 아닌 것(0)으로 예측

암인데 암이 아닌 것으로 예측

화재가 났는데 화재가 아니라고 예측

 

분류성능평가지표

Accuracy(정확도)

전체 데이터에서 모델이 맞게 판단한 비율

전체 건강검진 대상자 중 암환자 비율 등 데이터 불균형 시, 모델 평가 지표로서 활용하기 어려움

 

Precision(정밀도)

정밀도는 True라고 분류한 것들 중에서 실제로 True인 것의 비율

모델의 예측값이 얼마나 정확하게 예측됐는가를 나타내는 지표

Recall(재현도) ==  Sensitivity

실제로 True인 것 중 True로 예측된 것의 비율

실제값 중에서 모델이 검출한 실제값의 비율

내용참고_https://truman.tistory.com/179

 

Specificity(특이도)

재현율의 반대 개념, 실제 False일 때 예측도 False으로 한 비율

 

Precision(정밀도)과 Recall(재현도) 자세히 알아보기

https://ko.wikipedia.org/wiki/정밀도와_재현율

- Precision 이 낮다 -> 참이 아닌데도 참이라고 한 것이 많다.

- Recall 이 낮다. -> 참인데 못 찾은 것이 많다.

 

F1 score

정밀도와 민감도의 조화평균

 

 

+) 내용 추가하기

AUC

ROC curve

임계값(threshold)

Precision-Recall Tradeoff

 


내용출처_[오늘코드] 멋쟁이사자처럼 AI스쿨 7기 강의자료

  • 혼동행렬 (confused matrix)
  • 1종 오류와 2종 오류 예시
  • 분류성능평가지표
  •  
'STUDY/머신러닝 | 딥러닝' 카테고리의 다른 글
  • 자연어처리(NLP) 정리(1) BOW, TF-IDF
  • [복습day] 시그모이드 vs 소프트맥스 정리
  • 경사하강법(Gradient Descent) 정리
  • [복습Day] Machine Learning Introduction ~ Classification
둥둥런
둥둥런
대학원생의 UX, 데이터분석, 개발 공부 기록장📁
둥둥런
Done is better than Perfect
둥둥런
전체
오늘
어제

공지사항

  • About me
  • 분류 전체보기
    • TIL
      • 멋사_AI스쿨_TIL
    • 회고
      • 프로젝트 회고
    • STUDY
      • SQL
      • Python
      • Pandas
      • 태블로
      • 통계
      • 머신러닝 | 딥러닝
      • ETC
      • 그로스마케팅 | 광고
      • UX
    • BOOK
    • EVENT

인기 글

블로그 메뉴

  • 태그
  • 관리
hELLO · Designed By 정상우.
둥둥런
분류성능평가지표 총 정리
상단으로

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.