[불량 판정] 분류 모델의 성능 평가 -혼동 행렬(Confusion Matrix)

1. 혼동 행렬

- 분류 모델의 성능을 평가하기 위해 예측 결과와 실제 레이블을 비교해 정리한 표

- 모델이 얼마나 잘 예측했는지, 어떤 유형의 오류가 발생햇는지 파악할 수 있게 도와준다.

1) 구성요소

- Positive : 관심있는 사건, 대립가설 → 이진분류에서 1(양성, 불량, 이상,,,)

- Negative: 정상, 평소, 귀무가설 

- True: 맞춘거(True를 True로, False를 False로 예측)

- False: 틀린거(True를 False로, False를 True로 예측)

 

2) 1종오류

 - 귀무가설이 맞는데(Actual Negative) 대립가설이 맞다고 함(예측, Predicted Positive)

=> 틀렸으니까 False, Positive로 예측했으니까 => FP

- 위험한 경우: 공정성과 신뢰가 중요한 문제(무고한 사람을 유죄로 판결한 경우)

 

 3) 2종오류

- 대립가설이 맞는데(Actual Positive) 귀무가설이 맞다고 함(예측, Predicted Negative) 

=> 틀렸으니까 False, Negative로 예측했으니까 => FN

- 위험한 경우: (생명과 안전에 직결된 문제)암인데 암이 아니라고 함

* 1종오류와 2종오류의 관계는 트레이드 오프 관계이다

구분		예측 (Predicted Class)
		Positive (1)	Negative ( 0)
실제 Actual Class	Positive (1)	True Positive	False Negative (2종오류, β)	민감도(Sensitivity)=재현율(Recall) (TP/(TP+FN)) 실제로 불량인거중에 불량이라고 잘 예측한 비율
	Negative (0)	False Positive (1종오류, α)	True Negative	특이도(Specificity) (TN/(TN+FP)) 실제로 정상인거중에 정상이라고 잘 예측한 비율
		정밀도 (Precision) (TP/ (TP+FP)) 불량이라고 예측했는데 실제로 불량인 비율		정확도(Accuracy) TP+TN / (TP+TN+FP+FN) 불량을 불량으로, 정상을 정상으로 잘 예측한 비율

 

4) F1-Score

- 정밀도(Precision)와 재현율(Recall)의 조화 평균으로, 불균형 데이터에서 양성 클래스가 중요할때

- 어느 하나가 극단적으로 낮으면 F1-score도 낮아짐, 균형을 강조

5) G-Mean (Geometric Mean)

- 민감도(sensitivity 또는 Recall)와 특이도(Specificity)의 기하 평균

- 양성과 음성 클래스의 모두 균형 평가가 필요할 때

6) ROC-AUC (Receiver Operating Characteristic- Area Under Curve)

- 임계값에 관계없이 모델의 전체적인 분류 성능을 비교할 때 (모든 임계값에서의 성능을 평가)

- x축은 FPR: 1-특이도, y축은 TPR:재현율(Sensitivity 또는 Recall)

* FPR: 실제로 Negative인데 Positive로 잘못 예측한 비율

- ROC 곡선 아래의 면적을 계산하여 모델 성능을 0에서 1사이의 값으로 표현

- AUC가 1에 가까울수록 모델의 분류 성능이 우수