분석모형 평가
혼동행렬 지표 계산, ROC·AUC와 향상도 곡선, 회귀·군집 평가지표, 교차검증 기법을 다룹니다.
노란 밑줄n회 기출에 나온 지점(숫자는 등장 문항 수)✎ 는 덧붙인 필기
출제 비중 — 4과목(결과해석)의 핵심 장. 혼동행렬9회 지표 계산과 ROC8회·AUC, 회귀 지표가 매 회차 나온다.
혼동행렬(Confusion Matrix)
| 예측 Positive | 예측 Negative | |
|---|---|---|
| 실제 Positive | TP (True Positive) | FN (False Negative) |
| 실제 Negative | FP (False Positive) | TN (True Negative) |
이름 읽는 법: 앞 글자(T/F)는 예측이 맞았는가, 뒷 글자(P/N)는 모형이 무엇이라고 예측했는가입니다. 그래서 FN은 "Negative라고 예측했는데 틀림 = 실제는 Positive"입니다.
- FP = 1종 오류 — 헛경보
- FN = 2종 오류 — 놓침
지표 공식과 계산
아래 혼동행렬로 전부 계산해 봅니다. TP = 40, FN = 10, FP = 20, TN = 30(총 100건).
| 지표 | 공식 | 계산 |
|---|---|---|
| 정확도(Accuracy) | (TP + TN) / 전체 | (40 + 30) / 100 = 0.70 |
| 오차비율(Error rate) | (FP + FN) / 전체 = 1 − 정확도 | (20 + 10) / 100 = 0.30 |
| 정밀도16회(Precision) | TP / (TP + FP) | 40 / (40 + 20) ≈ 0.667 |
| 재현율16회 = 민감도 = TPR | TP / (TP + FN) | 40 / (40 + 10) = 0.80 |
| 특이도(Specificity) = TNR | TN / (TN + FP) | 30 / 50 = 0.60 |
| 거짓긍정률(FPR) | FP / (FP + TN) = 1 − 특이도 | 20 / 50 = 0.40 |
| F16회 점수 | 2 × (정밀도 × 재현율) / (정밀도 + 재현율) | ≈ 0.727 |
가장 자주 틀리는 지점 — 정밀도와 재현율의 분모. 분자는 둘 다 TP로 같습니다. 다른 건 분모에 무엇을 더하느냐뿐입니다. 정밀도는 P끼리(TP + FP) = 예측한 것 중에서, 재현율은 실제 Positive 행(TP + FN) = 실제인 것 중에서. 한 문장으로: "정밀도는 세로(예측 열), 재현율은 가로(실제 행)".
민감도와 특이도. 민감도는 실제 Positive를 얼마나 잡아냈나(= 재현율과 완전히 같은 값), 특이도는 실제 Negative를 얼마나 정상으로 봤나입니다. "특이도 = TN / (TN + FN)"은 오답입니다.
F1은 산술평균이 아니라 조화평균입니다. 위 예에서 산술평균은 0.733이지만 F1은 0.727로 더 작습니다. 조화평균은 두 값 중 작은 쪽에 끌려가므로, 한쪽만 높은 모형을 걸러냅니다.
카파(Kappa) 통계량 = (Pr(a) − Pr(e)) / (1 − Pr(e)). 우연히 맞을 확률을 보정한 정확도이며 0 ~ 1 값을 갖고 1에 가까울수록 좋습니다.
불균형 데이터에서 정확도는 무의미합니다. 전부 "정상"이라 찍으면 정확도 99%지만 재현율은 0입니다. 이때는 F1, AUC, 재현율을 봐야 합니다.
ROC 곡선과 AUC
| 축 | 지표 |
|---|---|
| x축 | FPR = 1 − 특이도 |
| y축 | TPR = 민감도 = 재현율 |
분류 임계값(threshold)을 1에서 0으로 낮추며 (FPR, TPR) 점을 이은 곡선입니다. 좌측 상단(0, 1)에 가까울수록 좋은 모형입니다.
AUC5회는 ROC 곡선 아래 면적으로 0.5 ~ 1 사이의 값입니다.
| AUC | 판정 |
|---|---|
| 0.9 ~ 1.0 | excellent (뛰어남) |
| 0.8 ~ 0.9 | good (우수) |
| 0.7 ~ 0.8 | fair (보통) |
| 0.6 ~ 0.7 | poor (불량) |
| 0.5 ~ 0.6 | fail (판별 없음) |
x축은 특이도가 아니라 1 − 특이도입니다. AUC = 0.5는 대각선, 즉 무작위 추측 수준입니다. AUC의 최솟값이 0이라는 선택지도 오답입니다(실무적으로 0.5 미만이면 예측을 뒤집으면 됩니다).
향상도 곡선(Lift Chart)과 이익도표
예측 확률이 높은 순으로 정렬해 10등분(십분위)한 뒤, 각 구간의 반응률을 봅니다.
향상도(Lift) = 해당 구간의 반응률 / 전체 평균 반응률
계산 예. 전체 반응률이 5%인데 상위 10% 집단의 반응률이 25%라면 향상도 = 25% / 5% = 5배
- 랜덤 모델의 향상도는 항상 1이며 그래프에서 수평선으로 나타납니다.
- 좋은 모형일수록 상위 구간의 향상도가 크고, 곡선이 가파르게 감소합니다.
- 이익도표(gain chart) 는 누적 반응 비율을 그린 것으로, 좋은 모형일수록 좌상단으로 볼록합니다.
회귀 모형 평가지표
실제값과 예측값이 아래와 같을 때 전부 계산해 봅니다.
| 실제 y | 예측 ŷ | 오차 (y − ŷ) | 오차² | 절대오차 |
|---|---|---|---|---|
| 10 | 12 | −2 | 4 | 2 |
| 20 | 18 | +2 | 4 | 2 |
| 30 | 33 | −3 | 9 | 3 |
| 40 | 36 | +4 | 16 | 4 |
| 합 33 | 합 11 |
| 지표 | 공식 | 계산 |
|---|---|---|
| SSE | Σ(y − ŷ)² | 33 |
| MSE | SSE / n | 33 / 4 = 8.25 |
| RMSE3회 | √MSE | √8.25 ≈ 2.87 |
| MAE | (절대오차의 합) / n | 11 / 4 = 2.75 |
| MAPE | (오차 / 실제값의 절댓값을 평균) × 100 | (0.2 + 0.1 + 0.1 + 0.1)/4 × 100 = 12.5% |
| 결정계수 R² | 1 − SSE / SST | 1 − 33 / 500 = 0.934 |
(SST = Σ(y − ȳ)², ȳ = 25이므로 225 + 25 + 25 + 225 = 500)
| 관계 | 내용 |
|---|---|
| SST = SSR + SSE | 총변동 = 회귀로 설명된 변동 + 설명 못 한 변동 |
| R² = SSR / SST | 0 ~ 1, 클수록 좋음 |
| 수정된 R² | 변수 수 증가에 페널티. 변수를 늘리면 R²는 무조건 오르지만 수정 R²는 내려갈 수 있음 |
RMSE·MAE·MSE·MAPE는 작을수록 좋고, R²는 클수록 좋습니다. MAE는 이상치에 덜 민감하고, MSE·RMSE는 오차를 제곱하므로 이상치에 크게 반응합니다.
군집 모형 평가
| 지표 | 정의 | 방향 |
|---|---|---|
| 실루엣 계수 | (b − a) / max(a, b) | −1 ~ 1, 1에 가까울수록 좋음 |
| Dunn 지수 | 군집 간 최소거리 / 군집 내 최대거리 | 클수록 좋음 |
| 엘보우(Elbow) | 군집 수에 따른 SSE(군집내 제곱합) 감소가 꺾이는 지점 | 적정 k 선택 |
실루엣 계수가 0에 가까우면 두 군집의 경계에 걸쳐 있다는 뜻이고, 음수면 잘못된 군집에 배정되었다는 뜻입니다. Dunn 지수는 "분자는 밖(멀수록 좋음), 분모는 안(가까울수록 좋음)"으로 기억합니다.
교차검증(Cross Validation)
| 기법 | 방식 | 특징 |
|---|---|---|
| 홀드아웃(Holdout) | 훈련/검증(/평가)으로 한 번 분할 (보통 7:3) | 간단하지만 분할 운에 따라 결과가 흔들림 |
| k-겹 교차검증(k-fold) | k개로 나눠 k − 1개로 학습, 1개로 검증을 k번 반복해 평균 | 가장 널리 쓰임. 모든 데이터가 검증에 한 번씩 쓰임 |
| LOOCV | 관측치 하나만 검증, 나머지 전부 학습 → n번 반복 | k = n인 특수한 k-fold. 데이터가 매우 적을 때, 계산비용 큼 |
| LpOCV | p개를 남기고 학습 | 조합 수가 커서 실무 사용 적음 |
| 부트스트랩(Bootstrap) | 복원추출로 n개를 뽑아 훈련, 안 뽑힌 것으로 검증 | 중복 허용, 소표본에 유리 |
| 층화 k-겹(Stratified) | 각 fold의 클래스 비율을 원본과 동일하게 유지 | 불균형 데이터에 필수 |
부트스트랩에서 한 관측치가 한 번도 뽑히지 않을 확률은 약 36.8%이고, 훈련 데이터에 포함될 확률은 약 63.2% 입니다. 뽑히지 않은 것이 OOB(Out-Of-Bag) 표본이며 검증에 씁니다. 이 숫자는 그대로 출제됩니다.
k-fold에서 k가 커질수록 학습 데이터는 많아져 편향은 줄지만 분산은 커지고 계산량이 늘어납니다. 통상 k = 5 또는 10을 씁니다.
모수 유의성과 적합도 검정
| 대상 | 검정 |
|---|---|
| 회귀모형 전체 | F 검정 (분산분석) |
| 회귀계수 개별 | t 검정 |
| 잔차 정규성 | 샤피로-윌크, 콜모고로프-스미르노프, Q-Q plot |
| 잔차 독립성 | 더빈-왓슨 (0~4, 2 근처면 자기상관 없음) |
| 잔차 등분산성 | 잔차 산점도, Breusch-Pagan |
| 범주형 적합도 | 카이제곱 검정 |
| 다중공선성 | VIF (보통 10 이상이면 의심) |
마무리 체크
- 혼동행렬 4칸과 FP=1종·FN=2종
- 정밀도(TP+FP) vs 재현율(TP+FN), F1 은 조화평균
- ROC 의 축과 AUC 기준
- 향상도 곡선의 랜덤선은 1
- RMSE·MAE·MAPE·R² 의 방향과 성질
- 교차검증 종류와 부트스트랩 36.8%