분석결과 해석
분석 모형 해석(변수 중요도·부분의존도), 해석 시 오류, 비즈니스 기여도 평가(ROI·TCO·NPV·IRR)를 다룹니다.
분석 결과 해석의 두 축
| 축 | 보는 것 |
|---|---|
| 분석 모형 해석 | 모형이 왜 그렇게 예측했는가 — 변수의 영향력·방향·형태 |
| 분석 데이터 해석 | 투입된 데이터가 무엇을 대표하는가 — 수집 범위, 편향, 결측·이상치 처리의 영향 |
해석의 범위는 두 가지로 나뉩니다.
- 전역(global) 해석: 모형 전체가 어떤 규칙으로 작동하는가 → 변수 중요도, 부분의존도
- 국소(local) 해석: 이 한 건의 예측이 왜 이렇게 나왔는가 → LIME, SHAP
해석 가능성과 성능
| 구분 | 모형 | 성격 |
|---|---|---|
| 화이트박스 | 선형·로지스틱 회귀, 의사결정나무 | 계수·규칙을 사람이 바로 읽음 |
| 블랙박스 | 랜덤포레스트, 부스팅, 신경망(딥러닝) | 성능 높지만 내부 구조 해석 어려움 → XAI 기법 필요 |
일반적으로 성능이 높아질수록 해석 가능성이 떨어집니다. 금융 여신·의료처럼 설명 의무가 있는 도메인에서는 성능을 조금 양보하고 해석 가능한 모형을 택합니다.
변수 중요도
| 방법 | 원리 |
|---|---|
| 표준화 회귀계수(베타) | 변수를 표준화한 뒤의 계수 크기로 영향력 비교 |
| 의사결정나무의 중요도 | 그 변수로 분기했을 때 줄어든 불순도(지니·엔트로피) 감소량 합 (MDI) |
| 순열 중요도(Permutation) | 한 변수의 값을 무작위로 섞은 뒤 성능이 얼마나 떨어지는지 측정 (MDA) — 모형 종류와 무관하게 적용 |
| SHAP 값 | 게임이론의 섀플리 값으로 각 변수의 예측 기여도를 배분. 전역·국소 해석 모두 가능 |
| LIME | 관심 관측치 주변을 단순 선형 모형으로 국소 근사해 설명 |
원 단위가 다른 변수의 비표준화 계수 크기를 그대로 비교하면 안 됩니다(연봉과 나이의 계수를 크기로 비교하는 식). 중요도 비교에는 표준화 계수를 씁니다. 변수 중요도는 영향의 크기만 알려주고 방향(양·음) 은 알려주지 않습니다. 방향과 형태는 부분의존도로 봅니다.
부분의존도 그림(PDP, Partial Dependence Plot)
관심 변수 하나(또는 둘)의 값을 격자에 따라 바꿔가며, 나머지 변수는 데이터 분포로 주변화(평균) 해 예측값의 평균이 어떻게 변하는지 그린 그림입니다.
- x축: 관심 변수의 값, y축: 평균 예측값
- 관계가 선형인지 비선형인지, 증가인지 감소인지, 임계값이 있는지를 눈으로 확인
- ICE plot은 개별 관측치별 곡선을 모두 그린 것으로, 개체별 이질성을 볼 수 있음
PDP는 평균적인 경향이므로 개체별로 방향이 반대인 상호작용이 있으면 평평하게 보일 수 있습니다. 또 변수 간 상관이 강하면 현실에 존재하지 않는 조합까지 평균에 들어가 왜곡됩니다. PDP는 상관관계의 형태를 보여주는 것이지 인과효과를 증명하지 않습니다.
해석 시 흔한 오류
| 오류 | 내용 |
|---|---|
| 상관을 인과로 해석 | 함께 움직인다는 사실이 원인임을 뜻하지 않음. 제3의 교란변수 가능 |
| 심슨의 역설 | 집단을 합쳤을 때와 나눴을 때 관계의 방향이 뒤바뀌는 현상 |
| 표본 편향 | 수집 경로 때문에 모집단을 대표하지 못함(생존자 편향, 자기선택 편향) |
| 통계적 유의성 = 중요성 | 표본이 크면 아주 작은 차이도 유의해짐. 효과크기를 함께 봐야 함 |
| 외삽(extrapolation) | 학습 데이터 범위를 벗어난 구간의 예측을 신뢰 |
| 다중검정 | 검정을 많이 하면 우연히 유의한 결과가 나옴(본페로니 등으로 보정) |
비즈니스 기여도 평가
분석 결과가 조직에 얼마의 값을 만들었는지 재무적으로 환산합니다.
| 지표 | 정의 | 판단 기준 |
|---|---|---|
| ROI (투자수익률) | (순이익 / 투자비용) × 100 | 클수록 좋음. 화폐의 시간가치 미반영 |
| TCO (총 소유비용) | 도입·구축부터 운영·폐기까지의 모든 직·간접 비용 합계 | 작을수록 좋음 |
| NPV (순현재가치) | 미래 현금흐름을 할인해 현재가치로 합산한 뒤 투자액을 뺀 값 | NPV > 0이면 투자 타당 |
| IRR (내부수익률) | NPV = 0이 되는 할인율 | IRR > 자본비용(요구수익률)이면 타당 |
| PP (투자회수기간) | 투자금을 회수하는 데 걸리는 기간 | 짧을수록 좋음. 시간가치·회수 후 현금흐름 무시 |
| TDT (총 소요기간) | 분석 착수부터 성과 발생까지 걸린 기간 | — |
계산 예 1 — ROI. 분석 시스템에 1억 원을 투자해 연 3천만 원의 순이익이 생겼다면 ROI = 3,000 / 10,000 × 100 = 30%
계산 예 2 — NPV. 투자액 1,000, 1년 후 600, 2년 후 600, 할인율 10%. 현재가치 = 600 / 1.1 + 600 / 1.1² = 545.5 + 495.9 = 1,041.4 NPV = 1,041.4 − 1,000 = +41.4 > 0 → 투자 타당 이 사업의 IRR은 10%보다 크다는 뜻이기도 합니다(할인율을 올리면 NPV가 0으로 내려가므로).
TCO는 눈에 보이는 하드웨어·소프트웨어 구매비(직접비용)뿐 아니라 교육, 유지보수, 인건비, 장애로 인한 손실(간접비용) 까지 포함합니다. 도입 단가만 싸고 운영비가 비싼 대안을 걸러내는 지표입니다.
함정 정리. NPV와 IRR은 화폐의 시간가치를 반영하고, ROI와 회수기간법은 반영하지 않습니다. "IRR이 높을수록 항상 좋은 투자"라는 단정도 위험합니다 — 투자 규모가 다르면 IRR이 높아도 NPV가 작을 수 있고, 상호배타적 대안 비교에서는 NPV 기준이 우선입니다.
기여도를 제대로 측정하려면
- 사전에 KPI와 기준선(baseline) 을 정한다 — 사후에 정하면 유리한 지표만 고르게 된다
- 비교 대상을 확보한다 — A/B 테스트, 대조군, 도입 전후 비교
- 분석 효과와 외부 요인을 분리한다 — 계절성, 프로모션, 시장 변동
- 정성적 효과도 기록한다 — 의사결정 속도, 업무 표준화, 리스크 감소
- 비용에 운영 비용을 포함한다 — 재학습, 모니터링, 데이터 파이프라인 유지
"모형 정확도가 올랐으므로 비즈니스 기여가 있었다"는 결론은 성립하지 않습니다. 기여도는 성과 지표의 변화로 증명하며, 정확도 향상이 매출·비용에 어떤 경로로 연결되는지 함께 제시해야 합니다.