데이터 탐색 기초
EDA의 4가지 주제, 개별·다차원 데이터 탐색 방법, 상관분석(피어슨·스피어만·켄달)과 기초통계량을 다룹니다.
EDA란
탐색적 자료 분석(Exploratory Data Analysis) 은 모형을 세우기 전에 데이터를 눈으로 보고 요약해 구조·패턴·이상값·가설을 찾아내는 과정입니다. 존 튜키(John Tukey)가 제안했습니다.
가설을 미리 세우고 검증하는 확증적 자료 분석(CDA) 과 반대 방향입니다. EDA는 데이터에서 가설을 만들어 내고, CDA는 세운 가설을 검정합니다.
EDA의 4가지 주제 (4원칙)
| 주제 | 의미 |
|---|---|
| 저항성 (Resistance) | 일부 값이 오염·손상되어도 결과가 크게 흔들리지 않아야 함 — 평균보다 중앙값·사분위수 선호 |
| 잔차 해석 (Residual) | 관측값에서 설명된 부분을 뺀 나머지를 보고 설명되지 않은 구조를 찾음 |
| 자료 재표현 (Re-expression) | 로그·제곱근 등으로 척도를 바꿔 해석을 쉽게 만듦 |
| 현시성 (Graphical Representation) | 시각화로 구조를 드러내 보임 — 그래프가 요약통계보다 많은 것을 말함 |
네 가지를 "정규성·독립성·등분산성" 같은 회귀 가정과 섞어 놓은 선택지가 나옵니다. EDA 4주제는 저항성·잔차해석·자료재표현·현시성입니다. 특히 현시성 = 표현성 = 시각화로 같은 것을 다른 말로 적어 놓는 경우가 많습니다.
개별 변수 탐색
| 변수 유형 | 통계량 | 시각화 |
|---|---|---|
| 범주형 | 빈도수, 비율(백분율), 최빈값 | 막대그래프, 파이차트, 도수분포표 |
| 수치형 | 평균, 중앙값, 분산, 표준편차, 왜도, 첨도 | 히스토그램, 박스플롯, 줄기-잎 그림, 밀도곡선 |
범주형에는 평균·분산을 계산할 수 없습니다. 명목척도에 평균을 구하는 선택지는 무조건 오답입니다.
히스토그램과 막대그래프를 구분해야 합니다. 히스토그램은 연속형을 구간으로 나눠 그리므로 막대가 붙어 있고 순서가 의미를 가집니다. 막대그래프는 범주형이라 막대가 떨어져 있고 순서를 바꿔도 됩니다.
다차원 데이터 탐색
| 조합 | 방법 |
|---|---|
| 범주형 × 범주형 | 교차표(분할표), 누적·그룹 막대그래프, 모자이크 플롯, 카이제곱 독립성 검정 |
| 범주형 × 수치형 | 그룹별 평균·분산 비교, 그룹별 박스플롯, t-검정 / 분산분석(ANOVA) |
| 수치형 × 수치형 | 산점도, 상관계수, 회귀선, 공분산 |
세 개 이상 변수는 산점도 행렬(scatter plot matrix), 상관계수 히트맵, 버블차트로 봅니다.
공분산과 상관계수
공분산은 두 변수가 같은 방향으로 움직이는 정도인데, 단위에 따라 값의 크기가 달라져 강도를 비교할 수 없습니다. 이를 각 변수의 표준편차로 나눠 −1 ~ +1로 표준화한 것이 상관계수입니다.
| 상관계수 | 해석 |
|---|---|
| +1에 가까움 | 강한 양의 선형관계 |
| 0에 가까움 | 선형관계가 약함 |
| −1에 가까움 | 강한 음의 선형관계 |
상관계수가 0이면 "아무 관계가 없다"가 아니라 선형관계가 없다는 뜻입니다. U자 곡선처럼 완벽한 곡선 관계도 피어슨 상관계수는 0이 될 수 있습니다.
그리고 상관관계는 인과관계가 아닙니다. 제3의 교란변수 때문에 함께 움직이는 경우가 대부분입니다.
상관분석 기법 비교
| 기법 | 대상 척도 | 측정하는 관계 | 특징 |
|---|---|---|---|
| 피어슨 (Pearson) | 등간·비율(연속형) | 선형 관계 | 정규성 가정, 이상값에 민감 |
| 스피어만 (Spearman) | 순서형 이상 | 순위 기반 단조 관계 | 값을 순위로 바꿔 계산, 이상값·비정규에 강건 |
| 켄달 (Kendall) 타우 | 순서형 이상 | 순위쌍의 일치·불일치 비율 | 표본이 작거나 동순위가 많을 때 유리 |
| 카이제곱 / 크래머 V | 명목형 | 범주 간 연관성 | 방향(양·음)이 없음 |
피어슨 vs 스피어만은 거의 매 회차 나옵니다. 문제에 "정규성을 만족하지 않는다", "순위 자료다", "이상값이 있다"는 단서가 있으면 스피어만입니다. 반대로 "연속형이고 선형관계"면 피어슨입니다. 스피어만·켄달은 비모수 기법으로 분류됩니다.
상관분석에서 조심할 것
| 함정 | 내용 |
|---|---|
| 비선형 관계 | 곡선 관계는 피어슨 계수로 잡히지 않음 — 반드시 산점도를 함께 볼 것 |
| 이상값 하나 | 극단값 한 개가 상관계수를 0에서 0.9로 만들 수 있음 |
| 심슨의 역설 | 집단을 합쳤을 때의 상관 방향이 집단별 상관 방향과 반대로 나타남 |
| 허위 상관 | 제3의 변수(교란변수) 때문에 생긴 겉보기 상관 |
상관계수의 제곱이 결정계수로, 한 변수가 다른 변수의 변동을 설명하는 비율입니다. 상관계수 0.8이면 설명력은 0.64입니다.
기초통계량 한눈에
| 구분 | 통계량 |
|---|---|
| 중심 경향 | 평균, 중앙값, 최빈값 |
| 산포 | 범위, 사분위범위(IQR), 분산, 표준편차, 변동계수 |
| 분포 모양 | 왜도(비대칭도), 첨도(뾰족한 정도) |
| 위치 | 백분위수, 사분위수, Z-점수 |
5-숫자 요약(Five-number summary) 은 최솟값 · Q1 · 중앙값 · Q3 · 최댓값이고, 박스플롯이 이 다섯 값을 그대로 그린 그림입니다.
EDA 수행 절차
- 분석 목적과 변수 확인 — 무엇을 알고 싶은지, 각 변수가 무슨 뜻인지, 척도가 무엇인지
- 데이터 형태·품질 확인 — 행·열 수, 자료형, 결측값·이상값 존재 여부
- 개별 변수 탐색 — 분포와 요약통계량
- 변수 간 관계 탐색 — 상관·교차표·그룹 비교
- 가설 도출과 파생변수 후보 정리
시각화만 EDA라고 서술한 선택지는 오답입니다. 요약통계량 계산도 EDA에 포함되고, EDA의 결과물은 그림이 아니라 다음 분석을 위한 가설과 전처리 방향입니다.