데이터 탐색 기초
EDA의 4가지 주제, 개별·다차원 데이터 탐색 방법, 상관분석(피어슨·스피어만·켄달)과 기초통계량을 다룹니다.
노란 밑줄n회 기출에 나온 지점(숫자는 등장 문항 수)✎ 는 덧붙인 필기
출제 비중 — EDA6회 4주제와 산점도17회·상관계수7회 해석. 기초통계량은 계산 문제로도 나온다.
EDA란
탐색적 자료 분석(Exploratory Data Analysis) 은 모형을 세우기 전에 데이터를 눈으로 보고 요약해 구조·패턴·이상값·가설을 찾아내는 과정입니다. 존 튜키(John Tukey)가 제안했습니다.
가설을 미리 세우고 검증하는 확증적 자료 분석(CDA) 과 반대 방향입니다. EDA는 데이터에서 가설을 만들어 내고, CDA는 세운 가설을 검정합니다.
EDA의 4가지 주제 (4원칙)
| 주제 | 의미 |
|---|---|
| 저항성 (Resistance) | 일부 값이 오염되어도 결과가 크게 흔들리지 않아야 함 — 평균보다 중앙값·사분위수 선호 |
| 잔차 해석 (Residual) | 관측값에서 설명된 부분을 뺀 나머지를 보고 설명되지 않은 구조를 찾음 |
| 자료 재표현 (Re-expression) | 로그·제곱근 등으로 척도를 바꿔 해석을 쉽게 만듦 |
| 현시성 (Graphical Representation) | 시각화로 구조를 드러내 보임 — 그래프가 요약통계보다 많은 것을 말함 |
네 가지를 "정규성·독립성·등분산성" 같은 회귀 가정과 섞어 놓은 선택지가 나옵니다. EDA 4주제는 저항성·잔차해석·자료재표현·현시성입니다. 특히 현시성 = 표현성 = 시각화로 같은 것을 다른 말로 적어 놓는 경우가 많습니다.
개별 변수 탐색
| 변수 유형 | 통계량 | 시각화 |
|---|---|---|
| 범주형 | 빈도수, 비율(백분율), 최빈값 | 막대그래프, 파이차트, 도수분포표 |
| 수치형 | 평균, 중앙값, 분산, 표준편차, 왜도, 첨도 | 히스토그램, 박스플롯, 줄기-잎 그림, 밀도곡선 |
범주형에는 평균·분산을 계산할 수 없습니다. 명목척도에 평균을 구하는 선택지는 무조건 오답입니다.
히스토그램은 연속형을 구간으로 나눠 그리므로 막대가 붙어 있고 순서가 의미를 가집니다. 막대그래프는 범주형이라 막대가 떨어져 있고 순서를 바꿔도 됩니다.
다차원 데이터 탐색
| 조합 | 방법 |
|---|---|
| 범주형 × 범주형 | 교차표(분할표), 모자이크 플롯, 카이제곱 독립성 검정 |
| 범주형 × 수치형 | 그룹별 박스플롯, t-검정 / 분산분석(ANOVA) |
| 수치형 × 수치형 | 산점도, 상관계수, 회귀선, 공분산 |
세 개 이상 변수는 산점도 행렬(scatter plot matrix), 상관계수 히트맵, 버블차트로 봅니다.
공분산과 상관계수
공분산5회은 두 변수가 같은 방향으로 움직이는 정도인데, 단위에 따라 값의 크기가 달라져 강도를 비교할 수 없습니다. 이를 각 변수의 표준편차로 나눠 −1 ~ +1로 표준화한 것이 상관계수입니다.
| 상관계수 | 해석 |
|---|---|
| +1에 가까움 | 강한 양의 선형관계 |
| 0에 가까움 | 선형관계가 약함 |
| −1에 가까움 | 강한 음의 선형관계 |
상관계수가 0이면 "아무 관계가 없다"가 아니라 선형관계가 없다는 뜻입니다. U자 곡선처럼 완벽한 곡선 관계도 피어슨 상관계수는 0이 될 수 있습니다.
그리고 상관관계는 인과관계가 아닙니다. 제3의 교란변수 때문에 함께 움직이는 경우가 대부분입니다.
상관분석 기법 비교
| 기법 | 대상 척도 | 측정하는 관계 | 특징 |
|---|---|---|---|
| 피어슨 (Pearson) | 등간·비율(연속형) | 선형 관계 | 정규성 가정, 이상값에 민감 |
| 스피어만 (Spearman) | 순서형 이상 | 순위 기반 단조 관계 | 값을 순위로 바꿔 계산, 이상값에 강건 |
| 켄달 (Kendall) 타우 | 순서형 이상 | 순위쌍의 일치·불일치 비율 | 표본이 작거나 동순위가 많을 때 유리 |
| 카이제곱 / 크래머 V | 명목형 | 범주 간 연관성 | 방향(양·음)이 없음 |
문제에 "정규성을 만족하지 않는다", "순위 자료다", "이상값이 있다"는 단서가 있으면 스피어만입니다.
상관분석에서 조심할 것
| 함정 | 내용 |
|---|---|
| 비선형 관계 | 곡선 관계는 피어슨 계수로 잡히지 않음 — 반드시 산점도를 함께 볼 것 |
| 이상값 하나 | 극단값 한 개가 상관계수를 0에서 0.9로 만들 수 있음 |
| 심슨의 역설 | 집단을 합쳤을 때의 상관 방향이 집단별 상관 방향과 반대로 나타남 |
| 허위 상관 | 제3의 변수(교란변수) 때문에 생긴 겉보기 상관 |
상관계수의 제곱이 결정계수로, 한 변수가 다른 변수의 변동을 설명하는 비율입니다. 상관계수 0.8이면 설명력은 0.64입니다.
기초통계량 한눈에
| 구분 | 통계량 |
|---|---|
| 중심 경향 | 평균, 중앙값, 최빈값 |
| 산포 | 범위, 사분위범위(IQR), 분산, 표준편차, 변동계수 |
| 분포 모양 | 왜도(비대칭도), 첨도(뾰족한 정도) |
| 위치 | 백분위수, 사분위수, Z-점수 |
5-숫자 요약은 최솟값 · Q1 · 중앙값 · Q3 · 최댓값이고, 박스플롯이 이 다섯 값을 그대로 그린 그림입니다.
EDA 수행 절차
- 분석 목적과 변수 확인 — 무엇을 알고 싶은지, 각 변수가 무슨 뜻인지, 척도가 무엇인지
- 데이터 형태·품질 확인 — 행·열 수, 자료형, 결측값·이상값 존재 여부
- 개별 변수 탐색 — 분포와 요약통계량
- 변수 간 관계 탐색 — 상관·교차표·그룹 비교
- 가설 도출과 파생변수 후보 정리
시각화만 EDA라고 서술한 선택지는 오답입니다. 요약통계량 계산도 EDA에 포함되고, EDA의 결과물은 다음 분석을 위한 가설과 전처리 방향입니다.
마무리 체크
- EDA 4주제 — 저항성·잔차해석·자료재표현·현시성
- 범주형에는 평균이 없다, 히스토그램 vs 막대그래프
- 변수 조합별 탐색 방법
- 공분산은 단위 의존, 상관계수는 −1~1
- 피어슨 vs 스피어만 vs 켄달
- 심슨의 역설과 허위 상관