빅데이터 개요와 활용

데이터의 유형

구분	정의	예
정성적 데이터	언어·문자로 기술, 저장·검색·분석에 비용이 큼	회사 평판, 설문 주관식 답변
정량적 데이터	수치·기호·도형, 정형화되어 처리가 쉬움	나이, 온도, 매출액

구분	특징	예
정형	고정된 스키마, 연산 가능	RDB 테이블, CSV
반정형	스키마가 데이터 안에 있음(메타데이터·태그)	XML, JSON, HTML, 로그
비정형	스키마 없음	텍스트, 이미지, 음성, 영상

반정형과 비정형을 가르는 기준은 "스키마가 데이터 자체에 들어 있는가"입니다. JSON 로그는 값 옆에 키가 붙어 있으니 반정형, 콜센터 녹취 음성은 비정형입니다.

DIKW 피라미드

단계	의미	예
Data	가공 전 순수한 수치·기호	A마트 볼펜 1,000원, B마트 900원
Information	데이터의 가공·상관관계로 얻은 의미	B마트가 더 싸다
Knowledge	정보를 규칙·패턴으로 구조화	볼펜뿐 아니라 다른 것도 B마트가 싸겠다
Wisdom	근본 원리에 대한 통찰	B마트는 저가 전략을 쓰는 곳이다

빅데이터의 특징 — 3V와 확장

V	의미
Volume	규모
Variety	다양성 (정형·반정형·비정형)
Velocity	속도 (생성·처리 속도, 실시간성)

여기에 덧붙는 것들:

• Value: 가치 — 방대한 데이터에서 뽑아내는 의미
• Veracity: 신뢰성 — 품질·정확성
• Validity: 유효성, Volatility: 휘발성(보관 기간)

시험에서는 "3V에 해당하지 않는 것"을 자주 묻습니다. 3V는 Volume·Variety·Velocity 셋뿐이고, Value·Veracity는 나중에 추가된 확장 속성입니다.

빅데이터가 만든 변화

이전	이후
표본조사	전수조사
질(質)	양(量)
인과관계	상관관계
사전처리	사후처리

"인과관계에서 상관관계로"의 방향을 뒤집어 놓은 선택지가 단골 오답입니다. 빅데이터 시대에는 왜 그런지 몰라도 무엇이 함께 움직이는지로 먼저 판단합니다.

빅데이터의 가치 산정이 어려운 이유

1. 데이터 활용 방식이 정해져 있지 않다 — 재사용·재조합이 일상이라 특정 데이터를 언제 어디에 쓸지 알 수 없다
2. 새로운 가치 창출 — 지금은 가치가 없어 보이는 데이터가 나중에 가치를 만든다
3. 분석 기술의 발전 — 오늘은 못 분석하는 데이터를 내일은 분석할 수 있다

빅데이터의 위기 요인과 통제 방안

위기 요인	통제 방안
사생활 침해	제공자 동의 → 사용자 책임으로 전환
책임 원칙 훼손 (예측을 근거로 불이익)	결과 기반 책임 원칙 고수
데이터 오용	알고리즘 접근권 허용, 알고리즈미스트

알고리즈미스트(algorithmist): 알고리즘이 부당하게 피해를 입혔는지 판별해 주는 전문가. 데이터 사이언티스트와 구별해서 기억합니다.

데이터 사이언스

데이터 공학 + 수학·통계 + 도메인 지식이 만나는 영역이고, 분석에서 끝나지 않고 의사결정으로 이어져야 합니다.

데이터 사이언티스트의 역량은 두 축입니다.

• 하드 스킬: 빅데이터 이론 지식, 분석 기술 숙련도
• 소프트 스킬: 통찰력, 스토리텔링, 커뮤니케이션, 협업

"가능한 많이 모으면 의미가 나온다", "품질과 무관하게 양이 많으면 된다" 같은 선택지는 전부 오답입니다. 데이터 사이언스는 양이 아니라 문제 정의와 해석으로 성립합니다.

분석 조직 구조

구조	배치	특징
집중형	전사 분석 조직 별도	우선순위를 전사 관점으로 조정. 현업과 이중화 가능성
기능형	각 현업 부서가 자체 수행	전사 관점 부재, 국소적 분석에 그침
분산형	분석 인력을 현업에 파견	신속한 활용, 전사 차원 우선순위 조정 가능 — 가장 이상적

데이터 거버넌스

전사 차원에서 데이터를 관리하는 체계입니다. 3대 구성요소는 원칙(Principle) · 조직(Organization) · 프로세스(Process) 이고, 관리 체계는 데이터 표준화 → 데이터 관리 체계 → 데이터 저장소 관리 → 표준화 활동 순으로 세웁니다.

마스터 데이터·메타데이터·데이터 사전이 거버넌스의 관리 대상입니다.