빅데이터 기술과 제도

빅데이터 플랫폼의 계층

계층	하는 일
수집	원천에서 데이터를 가져옴 (ETL, 크롤링, 로그 수집기)
저장	대용량 보관 (분산 파일 시스템, NoSQL)
처리	분산 병렬 연산 (MapReduce, Spark)
분석	통계·머신러닝 적용
시각화·활용	리포트, 대시보드, 서비스 연계

플랫폼을 뒷받침하는 기반 기술은 분산 처리 · 분산 파일 시스템 · 분산 데이터베이스이고, 이 셋을 오픈소스로 묶은 것이 하둡 에코시스템입니다.

하둡의 두 축

구성	역할
HDFS	분산 파일 저장. 마스터(네임노드)가 메타데이터, 슬레이브(데이터노드)가 블록 저장
MapReduce	분산 병렬 처리. Map(분할·키-값 생성) → Shuffle → Reduce(집계)
YARN	하둡 2.0의 자원 관리자. ResourceManager · NodeManager · ApplicationMaster

하둡 1.0은 잡트래커·태스크트래커가 자원 관리와 잡 관리를 겸했고, 하둡 2.0에서 이 역할을 떼어 낸 것이 YARN입니다. "하둡 2.0에서 새로 도입된 것"을 묻는 문제의 답입니다.

에코시스템 구성요소

이름	분류	역할
Hive	질의	HiveQL(SQL 유사)로 HDFS 데이터 조회. 페이스북 개발
Pig	질의	Pig Latin 스크립트로 데이터 흐름 기술
Impala / Tajo	질의	실시간 SQL 질의 (Impala는 클라우데라, Tajo는 국내 개발)
HBase	저장	컬럼 기반 분산 DB, 실시간 랜덤 읽기·쓰기
Sqoop	수집	정형 DB ↔ HDFS 양방향 대량 전송
Flume / Chukwa / Scribe	수집	대규모 로그 수집
Kafka	수집	발행-구독(pub-sub) 기반 분산 메시지 큐
Zookeeper	관리	분산 코디네이션(설정·동기화·이름 관리)
Oozie	관리	하둡 작업 워크플로 스케줄링
Mahout	분석	분산 머신러닝 라이브러리
Spark	처리	인메모리 기반 분산 처리, MapReduce보다 빠름

Sqoop과 Flume을 자리 바꿔 놓는 선택지가 단골입니다. Sqoop은 관계형 DB(정형), Flume은 로그(반정형) 입니다.

분산 컴퓨팅 기술

• 분산 파일 시스템: GFS, HDFS, 러스터(Lustre)
• 맵리듀스: 함수형 프로그래밍 모델을 차용한 분산 병렬 처리
• 인메모리 컴퓨팅: 디스크가 아니라 메모리에서 처리 (Spark, Redis)
• 클라우드 컴퓨팅: IaaS · PaaS · SaaS

개인정보 보호의 기본 원칙

OECD 프라이버시 8원칙은 수집 제한, 데이터 정확성(품질), 목적 명확화, 이용 제한, 안전성 확보, 처리방침 공개, 정보주체 참여, 책임성입니다.

원칙	뜻
수집 제한	적법·공정한 수단으로, 정보주체 인지·동의 아래 최소 수집
목적 명확화	수집 목적을 미리 특정
이용 제한	동의 또는 법 근거 없이 목적 외 이용·공개 금지
개인 참여	열람·정정·삭제 요구권

데이터 3법

법	핵심 개정 내용
개인정보 보호법	가명정보 개념 도입, 감독기구를 개인정보보호위원회로 일원화
정보통신망법	개인정보 관련 조항을 개인정보 보호법으로 이관
신용정보법	금융 분야 가명정보 활용 근거, 마이데이터 도입

개인정보 · 가명정보 · 익명정보

구분	정의	활용
개인정보	살아 있는 개인을 알아볼 수 있는 정보	원칙적으로 동의 필요
가명정보	추가 정보 없이는 특정 개인을 알아볼 수 없게 처리	통계작성 · 과학적 연구 · 공익적 기록보존 목적이면 동의 없이 가능
익명정보	시간·비용·기술을 고려해도 재식별이 불가능	개인정보가 아니므로 자유롭게 활용

가명정보의 동의 없는 활용 목적 3가지(통계·연구·기록보존)는 그대로 출제됩니다. "마케팅 활용"은 들어가지 않습니다. 또한 가명정보는 여전히 개인정보에 포함되어 보호 대상이고, 익명정보만 개인정보에서 빠집니다.

가명정보를 처리하면서 특정 개인을 알아보려는 목적으로 다시 결합·복원하는 행위는 금지되며, 재식별 정보가 생기면 즉시 회수·파기해야 합니다.

마이데이터

정보주체가 자기 정보를 직접 통제·관리하고, 원하는 곳으로 옮겨 활용할 수 있게 하는 개념입니다.

원칙	내용
데이터 권한	정보주체가 개인정보의 접근·이동·활용을 결정
데이터 제공	본인이 요구하면 안전한 형식으로 전송(전송요구권)
데이터 활용	정보주체가 요구한 범위 안에서만 활용

마이데이터는 "기업이 데이터를 더 자유롭게 쓰게 해 주는 제도"가 아니라 정보주체의 자기결정권을 실행하는 제도입니다. 방향을 뒤집은 선택지를 주의합니다.

개인정보 처리 단계별 관리

단계	유의 사항
수집	목적 명시, 최소 수집, 별도 동의 항목(민감정보·고유식별정보)
저장·관리	암호화, 접근 통제, 접속기록 보관
이용·제공	목적 외 이용 금지, 제3자 제공 시 동의
파기	보유기간 경과·목적 달성 시 지체 없이 복구 불가능하게 파기