데이터 파이프라인 (Data Pipeline), ETL (Extract Transform Load), ELT (Extract Load Transform)

출제 빈도: ★★★★★ | 난이도: ★★★☆☆

답안.

Ⅰ. 개요

데이터 파이프라인은 다양한 소스에서 데이터를 수집, 변환, 적재, 제공하는 전체 흐름이다.
ETL은 적재 전에 변환을 수행해 정제된 데이터를 저장소에 넣는 전통적 방식이다.
ELT는 원본 데이터를 먼저 적재한 뒤 저장소 내부 연산으로 변환하여 클라우드 확장성과 유연성을 높인다.

Ⅱ. 핵심 구성요소

Ⅰ. 개요
   1. 정의
   2. 데이터 원천 다양화와 클라우드 저장소 확산

Ⅱ. 핵심 구성요소
   1. 파이프라인 기본 구조
   2. ETL/ELT 선택 기준

Ⅲ. 특징 및 장단점
   1. 데이터 활용 속도와 확장성 향상
   2. 품질 검증 누락 시 오류 전파 위험

Ⅳ. 유사 기술과의 비교
   - ETL vs ELT 비교표

Ⅴ. 적용사례 및 향후전망
   1. DW 구축, SaaS 로그 수집, Lakehouse 파이프라인 설계
   2. CDC와 이벤트 기반 파이프라인 확대

해당 키워드의 기술적 구성요소와 동작 원리를 서술한다.

Ⅲ. 특징 및 비교

핵심 기술의 장단점과 유사 기술과의 차이를 분석한다.

Ⅳ. 적용 사례

실무 환경에서의 적용 사례와 기대효과를 제시한다.

Ⅴ. 전망

최신 기술 동향과 향후 발전 방향을 서술한다.