ELT (Extract, Load, Transform)

핵심 인사이트 (3줄 요약)

클라우드 최적화: 데이터를 먼저 적재(Load)한 후 클라우드 DW의 강력한 분산 처리 성능을 활용해 변환(Transform)한다.
비정형 데이터 수용: 데이터 레이크와 결합하여 정형 데이터뿐만 아니라 이미지, 로그 등 원시 데이터를 그대로 저장 가능하다.
스키마 온 리드: 미리 구조를 정의하지 않고 데이터를 쌓아두었다가 분석 시점에 맞게 가공하는 유연성을 제공한다.

Ⅰ. 개요 (Context & Background)

클라우드 컴퓨팅과 대용량 데이터 저장 기술의 비약적 발전으로 인해 전통적인 ETL 방식은 한계에 직면했다. **ELT(Extract, Load, Transform)**는 데이터를 먼저 대상 저장소에 넣고, 변환 작업은 저장소 내부의 막강한 연산 자원을 활용하는 방식이다. 이는 데이터 파이프라인의 병목을 제거하고, 분석가들이 실시간으로 데이터를 가공할 수 있는 민첩성을 부여한다.

Ⅱ. 아키텍처 및 핵심 원리 (Deep Dive)

ELT 아키텍처는 고가의 ETL 서버 대신 저렴하고 강력한 클라우드 데이터 웨어하우스(CDW)를 엔진으로 활용한다.

[ ELT Modern Data Architecture ]

+-----------------+       (1) Extract & Load       +-----------------------+
| Source Systems  |------------------------------->| Cloud Data Warehouse  |
| (운영 DB, SaaS)  |       (Direct Loading)         | (Snowflake, BigQuery) |
+--------+--------+                                +-----------+-----------+
         |                                                     |
         |                                                     | (2) Transform
         |                                                     v (Internal)
         |                                         +-----------------------+
         |                                         |   Transformed Data    |
         |                                         |   (Standardized Tables)|
         +-----------------------------------------+-----------+-----------+
                                                               |
                                                               v
                                                   +-----------------------+
                                                   |   BI & Analytics      |
                                                   |   (Tableau, Looker)   |
                                                   +-----------------------+

핵심 작동 원리

Direct Loading: 소스 시스템에서 추출한 데이터를 가공 없이 그대로 클라우드 스토리지(S3 등)나 CDW의 임시 테이블에 적재한다.
Push-down Transformation: SQL 쿼리나 전용 툴(dbt 등)을 사용하여 CDW 내부에서 데이터 조인, 집계, 정제 작업을 수행한다.
Separation of Compute & Storage: 저장 비용과 연산 비용을 분리하여 대규모 변환 작업 시에만 연산 자원을 일시적으로 확장한다.

Ⅲ. 융합 비교 및 다각도 분석 (Comparison & Synergy)

비교 항목	ETL (Extract-Transform-Load)	ELT (Extract-Load-Transform)
변환 시점	데이터 로딩 전 (Staging)	데이터 로딩 후 (In-target)
데이터 보존	변환된 결과만 주로 저장	원시 데이터(Raw) 보존 용이
유연성	낮음 (스키마 변경 시 재작업)	높음 (원시 데이터 기반 재변환 가능)
주요 활용	온프레미스 DW, 보안 민감 데이터	클라우드 DW, 빅데이터, 데이터 레이크

Ⅳ. 실무 적용 및 기술사적 판단 (Strategy & Decision)

최신 트렌드 반영: ELT는 **dbt(Data Build Tool)**와 같은 '데이터 모델링' 도구와 결합할 때 시너지가 극대화된다. 분석가가 직접 SQL로 엔지니어링 영역인 변환 로직을 짤 수 있기 때문이다.
기술사적 판단: 데이터 정제가 복잡하고 타겟 시스템에 부하를 주면 안 되는 특수한 상황(보안 규제 등)이 아니라면, 인프라 비용과 확장성 측면에서 ELT가 현대 데이터 아키텍처의 표준(Standard)으로 자리 잡아야 한다.

Ⅴ. 기대효과 및 결론 (Future & Standard)

ELT는 데이터 엔지니어링의 생산성을 획기적으로 높여 **'데이터 민주화'**를 가속화한다. 향후에는 AI가 데이터 변환 로직을 자동 생성하는 Auto-ELT 기술로 발전할 것이며, 이는 데이터 레이크하우스(Data Lakehouse)의 보편화와 함께 기업의 필수 생존 전략이 될 것이다.

📌 관련 개념 맵 (Knowledge Graph)

상위 개념: Cloud Native Data Architecture, Data Engineering
하위 개념: Push-down, dbt, Cloud Data Warehouse
연관 기술: Snowflake, BigQuery, AWS Redshift, Delta Lake

👶 어린이를 위한 3줄 비유 설명

요리 재료를 주방에서 다 손질해서 식탁에 가져오는 게 ETL이라면,
ELT는 모든 재료를 일단 식탁(식당)으로 가져온 뒤에 그 자리에서 즉석 요리를 하는 거예요.
재료가 엄청 많아도 식당 화력이 워낙 세서(클라우드 성능) 훨씬 빠르게 맛있는 요리를 만들 수 있답니다!