스트리밍 처리 (Streaming), Kafka, Flink

출제 빈도: ★★★★★ | 난이도: ★★★★☆

답안.

Ⅰ. 개요

스트리밍 처리는 데이터가 발생하는 즉시 연속적으로 처리하여 지연 시간을 최소화하는 방식이다.
Kafka는 분산 로그 기반 메시징 플랫폼으로 높은 처리량과 내구성을 제공하는 데이터 허브다.
Flink는 상태 기반 스트림 처리 엔진으로 이벤트 시간, 체크포인팅, Exactly-once 처리에 강점을 가진다.

Ⅱ. 핵심 구성요소

Ⅰ. 개요
   1. 정의
   2. 실시간 서비스 요구 증가

Ⅱ. 핵심 구성요소
   1. 메시징과 처리 엔진
   2. 상태 관리와 신뢰성

Ⅲ. 특징 및 장단점
   1. 실시간성 향상과 이벤트 기반 아키텍처 구현
   2. 운영 복잡도와 상태 일관성 관리 부담

Ⅳ. 유사 기술과의 비교
   - 배치 처리 vs 스트리밍 처리 비교표

Ⅴ. 적용사례 및 향후전망
   1. 실시간 추천, 이상탐지, 로그 처리 플랫폼 구축
   2. Streaming lakehouse와 CDC 파이프라인 확대

해당 키워드의 기술적 구성요소와 동작 원리를 서술한다.

Ⅲ. 특징 및 비교

핵심 기술의 장단점과 유사 기술과의 차이를 분석한다.

Ⅳ. 적용 사례

실무 환경에서의 적용 사례와 기대효과를 제시한다.

Ⅴ. 전망

최신 기술 동향과 향후 발전 방향을 서술한다.