23. CEP (Complex Event Processing) — 복합 이벤트 처리

핵심 인사이트 (3줄 요약)

본질: CEP (Complex Event Processing, 복합 이벤트 처리)는 연속적으로 발생하는 이벤트 스트림에서 단순 이벤트들의 패턴·순서·관계를 실시간으로 감지하여 비즈니스 의미를 갖는 복합 이벤트(Complex Event)를 도출하는 스트림 처리 기술이다.

가치: 개별 이벤트는 의미가 없어도 특정 순서나 조합으로 발생했을 때 위협·기회를 나타내는 고차원 패턴을 밀리초 단위로 탐지하여 금융 사기 탐지, IoT 장비 이상 감지, 실시간 마케팅 트리거에 활용한다.

판단 포인트: CEP 구현 시 시간 윈도우(Time Window) 정의와 이벤트 순서 보장(Event Ordering) 전략이 핵심 설계 결정이며, Apache Flink의 CEP 라이브러리나 Esper 엔진 선택 시 처리 지연(Latency)과 처리량(Throughput) 트레이드오프를 명확히 파악해야 한다.

Ⅰ. 개요 및 필요성

CEP (Complex Event Processing)는 분산 이벤트 소스에서 연속 발생하는 단순 이벤트(Simple Event)들을 실시간으로 분석하여, 특정 패턴에 부합하는 복합 이벤트(Complex Event)를 수 밀리초 내에 감지하고 즉각 대응하는 스트림 처리 패러다임이다.

기존 배치 처리는 데이터가 쌓인 후 분석하므로 이미 발생한 사기 거래나 장비 장애를 사후에 감지한다. CEP는 "3분 안에 5회 이상 인증 실패가 발생했고, 이후 이상 국가에서 로그인 시도"처럼 시간과 순서를 포함한 패턴을 실시간으로 감지하여 즉각 차단한다.

┌────────────────────────────────────────────────────────────┐
│              CEP 이벤트 처리 흐름                            │
├────────────────────────────────────────────────────────────┤
│                                                            │
│  이벤트 소스: [IoT 센서] [금융 거래] [웹 클릭] [로그]          │
│       │                                                    │
│       ▼                                                    │
│  이벤트 스트림 (Kafka / Kinesis / Pulsar)                   │
│       │                                                    │
│       ▼                                                    │
│  CEP 엔진 (Flink CEP / Esper / Drools Fusion)              │
│  ├─ 패턴 정의: PATTERN A → B → C (5초 이내)                 │
│  ├─ 시간 윈도우: 슬라이딩(Sliding) / 텀블링(Tumbling)        │
│  └─ 패턴 매칭: NFA (Non-Deterministic Finite Automaton)     │
│       │                                                    │
│       ▼                                                    │
│  복합 이벤트 감지 → 즉각 액션 (알림 / 차단 / 트리거)           │
└────────────────────────────────────────────────────────────┘

📢 섹션 요약 비유: CEP는 공항 보안 요원이 아닌 AI CCTV와 같다. 단순히 한 사람을 보는 게 아니라, "10분 전에 A구역을 지나고 → 5분 후 B구역에서 수상한 행동 → 지금 게이트 근처"의 패턴 전체를 즉각 탐지한다.

Ⅱ. 아키텍처 및 핵심 원리

CEP 패턴 언어 (Flink CEP 예시)

// 3분 이내 인증 실패 3회 후 해외 로그인 패턴
Pattern<LoginEvent, ?> suspiciousPattern = Pattern
    .<LoginEvent>begin("failures")
        .where(event -> event.getType() == FAILURE)
        .times(3)
    .within(Time.minutes(3))
    .followedBy("foreign_login")
        .where(event -> event.getCountry() != DOMESTIC);

시간 윈도우 유형

윈도우 유형	동작 방식	적용 사례
텀블링(Tumbling)	고정 크기, 겹침 없음	1분 단위 거래 집계
슬라이딩(Sliding)	고정 크기, 일정 간격 슬라이드	최근 5분 이동 평균
세션(Session)	비활성 간격으로 구분	사용자 세션 분석
글로벌(Global)	전체 스트림	이상값 누적 탐지

┌────────────────────────────────────────────────────────┐
│          텀블링 vs 슬라이딩 윈도우 시각화                 │
├────────────────────────────────────────────────────────┤
│                                                        │
│  [텀블링 윈도우 (5초)]                                  │
│  |──W1──|──W2──|──W3──|                               │
│  0s     5s    10s    15s                               │
│                                                        │
│  [슬라이딩 윈도우 (5초, 2초 슬라이드)]                   │
│  |──W1──|                                              │
│     |──W2──|                                           │
│        |──W3──|                                        │
│  0s  2s  4s  6s  8s                                    │
└────────────────────────────────────────────────────────┘

📢 섹션 요약 비유: 텀블링 윈도우는 매 시간 새로 시작하는 TV 프로그램(겹침 없는 구간)이고, 슬라이딩 윈도우는 영화관에서 10분마다 새 관람객을 받는 연속 상영(겹치는 구간)이다.

Ⅲ. 비교 및 연결

항목	CEP	배치 처리	단순 스트림 처리
감지 지연	밀리초	분~시간	초 단위
패턴 복잡도	다중 이벤트 순서·조합	단순 집계	단일 이벤트 처리
상태 관리	패턴 진행 상태 유지	없음	최소
대표 기술	Flink CEP, Esper	Spark Batch	Kafka Streams

Apache Flink는 CEP 라이브러리와 상태 저장 스트림 처리(Stateful Stream Processing)를 결합하여 산업 표준 CEP 플랫폼으로 자리 잡고 있다.

📢 섹션 요약 비유: CEP는 경찰의 프로파일러(연속 사건의 패턴 분석)이고, 배치 처리는 사건 종결 후 기록을 뒤지는 역사학자이며, 단순 스트림 처리는 현장 순찰대(단발 이벤트 대응)다.

Ⅳ. 실무 적용 및 기술사 판단

실무 시나리오: 실시간 금융 사기 탐지

카드사가 밀리초 단위 거래 승인 과정에서 CEP로 사기 패턴을 탐지한다.

패턴 정의: 동일 카드 번호로 5분 내 → 서로 다른 3개 국가 → 금액 > $1,000.
스트림 구성: Kafka 거래 토픽 → Flink CEP 엔진.
NFA 패턴 매칭: 위 조건 일치 시 → 사기 의심 이벤트 발행 → 카드 임시 차단 API 호출.
결과: 사기 탐지 지연 < 50ms, 오탐률(False Positive) < 0.1%.

체크리스트

이벤트 타임(Event Time) vs 처리 타임(Processing Time) 구분 → 네트워크 지연 고려 시 이벤트 타임 사용.
Flink CEP 상태 백엔드를 RocksDB로 설정 시 대규모 상태 저장 가능.
패턴 복잡도 증가 → NFA 상태 폭발(State Explosion) 주의 → 불필요한 패턴 가지치기 필수.

안티패턴

CEP 패턴을 너무 느슨하게 정의하여 오탐(False Positive)이 폭증하는 안티패턴. 오탐이 많으면 정상 거래가 차단되어 고객 불만이 급증한다. 패턴 정확도(Precision)와 재현율(Recall)의 균형을 A/B 테스트로 지속 조정해야 한다.
📢 섹션 요약 비유: CEP 패턴을 너무 넓게 잡는 건 공항 보안에서 가방을 든 사람을 모두 의심하는 것과 같다. 진짜 위험을 놓치지 않으면서 무고한 사람을 잡아두지 않는 정밀도의 균형이 중요하다.

Ⅴ. 기대효과 및 결론

기대효과	내용	수치
실시간 탐지	패턴 감지 지연 최소화	< 100ms
사기 손실 예방	이상 거래 즉각 차단	카드사 사기 손실 60% 감소
IoT 안전성	장비 이상 패턴 사전 탐지	다운타임 50% 감소

CEP는 AI/ML 이상 탐지 모델과 결합하여 규칙 기반 패턴 + ML 예측 점수를 함께 활용하는 하이브리드 실시간 탐지 체계로 진화하고 있다. 엣지 컴퓨팅(Edge Computing)과의 결합으로 클라우드에 데이터를 보내지 않고 현장에서 CEP 처리하는 엣지-CEP(Edge-CEP)도 부상하고 있다.

�� 섹션 요약 비유: CEP는 데이터의 세계에서 사건의 실마리를 잇는 명탐정 홈즈다. 단편적인 단서(이벤트) 하나하나를 연결하여, 범죄가 완성되기 전에 범인(이상 패턴)을 잡아낸다.

📌 관련 개념 맵

개념	연결 포인트
Apache Flink	상태 저장 스트림 처리 + CEP 라이브러리 제공
NFA (비결정 유한 오토마톤)	CEP 패턴 매칭의 내부 알고리즘
시간 윈도우	이벤트를 구간으로 묶는 CEP 핵심 메커니즘
Kafka	CEP 엔진에 이벤트를 공급하는 메시지 큐
이상 탐지 (Anomaly Detection)	CEP 규칙 기반 탐지와 ML 탐지를 결합한 하이브리드 방식

📈 관련 키워드 및 발전 흐름도

[단순 이벤트 처리 — 개별 이벤트 필터·집계]
    │
    ▼
[CEP — 다중 이벤트 패턴·순서·시간 복합 탐지]
    │
    ▼
[Apache Flink CEP — 분산 상태 저장 스트림 CEP]
    │
    ▼
[ML + CEP 하이브리드 — 규칙 + AI 예측 결합]
    │
    ▼
[Edge-CEP — 클라우드 없이 현장 실시간 패턴 탐지]

단순 이벤트 처리에서 다중 패턴 탐지, 분산 Flink CEP, ML 하이브리드를 거쳐 엣지-CEP로 진화하는 실시간 이벤트 처리의 흐름이다.

👶 어린이를 위한 3줄 비유 설명

CEP는 게임에서 콤보 공격을 인식하는 것처럼, 연속된 행동의 패턴을 순식간에 잡아내는 기술이에요!
"A 버튼 → B 버튼 → C 버튼을 5초 안에 누르면 특수 기술 발동!"처럼, 이벤트들이 정해진 순서와 시간 안에 발생하면 특별한 알림을 보내요.
이 기술 덕분에 신용카드 사기나 공장 기계 고장을 사람이 눈치채기 전에 컴퓨터가 먼저 발견할 수 있답니다!