507. 카오스 엔지니어링, 섀도 배포, 서킷 브레이커 (Chaos Engineering Shadow Deployment Circuit Breaker)

핵심 인사이트 (3줄 요약)

1. 본질: 클라우드 복원력(Resilience) 기술은 "장애가 일어나지 않을 것"을 가정하는 대신 "장애는 반드시 일어난다"를 전제로, 사전에 시스템을 검증하고 보호한다.
2. 가치: 카오스 엔지니어링(Chaos Engineering)은 프로덕션에서 의도적 장애를 주입하여 숨겨진 취약점을 미리 발견하고, 섀도 배포(Shadow Deployment)는 실제 사용자 영향 없이 새 버전을 검증한다.
3. 판단 포인트: 서킷 브레이커(Circuit Breaker)의 Open 상태 임계값 설정이 너무 민감하면 정상 요청도 차단되고, 너무 느슨하면 장애 전파를 막지 못한다.

Ⅰ. 개요 및 필요성

클라우드 분산 시스템에서 장애는 불가피하다. Netflix는 AWS로 전환한 뒤 서버 장애, 네트워크 분단, 의존 서비스 다운 등 예상치 못한 장애로 심각한 서비스 중단을 경험했다. 이 경험에서 탄생한 것이 카오스 엔지니어링이다.

복원력 3대 전략:

1. 사전 검증: 카오스 엔지니어링으로 약점 발견
2. 안전한 배포: 섀도/카나리/블루-그린 배포로 리스크 분산
3. 실시간 보호: 서킷 브레이커로 장애 전파 차단

• 📢 섹션 요약 비유: 복원력 설계는 소방 훈련과 같다 — 실제 화재가 나기 전에 연습하고(카오스), 새 소화기를 몰래 테스트하며(섀도 배포), 불이 번지면 자동으로 막는 방화문(서킷 브레이커)을 갖추는 것이다.

Ⅱ. 아키텍처 및 핵심 원리

서킷 브레이커 상태 전환:

          실패율 < 임계값           실패율 ≥ 임계값
┌──────────────────────────────────────────────────────┐
│                                                      │
│  ┌─────────┐  실패율 초과  ┌──────────┐              │
│  │ CLOSED  │────────────→ │  OPEN    │              │
│  │ (정상)  │              │ (즉시 거부)│              │
│  └─────────┘              └──────────┘              │
│       ↑                        │                    │
│  성공률 회복                  타임아웃 경과           │
│       │                        ↓                    │
│       └──────────────── ┌────────────┐              │
│                         │ HALF-OPEN  │              │
│                         │ (소수 허용) │              │
│                         └────────────┘              │
└──────────────────────────────────────────────────────┘

카오스 엔지니어링 실험 원칙:

1. 안정 상태(Steady State) 정의: 정상 시스템의 측정 가능한 지표(응답 시간 200ms 이하, 에러율 0.1% 이하)
2. 가설 수립: "서버 1대를 종료해도 안정 상태를 유지할 것이다"
3. 장애 주입: 서버 종료, 네트워크 지연 추가, 의존 서비스 응답 중단
4. 결과 측정: 안정 상태 유지 여부 확인, 이탈 시 약점 기록 및 개선

Netflix Chaos Monkey: K8s 클러스터에서 무작위로 Pod를 종료. Chaos Kong은 전체 AWS 가용 영역(AZ) 단위 장애 시뮬레이션.

• 📢 섹션 요약 비유: 카오스 엔지니어링은 백신 접종과 같다 — 약한 바이러스(모의 장애)를 주입해서 몸(시스템)이 미리 면역(복원력)을 키우게 한다.

Ⅲ. 비교 및 연결

섀도 배포(Shadow/Dark Launch) vs 카나리 배포:

• 섀도 배포: 실제 트래픽을 새 버전으로 미러링, 응답을 실제 사용자에게는 반환하지 않음. 사용자 영향 0%로 성능/정확성 테스트. 단, 부하가 2배 발생.
• 카나리 배포: 전체 트래픽의 5~10%만 새 버전으로 전환. 실제 사용자 일부 영향 있으나 조기 문제 발견. 점진적 확대.

블루-그린 배포: 두 개의 동일한 환경 운영. 트래픽을 Blue(구 버전)에서 Green(새 버전)으로 순간 전환. 문제 발생 시 DNS/로드밸런서 변경만으로 즉시 롤백 가능. 단, 인프라 비용 2배.

• 📢 섹션 요약 비유: 블루-그린은 새 레스토랑을 구 레스토랑 옆에 지어두고, 문을 바꿔 다는 것이다. 손님(트래픽)은 즉시 새 레스토랑으로 안내되고, 문제 시 옆 레스토랑 문을 다시 연다.

Ⅳ. 실무 적용 및 기술사 판단

기술사 시험 판단 포인트:

1. 카오스 엔지니어링의 4단계 실험 방법론(안정 상태 → 가설 → 주입 → 측정)을 체계적으로 기술한다.
2. 서킷 브레이커 세 상태 전환 조건과 폴백(Fallback) 응답 전략(캐시 응답, 기본값 반환)을 설명한다.
3. 섀도/카나리/블루-그린의 트레이드오프를 표로 정리하면 고득점 요인이다.

실무 시나리오: 결제 서비스 배포 시 — 섀도 배포로 1주일간 실제 트래픽 미러링 → 성능/정확도 이상 없음 확인 → 카나리 1% → 5% → 20% → 100% 순차 증가 → 각 단계에서 에러율과 응답 시간 모니터링 → 이상 시 즉시 카나리 비율 0%로 복구.

• 📢 섹션 요약 비유: 섀도 + 카나리 + 블루-그린 조합은 새 다리를 개통할 때 — 먼저 몰래 차를 1대 테스트(섀도)하고, 트럭 몇 대 통행(카나리)하다가, 구 다리 완전 철거(블루-그린 전환)하는 순서와 같다.

Ⅴ. 기대효과 및 결론

복원력 기술을 체계적으로 적용하면:

• 장애 MTTR(Mean Time to Repair) 단축: 자동 서킷 브레이커로 장애 감지~차단 시간 수 초
• 배포 리스크 최소화: 섀도/카나리로 프로덕션 영향 없이 새 버전 검증
• 선제적 약점 제거: 카오스 엔지니어링으로 장애 발생 전 취약점 식별
• SLA(서비스 수준 협약) 달성: 99.9~99.99% 가용성 목표 현실화

복원력 엔지니어링은 "장애를 막는 것"에서 "장애에서 빠르게 회복하는 것"으로 패러다임을 전환한다.

• 📢 섹션 요약 비유: 복원력 시스템은 아이언맨 수트처럼, 맞아도 쓰러지지 않는 구조다 — 장갑이 날아가도 수트 전체는 작동하고, 취약 부위를 미리 강화한다.

📌 관련 개념 맵

📈 관련 키워드 및 발전 흐름도

[Resilience4j · 폴백] → [카오스 엔지니어링 · 섀도 배포] → [DNS 전환 · 인프라 이중화]

👶 어린이를 위한 3줄 비유 설명

1. 카오스 엔지니어링은 지진 대피 훈련이에요 — 실제 지진 전에 연습해서, 진짜 지진이 나도 당황하지 않도록 해요.
2. 섀도 배포는 새 선생님이 수업을 몰래 참관하는 것처럼, 학생들(사용자)은 모르지만 미리 실력을 검증해요.
3. 서킷 브레이커는 두꺼비집이에요 — 전기(요청)가 너무 많이 흐르면 자동으로 끊어서 집 전체가 타지 않게 해요.