227. XAI (eXplainable AI)

핵심 인사이트

본질: XAI (eXplainable AI, 설명 가능한 AI) 는 딥러닝(Deep Learning) 같은 블랙박스(Black-box) 모델의 예측 결과를 사람이 이해할 수 있는 방식으로 설명하는 기술 체계로, LIME (Local Interpretable Model-agnostic Explanations) 과 SHAP (SHapley Additive exPlanations) 이 가장 널리 사용된다.

가치: 금융 대출 거절, 의료 진단, 형사 재판 등 고위험 의사결정에서 AI가 "왜"라고 설명할 수 있어야 법적 의무(EU GDPR Article 22, EU AI Act)를 충족하고 신뢰를 얻을 수 있다.

판단 포인트: XAI는 완벽한 설명이 아니라 근사(Approximation) 설명임을 인식해야 한다. SHAP 값이 높다고 그 특성이 실제 인과관계를 갖는다는 의미는 아니며, 상관관계와 인과관계를 혼동하는 오해를 경계해야 한다.

Ⅰ. 개요 및 필요성

신경망(Neural Network) 기반의 딥러닝 모델은 수억~수천억 개의 파라미터가 상호작용하며 예측을 만들어 낸다. 이 예측이 왜 나왔는지를 내부적으로 추적하는 것은 사실상 불가능하다. 이것이 "블랙박스 문제"다.

블랙박스 AI가 의료·금융·채용에서 의사결정을 내릴 때, 이해관계자들은 정당한 이유를 요구한다. EU의 GDPR (General Data Protection Regulation) Article 22는 자동화된 의사결정에 의미 있는 설명을 제공할 의무를 부과하며, EU AI Act는 고위험 AI에 설명 가능성 요건을 추가했다. XAI는 이 규제적 필요를 기술로 해결하는 수단이다.

XAI는 규제 대응을 넘어 모델 디버깅과 품질 개선 도구로도 중요하다. SHAP 분석으로 모델이 잘못된 특성(예: 의료 기록의 날짜 형식)에 과도하게 의존하는 것을 발견하고 수정할 수 있다.

📢 섹션 요약 비유: XAI는 유리 두뇌를 AI에게 이식하는 기술이다. 블랙박스 AI의 뇌를 들여다볼 수는 없지만, XAI는 AI의 결정 과정을 옆에서 보고 설명서를 써주는 통역관이다.

Ⅱ. 아키텍처 및 핵심 원리

XAI 기법은 설명 범위에 따라 전역적(Global) 설명과 지역적(Local) 설명으로, 적용 방식에 따라 모델 비의존적(Model-agnostic)과 모델 의존적(Model-specific)으로 구분된다.

기법	유형	원리	장점	단점
SHAP	Local + Global	게임 이론 샤플리 값 기반 기여도 계산	이론적 일관성, 다양한 모델 지원	계산 비용 높음
LIME	Local	입력 근방 선형 근사 모델 생성	직관적, 빠름	불안정, 표본 의존적
Grad-CAM	Local	그래디언트 기반 히트맵 (이미지)	시각적 직관성	CNN 전용
Attention Map	Local	어텐션 가중치 시각화 (Transformer)	Transformer 모델 전용	인과관계 불명확
부분 의존도 플롯 (PDP)	Global	특성 값 변화에 따른 예측 변화	이해하기 쉬움	특성 독립 가정

┌──────────────────────────────────────────────────────────────────────┐
│              SHAP vs. LIME 핵심 원리 비교                              │
├─────────────────────────────┬────────────────────────────────────────┤
│           SHAP               │              LIME                      │
├─────────────────────────────┼────────────────────────────────────────┤
│ 이론적 배경: 협력 게임 이론    │ 이론적 배경: 국소 선형 근사             │
│ 샤플리 값 (Shapley Value)     │                                       │
│                              │                                       │
│ 아이디어:                     │ 아이디어:                              │
│ "이 특성이 예측에 기여한        │ "예측 근방에서 설명 가능한              │
│  공정한 기여분은 얼마인가?"     │  선형 모델로 근사하자"                 │
│                              │                                       │
│ φᵢ = Σ [|S|!(M-|S|-1)!/M!]  │ 설명 = argmin g∈G L(f, g, πₓ)        │
│      × [f(S∪{i}) - f(S)]    │       + Ω(g)                          │
│                              │                                       │
│ 특징:                         │ 특징:                                 │
│ ├─ 일관성 (Consistency) 보장  │ ├─ 계산 속도 빠름                      │
│ ├─ 전역+지역 설명 모두 가능    │ ├─ 텍스트·이미지에도 적용 가능          │
│ └─ 계산 비용 높음 (Tree SHAP  │ └─ 표본 선택에 따라 불안정              │
│    등으로 최적화 가능)          │                                       │
└─────────────────────────────┴────────────────────────────────────────┘

SHAP (SHapley Additive exPlanations) 은 협력 게임 이론에서 파생된 샤플리 값(Shapley Value)을 기반으로 각 입력 특성(Feature)이 예측값에 기여한 공정한 기여분을 계산한다. 예를 들어 대출 거절 모델에서 "소득 -0.3, 신용점수 -0.5, 직장경력 +0.2"처럼 각 특성의 기여분을 수치로 제시한다.

LIME (Local Interpretable Model-agnostic Explanations) 은 예측 근방의 입력 공간에서 새로운 표본을 생성하고, 그 표본들에 대한 블랙박스 모델의 예측을 단순한 선형 모델로 근사하여 설명을 제공한다.

📢 섹션 요약 비유: SHAP는 팀 프로젝트 기여도를 공평하게 배분하는 방식이다. 각 팀원(특성)이 없었다면 결과가 얼마나 달라졌을지 모든 조합을 고려해 공정한 점수를 준다. LIME은 복잡한 지형 지도를 내 위치 근처만 단순한 평면으로 그리는 것이다.

Ⅲ. 비교 및 연결

구분	전역 설명 (Global)	지역 설명 (Local)
설명 대상	모델 전체 동작 패턴	개별 예측 이유
사용 목적	모델 디버깅, 편향 탐지	개인 결정 설명, 이의 제기
대표 기법	SHAP Summary Plot, PDP	SHAP Force Plot, LIME
규제 적합성	모델 감사	GDPR 자동 결정 설명

XAI의 한계: 어떤 XAI 방법도 블랙박스 모델의 실제 내부 작동을 완전히 설명하지 못한다. SHAP 설명이 직관적으로 그럴듯해도, 그것은 통계적 상관관계에 기반한 근사 설명이다. 의사결정 지원에는 유용하지만 과학적 인과 추론과 혼동해서는 안 된다.

📢 섹션 요약 비유: XAI의 전역 설명은 숲 전체 지도이고, 지역 설명은 내가 서 있는 나무 주변 지도다. 둘 다 필요하지만, 지도가 지형 자체는 아니듯이 XAI 설명이 모델의 실제 작동 원리 그 자체는 아니다.

Ⅳ. 실무 적용 및 기술사 판단

규제 산업별 XAI 적용 전략

금융 (신용 평가·대출): EU GDPR에 따라 자동화 결정 거절 시 의미 있는 설명 제공 의무가 있다. SHAP Force Plot으로 "소득 대비 부채 비율이 기준치를 초과했기 때문에 거절됨" 같은 설명을 생성한다.
의료 (진단 보조 AI): 의사가 AI 진단을 수용·거부할 수 있도록 Grad-CAM 히트맵으로 AI가 주목한 X-Ray 영역을 시각화한다. 의사는 AI 근거를 보고 최종 판단한다.
인사 (채용 AI): SHAP 분석으로 모델이 성별·나이 같은 보호 특성에 의존하는지 주기적으로 감사한다. 의도치 않은 간접 차별(예: 특정 학교 출신을 프록시 특성으로 사용)을 탐지한다.
XAI 품질 평가: 설명의 신실성(Fidelity, 설명이 실제 모델 행동을 얼마나 잘 반영하는가), 안정성(Stability, 유사한 입력에 일관된 설명을 제공하는가), 이해 가능성(Comprehensibility)을 정량 평가한다.

기술사 판단 포인트: XAI는 단독 솔루션이 아니라 AI 거버넌스 체계의 일부다. 설명 가능성 요건을 처음 모델 설계 단계에서 요구사항으로 정의하고(Explainability-by-design), 배포 후 지속적으로 모니터링해야 한다.

📢 섹션 요약 비유: XAI 적용은 의사의 진료 기록 작성과 같다. 진단만 하고 이유를 안 쓰면 의료 분쟁 시 방어할 수 없다. AI도 결정을 내릴 때마다 "왜"를 기록(SHAP 값 저장)해야 나중에 감사와 이의 제기에 대응할 수 있다.

Ⅴ. 기대효과 및 결론

XAI를 도입한 조직은 모델 편향을 조기에 발견하고 수정하여 AI 의사결정의 품질과 공정성을 높인다. 규제 기관과 고객에게 AI 결정의 근거를 투명하게 제시함으로써 신뢰를 구축하고, AI 관련 소송 위험을 선제적으로 관리할 수 있다.

장기적으로 XAI는 반사실적 설명(Counterfactual Explanation, "소득이 500만원이었다면 대출이 승인되었을 것이다"), 인과 추론(Causal Inference), 멀티모달 설명(이미지+텍스트 통합 설명)으로 진화한다. 기술사는 XAI를 규제 대응 도구를 넘어 AI 모델 품질 향상과 신뢰 구축의 핵심 엔지니어링 역량으로 이해해야 한다.

📢 섹션 요약 비유: XAI가 성숙한 AI 서비스는 "블랙박스 AI 때문에 억울하다"는 민원이 없어진다. 모든 AI 결정에 납득 가능한 이유가 붙어, 사람들이 AI를 의심하지 않고 협력할 수 있게 된다.

📌 관련 개념 맵

개념	설명	연관 키워드
SHAP	샤플리 값 기반 특성 기여도 계산	Shapley Value, Tree SHAP, SHAP Summary
LIME	예측 근방 선형 근사로 지역 설명	국소 설명, 표본 생성, 근사 모델
Grad-CAM	CNN 그래디언트 기반 이미지 히트맵	이미지 분류, 의료 AI, 시각화
전역 설명 (Global)	모델 전체 특성 중요도 파악	PDP, SHAP Summary Plot, 편향 감사
지역 설명 (Local)	개별 예측 근거 제공	GDPR Article 22, 이의 제기 권리
반사실적 설명	"X가 달랐다면 결과는 Y였을 것"	인과 추론, 개선 가이드

👶 어린이를 위한 3줄 비유 설명

AI가 "넌 합격 못 했어"라고 하면, XAI가 옆에서 "성적이 낮아서 그래, 특히 수학이 부족해"라고 이유를 말해준다.
SHAP는 팀 축구 경기에서 각 선수가 득점에 얼마나 기여했는지 공정하게 계산하는 통계 시스템이다.
LIME은 복잡한 AI의 머릿속을 다 이해하기 힘드니까, 내가 궁금한 결정 하나만 근처에서 단순하게 설명해주는 방법이다.