핵심 인사이트
독립 (Independence) 과 상호 배타 (Mutual Exclusivity) 는 혼동하기 쉽지만 정반대 개념이다 — 상호 배타 사건은 하나가 일어나면 다른 하나의 확률이 0이 되므로 오히려 강하게 종속적이다. 조건부 독립 (Conditional Independence) 은 나이브 베이즈·베이즈 네트워크·마르코프 모델의 핵심 가정으로, AI 모델 설계에서 계산 복잡도를 지수적으로 줄여준다. 베르누이 시행 (Bernoulli Trial) 의 반복에서 독립성 가정이 이항 분포를 비롯한 여러 분포의 수학적 기반을 형성한다.
Ⅰ. 독립의 수학적 정의
정의 — 두 사건의 독립
사건 A와 B가 독립 (Independent) 이면:
P(A∩B) = P(A) · P(B)
동치 조건:
P(A|B) = P(A) (B를 알아도 A의 확률이 변하지 않음)
P(B|A) = P(B) (A를 알아도 B의 확률이 변하지 않음)
직관: B가 발생했다는 정보가 A의 확률을 전혀 바꾸지 않을 때, 두 사건은 독립이다.
예시:
- 동전 두 번 던지기: 첫 번째 앞면 여부는 두 번째 결과와 독립
- 두 서로 다른 컴퓨터의 CPU 고장: (동일 환경이 아니라면) 독립 가정 가능
┌──────────────────────────────────────────────────────┐
│ 독립 vs 상호 배타 — 벤 다이어그램 비교 │
│ │
│ [ 독립 사건 ] │
│ ┌─────────────────────────────────────────┐ │
│ │ Ω │ │
│ │ ┌─────┐ │ │
│ │ │ A │ ┌─────┐ │ │
│ │ │ ┌──┴──┐ │ │ │ │
│ │ └──┤A∩B ├──────┘ B │ │ │
│ │ └─────┘ │ │ │
│ │ P(A∩B) = P(A)·P(B) > 0│ │ │
│ └─────────────────────────────────────────┘ │
│ │
│ [ 상호 배타 사건 ] │
│ ┌─────────────────────────────────────────┐ │
│ │ Ω │ │
│ │ ┌─────┐ ┌─────┐ │ │
│ │ │ A │ │ B │ │ │
│ │ │ │ │ │ A∩B = ∅ │ │
│ │ └─────┘ └─────┘ │ │
│ │ P(A∩B) = 0 P(A|B) = 0 │ │
│ └─────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────┘
📢 섹션 요약 비유: 독립은 "내 점심 메뉴가 날씨에 영향받지 않는 것"이고, 상호 배타는 "주사위 한 번에 1과 6이 동시에 나올 수 없는 것"이다 — 전혀 다른 개념이다.
Ⅱ. 상호 배타 — 동시 불가능
정의
사건 A와 B가 상호 배타 (Mutually Exclusive) 이면:
P(A∩B) = 0 → A와 B는 동시에 발생 불가
결과:
P(A∪B) = P(A) + P(B) (덧셈 법칙 단순화)
P(A|B) = 0 (B가 일어나면 A는 절대 불가)
핵심 구별 — 상호 배타 ≠ 독립:
| 독립 (Independent) | 상호 배타 (Mutually Exclusive) | |
|---|---|---|
| P(A∩B) | = P(A)·P(B) > 0 | = 0 |
| P(A|B) | = P(A) (무관) | = 0 (종속!) |
| 관계 | 영향 없음 | 강하게 종속 |
| 예시 | 동전 두 개 던지기 | 주사위 한 번에 홀수/짝수 |
왜 상호 배타 사건은 종속인가?
B가 발생했을 때 A의 확률:
P(A|B) = P(A∩B)/P(B) = 0/P(B) = 0
하지만 P(A) > 0 이므로
P(A|B) = 0 ≠ P(A) → 종속!
비복원 추출 (Sampling Without Replacement) 에서 각 단계의 사건들은 이전 결과에 종속된다.
📢 섹션 요약 비유: 상호 배타는 "결혼식과 장례식을 같은 날 같은 장소에서 동시에 열 수 없는 것"이다 — 완전히 서로를 배제하므로, 하나가 일어나면 다른 하나는 절대 불가능하다.
Ⅲ. 독립의 확장 개념
쌍별 독립 (Pairwise Independence)
모든 쌍 (i,j) 에 대해 P(Aᵢ∩Aⱼ) = P(Aᵢ)·P(Aⱼ) 이지만, 전체 상호 독립은 보장 안 됨.
반례: 동전 두 번 던지기에서
- A = {첫 번째 앞면}, B = {두 번째 앞면}, C = {두 결과가 같음}
- A,B,C는 쌍별 독립이지만, P(A∩B∩C) ≠ P(A)·P(B)·P(C)
상호 독립 (Mutual Independence)
더 강한 조건: 모든 부분집합에 대해 독립 성립
P(Aᵢ₁∩Aᵢ₂∩...∩Aᵢₖ) = P(Aᵢ₁)·P(Aᵢ₂)·...·P(Aᵢₖ)
임의의 k와 인덱스 선택에 대해
조건부 독립 (Conditional Independence)
C가 주어졌을 때, A와 B가 조건부 독립 이면:
P(A∩B|C) = P(A|C) · P(B|C)
동치: P(A|B,C) = P(A|C)
┌─────────────────────────────────────────────────────┐
│ 조건부 독립의 구조 │
│ │
│ C(공통 원인) │
│ │ │
│ ┌──┴───┐ │
│ ↓ ↓ │
│ A B │
│ │
│ C를 모를 때: A↔B 상관 있음 (C를 통해 연결) │
│ C를 알 때: A⊥B|C (조건부 독립) │
│ │
│ 예: 아이스크림 판매(A)와 수영장 익사(B)는 상관 있음 │
│ 하지만 날씨(C)를 알면 조건부 독립 │
└─────────────────────────────────────────────────────┘
📢 섹션 요약 비유: 조건부 독립은 "공통 원인(날씨)을 알고 나면, 아이스크림 판매량과 익사 사고 수가 서로 무관해지는 것"이다 — 중간 연결고리를 알면 겉보기 상관이 사라진다.
Ⅳ. 나이브 베이즈에서의 독립 가정
나이브 베이즈 (Naive Bayes) 분류기는 "모든 특징(Feature)이 클래스 레이블 Y에 대해 조건부 독립"이라는 강한 가정을 사용한다.
P(X₁,X₂,...,Xₙ|Y) = Π P(Xᵢ|Y) (조건부 독립 가정)
이 가정 덕분에:
원래 필요한 파라미터 수: O(2^n) (모든 조합)
가정 후 필요한 파라미터 수: O(n) (각 특징 개별)
실제로 독립이 아니어도 나이브 베이즈가 잘 동작하는 이유:
- 분류에 필요한 것은 정확한 확률값이 아니라 최대 클래스의 순서 (Ranking)
- 과대추정/과소추정이 상쇄되는 경우 많음
- 학습 데이터 적을 때 과적합 (Overfitting) 방지 효과
📢 섹션 요약 비유: 나이브 베이즈는 "요리사의 재료 목록만 보고 맛을 예측하는 것"이다 — 재료들이 실제로 서로 영향을 주지 않는다(독립)고 가정하지만, 실전에서는 놀라울 만큼 잘 맞는다.
Ⅴ. 베르누이 시행과 독립 실험
베르누이 시행 (Bernoulli Trial)
- 결과가 성공(1) 또는 실패(0)인 단일 실험
- 성공 확률 p, 실패 확률 1-p 로 고정
- 각 시행은 독립이어야 함
n번 독립 베르누이 시행에서 k번 성공:
P(X=k) = C(n,k) · p^k · (1-p)^(n-k)
→ 이항 분포 (Binomial Distribution) B(n,p)
독립 가정이 깨질 때의 위험
| 상황 | 독립 가정 위반 | 결과 |
|---|---|---|
| 주식 수익률 — 금융 위기 | 상관이 1에 수렴 | 포트폴리오 분산 효과 소멸 |
| 스팸 단어들 | 공동 출현 패턴 | 나이브 베이즈 확률 과소추정 |
| A/B 테스트 사용자 | 사회적 전염 (viral) | 검정 결과 오염 |
| 센서 데이터 | 시계열 자기상관 | 이항 분포 모델 부적합 |
📢 섹션 요약 비유: 독립 가정은 "이번 주 로또 번호가 지난 주 번호와 무관하다"는 것처럼, 각 시행이 서로를 기억하지 않는다는 약속이다 — 이 약속이 깨지면 모든 이항 분포 계산이 틀려진다.
📌 관련 개념 맵
| 개념 | 연결 개념 | 관계 |
|---|---|---|
| 독립 | 조건부 확률 변화 없음 | 정의 |
| 상호 배타 | 교집합 = ∅ | 정의 |
| 조건부 독립 | 나이브 베이즈, 베이즈 네트워크 | 계산 단순화 핵심 |
| 베르누이 시행 | 이항 분포, 기하 분포 | 수학적 기반 |
| 쌍별 독립 | 상호 독립 | 약한/강한 독립의 차이 |
| 비복원 추출 | 초기하 분포 (Hypergeometric) | 종속 추출의 분포 |
📈 관련 키워드 및 발전 흐름도
[:---]
│
▼
[독립]
│
▼
[상호 배타]
│
▼
[조건부 독립]
│
▼
[베르누이 시행]
│
▼
[쌍별 독립]
│
▼
[비복원 추출]
이 흐름도는 :---에서 출발해 쌍별 독립까지 이어지며, 중간 단계가 기초 개념을 실무 구조로 발전시키는 과정을 보여준다.
👶 어린이를 위한 3줄 비유 설명
- 독립은 "첫 번째 동전이 앞면이 나와도 두 번째 동전에 아무 영향이 없는 것"이야.
- 상호 배타는 "주사위 한 번에 1과 2가 동시에 나올 수 없는 것"처럼 둘이 절대 같이 못 일어나.
- 상호 배타 사건은 독립이 아니야 — 하나가 일어나면 다른 하나는 절대 못 일어나니까 서로 강하게 영향을 주는 거야.