1. 확률 (Probability) — 고전/상대도수/주관 확률

핵심 인사이트

확률은 "불확실성을 수로 표현하는 언어"다. 고전/빈도/주관이라는 세 가지 관점은 같은 수식을 서로 다른 세계관으로 해석한다. 콜모고로프 공리 (Kolmogorov Axioms) 는 세 관점을 하나의 수학적 지붕 아래 통합하여, P(A)가 어떤 의미이든 반드시 지켜야 할 최소 규칙을 제공한다. 알고리즘·AI에서 확률은 단순한 이론이 아니라, 랜덤 알고리즘·베이즈 네트워크·강화학습 등 핵심 설계 도구로 직결된다.

Ⅰ. 확률의 세 관점 — 무엇을 "확률"이라 부르는가

1-1. 고전적 확률 (Classical Probability, Laplace)

17~18세기 라플라스 (Laplace) 가 체계화한 가장 오래된 정의다.

전제: 표본공간 (Sample Space) Ω 의 모든 근원 사건 (Elementary Event) 이 동등하게 가능하다 (Equally Likely Outcomes).
정의: 사건 (Event) A 의 확률 P(A) = |A| / |Ω|
예시: 주사위 한 번 던질 때 짝수가 나올 확률 = 3/6 = 0.5

장점: 직관적, 계산 단순
한계: 동등 가능성을 가정할 수 없을 때 적용 불가 (편향된 동전 등)

1-2. 상대도수 확률 (Frequency Probability, Frequentist)

19~20세기 폰 미제스 (von Mises) 가 발전시킨 경험주의적 정의다.

정의: 동일 실험을 n번 반복했을 때, 사건 A 가 n(A) 번 발생하면
P(A) = lim_{n→∞} n(A) / n
예시: 불량률 측정 — 10,000개 중 35개 불량 → P(불량) ≈ 0.0035
장점: 물리적 실재에 기반, 실험 반복 가능한 경우 강력
한계: 반복 불가능한 사건 (지구온난화 2°C 도달 확률) 에는 적용 불가

1-3. 주관적 확률 (Subjective Probability, Bayesian)

정의: 특정 명제 또는 사건에 대한 믿음의 정도 (Degree of Belief) 를 0~1 로 표현
예시: "이 스타트업이 5년 내 흑자 전환할 확률은 40%다" — 반복 실험 없이 전문가 판단
장점: 반복 불가능한 사건에도 적용, 사전 지식 통합 가능
한계: 주관성, 사람마다 다른 값 가능

┌──────────────────────────────────────────────┐
│          세 가지 확률 관점 비교              │
├────────────┬──────────────┬──────────────────┤
│ 관점       │ 정의 기반    │ 대표 활용        │
├────────────┼──────────────┼──────────────────┤
│ 고전적     │ 동등 가능성  │ 주사위·카드 게임 │
│ 상대도수   │ 극한 비율    │ 품질관리·보험    │
│ 주관적     │ 믿음의 정도  │ 베이즈 추론·AI   │
└────────────┴──────────────┴──────────────────┘

📢 섹션 요약 비유: 같은 유리컵에 물이 반쯤 차 있을 때, "정확히 50% 찼다"(고전), "많이 채우면 항상 이렇다"(빈도), "내 경험상 절반쯤 될 것 같다"(주관)고 보는 것처럼, 세 관점은 같은 현상을 다른 렌즈로 읽는다.

Ⅱ. 표본공간과 사건 — 확률의 무대

용어	기호	설명
표본공간 (Sample Space)	Ω	모든 가능한 실험 결과의 집합
사건 (Event)	A, B	Ω 의 부분집합
근원 사건	{ω}	단원소 집합
전사건	Ω	반드시 발생
공사건 (Null Event)	∅	절대 발생 불가

표본공간 시각화 — 동전 2회 던지기

┌─────────────────────────────────────────┐
│  Ω = { HH, HT, TH, TT }                │
│                                         │
│  ┌─────────────┐   ┌─────────────┐     │
│  │    A: 앞면  │   │    B: 첫번째 │     │
│  │  1개 이상   │   │    앞면      │     │
│  │  {HH,HT,TH}│   │  {HH, HT}   │     │
│  │     ┌──────┴───┴──────┐       │     │
│  │     │  A∩B = {HH,HT} │       │     │
│  └─────┴─────────────────┴───────┘     │
│                                         │
│  P(A) = 3/4   P(B) = 2/4 = 1/2         │
│  P(A∪B) = P(A)+P(B)-P(A∩B)             │
│         = 3/4 + 2/4 - 2/4 = 3/4        │
└─────────────────────────────────────────┘

📢 섹션 요약 비유: 표본공간은 가능한 모든 시나리오가 담긴 메뉴판이고, 사건은 그 메뉴판에서 고른 항목들의 묶음이다.

Ⅲ. 콜모고로프 공리 — 확률의 헌법

세 관점의 차이에도 불구하고, 모든 확률은 다음 3가지 공리 (Axioms) 를 만족해야 한다.

비음성 (Non-negativity): P(A) ≥ 0 (확률은 음수일 수 없다)
정규화 (Normalization): P(Ω) = 1 (전체 확률의 합은 1)
가산 가법성 (Countable Additivity): A∩B = ∅ 이면 P(A∪B) = P(A) + P(B)

이 공리로부터 다음 결과들이 파생된다:

여사건 (Complement Event): P(Ā) = 1 - P(A)
단조성: A⊆B 이면 P(A) ≤ P(B)
덧셈 법칙 (Addition Rule): P(A∪B) = P(A) + P(B) - P(A∩B)
포함-배제 원리 (Inclusion-Exclusion Principle) 로 확장 가능

📢 섹션 요약 비유: 공리는 게임의 기본 규칙 — 점수는 음수가 안 되고, 전체 합은 100점이며, 겹치지 않는 항목들은 더해도 된다는 약속이다. 규칙이 있어야 공정하게 게임할 수 있다.

Ⅳ. 핵심 공식 정리

덧셈 법칙 상세

P(A∪B) = P(A) + P(B) - P(A∩B)

예시: 카드에서 하트 또는 에이스 뽑기
  P(하트) = 13/52
  P(에이스) = 4/52
  P(하트 에이스) = 1/52
  P(하트∪에이스) = 13/52 + 4/52 - 1/52 = 16/52 ≈ 0.308

확률 계산 절차

┌─────────────────────────────────────────────┐
│  Step 1: 표본공간 Ω 정의                    │
│      ↓                                      │
│  Step 2: 관심 사건 A 정의                   │
│      ↓                                      │
│  Step 3: 계산 방법 선택                     │
│      ├─ 고전: |A|/|Ω| 나열                  │
│      ├─ 빈도: 실험 데이터 수집              │
│      └─ 주관: 사전 지식 + 베이즈 추론       │
│      ↓                                      │
│  Step 4: 공리 검증 (0≤P≤1, ΣP=1)           │
└─────────────────────────────────────────────┘

공식	수식	사용 조건
고전 확률	P(A) = \|A\|/\|Ω\|	동등 가능 결과
덧셈 법칙	P(A∪B) = P(A)+P(B)-P(A∩B)	일반적 경우
배타적 덧셈	P(A∪B) = P(A)+P(B)	A∩B = ∅
여사건	P(Ā) = 1-P(A)	항상 성립

📢 섹션 요약 비유: 덧셈 법칙은 두 그룹의 사람을 셀 때 "양쪽 다 속한 사람"을 한 번 빼야 정확한 총인원이 되는 것과 같다.

Ⅴ. 알고리즘·AI에서의 확률 응용

확률적 알고리즘 (Randomized Algorithm)

Las Vegas 알고리즘: 항상 정답, 실행 시간이 확률적 (예: 랜덤 퀵정렬)
Monte Carlo 알고리즘: 실행 시간 확정, 오답 확률 허용 (예: 소수 판별 밀러-라빈 테스트)

베이즈 네트워크 (Bayesian Network)

확률 변수들의 조건부 독립 관계를 DAG (Directed Acyclic Graph) 로 표현
각 노드 P(Xᵢ | 부모 노드들) 형태의 조건부 확률 테이블 보유
의료 진단, 자연어 처리 (NLP, Natural Language Processing), 추천 시스템에 활용

강화학습 (Reinforcement Learning) 에서의 확률

환경 전이 확률 (Transition Probability): P(s'|s, a) — 상태 s 에서 행동 a 후 s' 로 이동할 확률
정책 (Policy): π(a|s) — 상태 s 에서 행동 a 를 선택할 확률

┌──────────────────────────────────────────────────────┐
│  알고리즘 설계에서 확률의 역할                        │
│                                                      │
│  결정론적 알고리즘          확률적 알고리즘           │
│  ┌─────────────┐           ┌─────────────────────┐   │
│  │ 같은 입력   │           │ 같은 입력           │   │
│  │    ↓        │           │    ↓                │   │
│  │ 같은 출력   │           │ 확률 분포에서 샘플  │   │
│  │ (결정적)    │           │    ↓                │   │
│  └─────────────┘           │ 기댓값 보장 결과    │   │
│                            └─────────────────────┘   │
│  QuickSort(최악 O(n²))  →  RandQuickSort(E[O(nlogn)])│
└──────────────────────────────────────────────────────┘

📢 섹션 요약 비유: 확률은 "될 것 같은 길"을 수치로 표현해서, AI가 수백만 개의 선택지 중 가장 그럴싸한 답을 고르게 해주는 나침반이다.

📌 관련 개념 맵

개념	연결 개념	관계
고전적 확률	조합론 (Combinatorics)	경우의 수 계산
상대도수 확률	대수의 법칙 (Law of Large Numbers)	극한 수렴
주관적 확률	베이즈 정리 (Bayes' Theorem)	사전→사후 업데이트
콜모고로프 공리	측도론 (Measure Theory)	수학적 기반
덧셈 법칙	포함-배제 원리	일반화
확률적 알고리즘	기댓값 분석	성능 보장

📈 관련 키워드 및 발전 흐름도

[고전적 확률]
    │
    ▼
[상대도수 확률]
    │
    ▼
[주관적 확률]
    │
    ▼
[콜모고로프 공리]

이 흐름도는 선행 개념이 현재 개념으로 응축되고, 다시 확장 개념으로 이어지는 순서를 보여준다.

👶 어린이를 위한 3줄 비유 설명

주사위를 던질 때 1이 나올 확률 1/6은, 눈 6개 중 1개니까 6번 중 1번꼴로 나온다는 약속이야.
확률은 0(절대 안 됨)부터 1(반드시 됨) 사이 숫자로, "얼마나 잘 될까"를 표현하는 점수야.
확률이 있으면 AI도 "이게 고양이일 확률 90%, 강아지일 확률 10%"처럼 자기 믿음을 숫자로 말할 수 있어.