핵심 인사이트
확률 변수 (Random Variable) 는 "실험의 결과를 숫자로 번역하는 함수"다 — 동전 앞뒷면이라는 질적 결과를 0/1 이라는 수치로 바꿔야 수학을 적용할 수 있다. 이산 (Discrete) 과 연속 (Continuous) 의 차이는 단순히 "정수 vs 실수"가 아니라, PMF (Probability Mass Function) 와 PDF (Probability Density Function) 라는 서로 다른 확률 표현 방식의 차이다. ML 모델의 출력(예: 소프트맥스 확률), 몬테카를로 시뮬레이션, 변분 추론 (Variational Inference) 은 모두 확률 변수 개념 위에 구축된다.
Ⅰ. 확률 변수의 정의와 구분
형식적 정의
확률 변수 X 는 표본공간 (Sample Space) Ω 에서 실수로의 측도 가능 함수 (Measurable Function):
X: Ω → ℝ
예시:
Ω = {HH, HT, TH, TT} (동전 2번)
X(HH) = 2, X(HT) = 1, X(TH) = 1, X(TT) = 0
→ X = "앞면 나온 횟수"
이산 vs 연속 비교
| 구분 | 이산 확률 변수 | 연속 확률 변수 |
|---|---|---|
| 값의 범위 | 셀 수 있는 유한·가산 집합 | 실수 구간 (연속체) |
| 확률 표현 | PMF (Probability Mass Function) | PDF (Probability Density Function) |
| 특정 값 확률 | P(X=x) > 0 가능 | P(X=x) = 0 (점 확률 없음) |
| 합산 방식 | Σ P(X=xᵢ) = 1 | ∫ f(x)dx = 1 |
| 예시 | 주사위 눈, 결함 개수 | 키, 온도, 시간 |
📢 섹션 요약 비유: 이산 확률 변수는 계단처럼 값이 뚝뚝 끊기는 엘리베이터이고, 연속 확률 변수는 부드럽게 이어지는 에스컬레이터다 — 타는 방법(계산법)이 다르다.
Ⅱ. 이산 확률 변수 — PMF와 CDF
PMF (Probability Mass Function, 확률 질량 함수)
P(X=x) = pₓ (각 이산 값에서의 확률 질량)
조건:
1. pₓ ≥ 0 (비음성)
2. Σₓ pₓ = 1 (정규화)
PMF 막대 그래프 (주사위 예시):
P(X=x)
1/6 ┤ ■ ■ ■ ■ ■ ■
┤ │ │ │ │ │ │
┼──────────────────────→ x
0 1 2 3 4 5 6
CDF (Cumulative Distribution Function, 누적 분포 함수)
F(x) = P(X ≤ x) = Σ_{t≤x} P(X=t)
성질:
- 단조 비감소 (Monotone Non-decreasing)
- F(-∞) = 0, F(+∞) = 1
- 오른쪽 연속 (Right-continuous)
주사위 CDF:
F(x)
1.0 ┤ ┌───────
5/6 ┤ ┌───┘
4/6 ┤ ┌───┘
3/6 ┤ ┌───┘
2/6 ┤ ┌─┘
1/6 ┤─┘
┼────────────────────→ x
0 1 2 3 4 5 6
📢 섹션 요약 비유: PMF 는 각 계단에 쌓인 눈의 높이이고, CDF 는 계단 아래부터 쌓인 누적 눈의 총량이다.
Ⅲ. 연속 확률 변수 — PDF와 구간 확률
PDF (Probability Density Function, 확률 밀도 함수)
연속형에서는 특정 점의 확률이 0이므로, 구간에서의 확률로 정의:
P(a ≤ X ≤ b) = ∫ₐᵇ f(x) dx
조건:
1. f(x) ≥ 0 (비음성)
2. ∫₋∞^{+∞} f(x) dx = 1 (정규화)
3. P(X=x) = 0 (점 확률 = 0)
주의: f(x) > 1 도 가능! (확률 밀도이지 확률이 아님)
PMF vs PDF 비교 다이어그램:
┌─────────────────────────────────────────────────────────┐
│ 이산 (PMF) 연속 (PDF) │
│ │
│ P(X=x) f(x) │
│ │ │ ╭───╮ │
│ │ ■ ■ │ ╭╯ ╰╮ │
│ │ │ │ ■ ■ │ ╭╯ ╰╮ │
│ │ │ │ │ │ ■ │ ╭╯ ╰╮ │
│ │ │ │ │ │ │ ■ │╭╯ ╰╮ │
│ └─────────────────→ x └───────────────→ x │
│ │
│ P(X=k) = 막대 높이 P(a≤X≤b) = 곡선 아래 넓이 │
└─────────────────────────────────────────────────────────┘
연속형 CDF
F(x) = P(X ≤ x) = ∫₋∞^x f(t) dt
역관계: f(x) = F'(x) = dF/dx (미분)
📢 섹션 요약 비유: PDF의 값이 "확률"이 아니라 "밀도"인 이유는, 키 175.000...cm 가 될 확률은 0이지만 175~176cm 구간에 있을 확률은 존재하기 때문이다 — 선이 아닌 면적이 확률이다.
Ⅳ. 기댓값과 분산 (간략 개요)
기댓값 (Expectation) E[X]
이산: E[X] = Σₓ x · P(X=x)
연속: E[X] = ∫ x · f(x) dx
분산 (Variance) Var[X]
Var[X] = E[(X-μ)²] = E[X²] - (E[X])² (계산 공식)
확률 변수 변환 (Transformation)
Y = g(X) 로 새로운 확률 변수를 만들 수 있다:
이산: P(Y=y) = Σ_{x: g(x)=y} P(X=x)
연속: f_Y(y) = f_X(g⁻¹(y)) · |dg⁻¹/dy| (변수 변환 공식)
예: X ~ Uniform(0,1), Y = -ln(X) → Y ~ Exponential(1)
(균등 분포 → 지수 분포 변환 — 역변환 샘플링에 사용)
📢 섹션 요약 비유: 확률 변수 변환은 "섭씨온도 데이터를 화씨로 바꾸는 것"처럼, 숫자 척도를 바꿔도 내부 분포 구조를 보존하는 함수 합성이다.
Ⅴ. 결합 분포·주변 분포·몬테카를로 응용
결합 분포 (Joint Distribution)
두 확률 변수 X, Y 의 동시 분포:
이산: P(X=x, Y=y) = p_{x,y}
연속: f_{X,Y}(x,y) (결합 PDF)
주변 분포 (Marginal Distribution)
결합 분포에서 한 변수를 주변화 (Marginalization):
이산: P(X=x) = Σᵧ P(X=x, Y=y)
연속: f_X(x) = ∫ f_{X,Y}(x,y) dy
┌──────────────────────────────────────────────────────┐
│ 결합 분포 → 주변 분포 │
│ │
│ Y↑ │ p₁₁ p₁₂ p₁₃ │ P(X=x₁) = Σⱼ p₁ⱼ │
│ │ p₂₁ p₂₂ p₂₃ │ P(X=x₂) = Σⱼ p₂ⱼ │
│ │ p₃₁ p₃₂ p₃₃ │ P(X=x₃) = Σⱼ p₃ⱼ │
│ └────────────────→ X │
│ P(Y=yⱼ) = Σᵢ pᵢⱼ (행을 따라 합산) │
└──────────────────────────────────────────────────────┘
몬테카를로 시뮬레이션 (Monte Carlo Simulation)
확률 변수를 활용한 수치 계산 기법:
- 목표: 복잡한 적분 또는 기댓값 계산
E[g(X)] = ∫ g(x)f(x)dx - 방법: X ~ f(x) 에서 N개 샘플 x₁,...,x_N 추출 후 평균화
E[g(X)] ≈ (1/N) Σᵢ g(xᵢ) (대수의 법칙으로 수렴) - 응용: 파생상품 가격 결정, 물리 시뮬레이션, 베이즈 사후 분포 추론
┌─────────────────────────────────────────────────────┐
│ 몬테카를로 π 추정 │
│ 단위 원 내부 점 개수 / 전체 점 개수 ≈ π/4 │
│ │
│ ┌───────────┐ │
│ │ . ● . ● │ ● : 원 내부 (성공) │
│ │● ╭──╮ .│ . : 원 외부 (실패) │
│ │. ╭╯ ╰╮●│ │
│ │●╭╯ ╰╮│ N개 균등 샘플 후 │
│ │.╰╮ ╭╯│ π ≈ 4 × (내부 수) / N │
│ │ .╰────╯ │ │
│ └───────────┘ │
└─────────────────────────────────────────────────────┘
📢 섹션 요약 비유: 몬테카를로는 "눈 감고 다트를 수천 번 던져서 원의 넓이를 측정하는 것"이다 — 수학으로 풀기 힘든 문제를 확률 변수 샘플링으로 근사한다.
📌 관련 개념 맵
| 개념 | 연결 개념 | 관계 |
|---|---|---|
| 확률 변수 | 확률 분포 | 변수 → 분포로 특성화 |
| PMF | 이항 분포, 포아송 분포 | 이산형 확률 분포의 기본 |
| 정규 분포, 지수 분포 | 연속형 확률 분포의 기본 | |
| CDF | 분위수 (Quantile), 백분위수 | 역함수로 분위수 계산 |
| 결합 분포 | 공분산, 상관 계수 | 두 변수 관계 표현 |
| 몬테카를로 | MCMC (Markov Chain Monte Carlo) | 고차원 확률 추론 |
📈 관련 키워드 및 발전 흐름도
[확률 변수 (Random Variable)]
│
▼
[PMF (Probability Mass Function)]
│
▼
[PDF (Probability Density Function)]
│
▼
[CDF (Cumulative Distribution Function)]
│
▼
[결합 분포 (Joint Distribution)]
이 흐름도는 확률 변수 (Random Variable)에서 출발해 결합 분포 (Joint Distribution)까지 이어지며, 중간 단계가 기초 개념을 실무 구조로 발전시키는 과정을 보여준다.
👶 어린이를 위한 3줄 비유 설명
- 확률 변수는 "동전 뒤집기 결과를 앞면=1, 뒷면=0으로 번역하는 기계"야 — 결과를 숫자로 바꿔야 계산할 수 있어.
- 이산형은 계단처럼 뚝뚝 끊기고, 연속형은 온도처럼 부드럽게 이어지는 차이야.
- 몬테카를로는 "무작위로 수천 번 해보고 통계로 답을 구하는" 게임이야 — 직접 계산 못 해도 많이 해보면 답이 나와.