핵심 인사이트 (3줄 요약)
- 본질: Claude Shannon이 1948년 정립한 정보이론은 불확실성을 정량화하고, 통신·압축·암호화의 수학적 한계를 규정한다.
- 가치: 자기정보 I(x) = -log₂P(x) 비트라는 단 하나의 공식이 인터넷, 5G, AI 학습까지 연결되는 공통 언어다.
- 판단 포인트: 기술사 시험에서 '정보량·엔트로피·채널 용량·부호화 정리'는 묶음으로 출제된다 — 개념 간 인과 관계를 그릴 수 있어야 한다.
Ⅰ. 개요 및 필요성
1948년 클로드 섀넌 (Claude Shannon) 은 벨연구소 기술 저널에 "A Mathematical Theory of Communication"을 발표하며 정보이론 (Information Theory) 을 창시했다. 이 논문 이전에는 '정보'를 수학적으로 정의할 방법이 없었다.
정보이론이 해결한 세 가지 근본 질문
| 질문 | 답 | 공식·개념 |
|---|---|---|
| 메시지가 얼마나 많은 정보를 담는가? | 놀라운 사건일수록 정보량이 크다 | I(x) = -log₂P(x) bits |
| 평균 정보량의 최솟값은? | 확률 분포의 엔트로피 | H(X) = -Σ p·log₂p |
| 잡음 있는 채널을 오류 없이 얼마나 빠르게 전송할 수 있나? | 채널 용량 C가 상한 | C = B·log₂(1 + S/N) |
자기정보 (Self-Information)
사건 x가 발생했을 때 얻는 정보량:
I(x) = -log₂ P(x) [단위: bit]
- P(x) = 1 (확실한 사건) → I = 0 비트 (놀랍지 않음)
- P(x) = 0.5 (동전 앞면) → I = 1 비트
- P(x) = 1/8 → I = 3 비트 (드문 사건, 높은 정보량)
로그 밑이 2이면 비트 (bit), e이면 나트 (nat), 10이면 하틀리 (hartley) 단위가 된다.
📢 섹션 요약 비유: 정보량은 "깜짝 상자"와 같다 — 열어봤을 때 놀랄수록 (확률이 낮을수록) 상자 안 선물이 크다(정보량이 많다).
Ⅱ. 아키텍처 및 핵심 원리
섀넌 통신 모델
┌──────────┐ 메시지 ┌──────────┐ 신호 ┌──────────┐
│ 정보원 │──────────>│ 송신기 │─────────>│ 채널 │
│ (Source) │ │(Encoder) │ │(+ 잡음) │
└──────────┘ └──────────┘ └────┬─────┘
│ 수신 신호
┌────▼─────┐ 메시지 ┌──────────┐
│ 수신기 │──────────>│ 수신자 │
│(Decoder) │ │ (Sink) │
└──────────┘ └──────────┘
섀넌의 핵심 업적 연대표
1948년 ─────────────────────────────────────────────────────────────►
│
├─► 자기정보 I(x) = -log₂P(x) 정의
├─► 섀넌 엔트로피 H(X) = -Σ p·log₂p 정의
├─► 소스 부호화 정리 (압축 한계 = 엔트로피)
├─► 채널 부호화 정리 (오류 없는 전송 한계 = 채널 용량 C)
├─► 상호 정보량 I(X;Y) 정의
└─► 연속 채널 용량 C = B·log₂(1+S/N) (Shannon-Hartley 정리)
이진 채널 (Binary Channel)
가장 단순한 형태로, 입력 0 또는 1, 오류 확률 p인 이진 대칭 채널 (BSC, Binary Symmetric Channel):
0 ─────(1-p)────► 0
╲
(p)
╲
► 1
1 ─────(1-p)────► 1
╲
(p)
╲
► 0
BSC의 채널 용량: C = 1 - H(p) = 1 + p·log₂p + (1-p)·log₂(1-p)
📢 섹션 요약 비유: 섀넌 통신 모델은 "우편 시스템"과 같다 — 편지(정보원)를 봉투(인코더)에 넣어 도로(채널)로 보내고, 배달부(디코더)가 풀어 수신자에게 전달한다. 도로가 막히거나(잡음) 봉투가 젖으면(오류) 정보가 손실된다.
Ⅲ. 비교 및 연결
섀넌 이전과 이후 비교
| 항목 | 섀넌 이전 | 섀넌 이후 |
|---|---|---|
| 정보의 정의 | 주관적, 비공식 | -log₂P(x)로 객관화 |
| 압축 한계 | 경험적 | 엔트로피 H(X)가 하한 |
| 통신 오류 | 오류 없는 전송 불가라 믿음 | 채널 용량 C < 전송률이면 가능 |
| 응용 범위 | 전신·전화 | 인터넷, Wi-Fi, 5G, AI |
타 분야와의 연결
- 열역학: 볼츠만 엔트로피 S = k_B·ln(W) — 섀넌 엔트로피와 수학적으로 동일한 구조
- 통계학: 최대 엔트로피 원리 → 사전 지식이 없을 때 균등분포가 최선
- 머신러닝: 크로스 엔트로피 손실, KL (Kullback-Leibler) 다이버전스, 상호 정보량 기반 특성 선택
📢 섹션 요약 비유: 정보이론과 열역학 엔트로피의 관계는 "쌍둥이 형제"와 같다 — 얼굴(수식)이 똑같이 생겼지만 사는 세계(물리학 vs 수학)가 다르다.
Ⅳ. 실무 적용 및 기술사 판단
응용 영역별 섀넌 이론의 역할
| 분야 | 섀넌 이론 적용 | 구체적 기술 |
|---|---|---|
| 데이터 압축 | 소스 부호화 정리 | ZIP, JPEG, MP3, H.265 |
| 오류 정정 | 채널 부호화 정리 | 해밍 코드, LDPC, 폴라 코드 |
| 암호화 | 완전 비밀성(Perfect Secrecy) | 일회용 패드(OTP) |
| 머신러닝 | 크로스 엔트로피 손실 함수 | 신경망 분류기 학습 |
| 5G 통신 | 채널 용량 = B·log₂(1+S/N) | MIMO, 대역폭 설계 |
기술사 판단 포인트
- "압축률 한계는?" → 엔트로피 H(X)가 평균 부호 길이 하한
- "오류 없는 전송 조건은?" → 전송률 R < 채널 용량 C
- "AI 분류 손실 함수로 왜 크로스 엔트로피?" → 최대우도 추정(MLE)과 동치이기 때문
📢 섹션 요약 비유: 섀넌의 채널 용량은 "도로 용량"과 같다 — 차선 수(대역폭)와 도로 상태(S/N비)가 교통 처리량을 결정하고, 이를 초과하면 교통 체증(오류)이 반드시 발생한다.
Ⅴ. 기대효과 및 결론
정보이론은 디지털 문명의 수학적 토대다. 섀넌의 두 부호화 정리는 각각:
- 소스 부호화: 저장/전송 용량의 한계를 알려준다 (압축 가능 최대치)
- 채널 부호화: 신뢰성 있는 통신의 가능/불가능 경계를 그어준다
현재까지 폴라 코드 (Polar Code, 5G NR 제어 채널) 가 섀넌 한계에 가장 근접한 실용 코드로 평가된다. 양자 정보이론은 고전 정보이론을 양자 비트(qubit)로 확장하며 차세대 암호화·통신 기반을 형성하고 있다.
📢 섹션 요약 비유: 섀넌의 두 정리는 "교통공학의 두 법칙"과 같다 — "짐을 얼마나 작게 쌀 수 있는가(소스 부호화)"와 "도로가 얼마나 많은 차를 안전하게 보낼 수 있는가(채널 부호화)"를 동시에 최적화하는 것이 현대 통신 설계의 핵심이다.
📌 관련 개념 맵
| 개념 | 관련 개념 | 수식 |
|---|---|---|
| 자기정보 | 엔트로피, 확률 | I(x) = -log₂P(x) |
| 엔트로피 | 상호정보, 결합엔트로피 | H(X) = -Σ p log₂p |
| 채널 용량 | AWGN 채널, 대역폭 | C = B·log₂(1+S/N) |
| 소스 부호화 | 허프만, 산술 부호화 | L̄ ≥ H(X) |
| 채널 부호화 | LDPC, 폴라 코드 | R < C → 오류 없는 전송 가능 |
📈 관련 키워드 및 발전 흐름도
[자기정보]
│
▼
[엔트로피]
│
▼
[채널 용량]
│
▼
[소스 부호화]
이 흐름도는 선행 개념이 현재 개념으로 응축되고, 다시 확장 개념으로 이어지는 순서를 보여준다.
👶 어린이를 위한 3줄 비유 설명
- 정보량은 "깜짝 상자": 열었을 때 예상 못 한 것이 나올수록 상자가 크다 (희귀할수록 정보가 많다).
- 엔트로피는 "상자 크기의 평균": 여러 상자를 매일 열면, 평균적으로 얼마나 놀라는지를 나타낸다.
- 채널 용량은 "도로의 차선 수": 차선이 많고 도로가 좋을수록 동시에 많은 차(정보)를 보낼 수 있다.