메모리 계층, MMU, TLB

출제 빈도: ★★★★★ | ★135회 기출

답안.

Ⅰ. 개요

메모리 계층(Memory Hierarchy)은 속도·용량·비용의 트레이드오프에 따라 레지스터→캐시→주기억→보조기억 순으로 구성되는 저장장치 구조이다. CPU가 요구하는 데이터의 대부분을 상위 계층에서 공급함으로써 평균 접근 시간을 단축하는 것이 핵심 원리이다.

Ⅱ. 메모리 계층 구조

           ┌─────────┐
           │Register │ ← ~0.3ns, KB
           ├─────────┤
           │ L1 Cache│ ← ~1ns, 64KB
           ├─────────┤
           │ L2 Cache│ ← ~5ns, 256KB~1MB
           ├─────────┤
           │ L3 Cache│ ← ~20ns, 수~수십 MB
           ├─────────┤
           │  DRAM   │ ← ~100ns, 수~수백 GB
           ├─────────┤
           │SSD/HDD  │ ← ~μs~ms, TB~PB
           └─────────┘
           속도↑ 용량↓ 비용/bit↑

지역성 원리가 메모리 계층을 가능하게 한다. 시간적 지역성(Temporal Locality)은 최근 접근 데이터가 곧 재접근될 확률이 높다는 것이고, 공간적 지역성(Spatial Locality)은 인접 주소가 함께 접근되는 경향이다.

Ⅲ. MMU와 TLB

MMU(Memory Management Unit)는 가상 주소를 물리 주소로 변환하는 하드웨어 장치이다. 페이지 테이블을 참조하여 변환을 수행하며, 이 과정에서 발생하는 메모리 접근 오버헤드를 줄이기 위해 TLB(Translation Lookaside Buffer)를 사용한다.

가상주소 → [TLB 조회] → Hit → 물리주소 → 캐시/메모리
                      → Miss → [페이지 테이블 참조]
                              → Valid → TLB 갱신 → 물리주소
                              → Invalid → 페이지 폴트 → 디스크 I/O

구분	MMU	TLB
역할	가상→물리 주소 변환	변환 결과 캐싱
위치	CPU 내부 하드웨어	MMU 내부 연관 캐시
미스 시	페이지 테이블 워킹	MMU가 페이지 테이블 참조
성능 영향	변환 정확성 보장	변환 속도 결정 (적중률 99%+)

Ⅳ. 가상 메모리와 페이지 관리

가상 메모리는 물리 메모리보다 큰 주소 공간을 프로세스에 제공하며, 페이지 단위(4KB~2MB)로 관리한다. 다단계 페이지 테이블(2~5 level)로 테이블 크기를 절감하며, Huge Page(2MB/1GB)로 TLB 커버리지를 확대한다.

Ⅴ. 최신 동향

HBM(High Bandwidth Memory)은 3D 적층으로 대역폭을 극대화하여 AI 가속기(H100: HBM3 80GB, 3.35TB/s)에 적용된다. CXL(Compute Express Link)은 PCIe 기반 메모리 풀링으로 서버 간 메모리 공유를 가능하게 하여 메모리 계층의 새로운 레벨을 형성한다.

관련: 캐시 매핑(12번) · 페이지 교체(21번) · 스래싱(22번) · HBM(18번) · CXL(19번)