307. 메모리 보호 (Memory Protection)

핵심 인사이트 (3줄 요약)

본질: 메모리 보호 (Memory Protection)는 프로세스가 허가된 주소 범위와 허가된 동작만 수행하게 강제하여, 잘못된 접근이 시스템 전체 장애로 번지지 않게 막는 하드웨어-운영체제 협력 메커니즘이다.

가치: 같은 물리 메모리 위에 여러 프로그램이 동시에 올라가도, 사용자 영역과 커널 영역을 분리하고 읽기·쓰기·실행 권한을 세분화함으로써 안정성, 보안성, 디버깅 가능성을 함께 확보한다.

판단 포인트: 메모리 보호의 핵심은 “주소를 변환한다”가 아니라 “접근의 정당성을 판정한다”에 있으며, 페이지 테이블 권한 비트와 예외 처리 정책이 느슨하면 가상 메모리만 있어도 안전하지 않다.

Ⅰ. 개요 및 필요성

메모리 보호 (Memory Protection)는 CPU (Central Processing Unit)가 어떤 주소를 읽거나 쓰거나 실행하려 할 때, 그 접근이 해당 프로세스의 권한 범위 안에 있는지 검사하는 통제 장치다. 멀티프로그래밍 이전의 단순 시스템에서는 한 프로그램의 버그가 곧 시스템 전체 버그였지만, 현대 운영체제는 여러 사용자 프로그램과 커널이 동시에 메모리를 공유하므로 “누가 어디까지 만질 수 있는가”를 명확히 나눠야 한다.

이 보호 장치가 없으면 문제는 두 방향으로 폭발한다. 첫째, 실수로 잘못된 포인터를 따라간 프로그램이 다른 프로세스의 데이터나 운영체제 핵심 구조를 덮어쓸 수 있다. 둘째, 악의적 코드가 비밀번호, 세션 키, 커널 코드 같은 민감 영역을 읽거나 실행해 권한 상승으로 이어질 수 있다. 즉 메모리 보호는 성능 최적화 옵션이 아니라, 멀티태스킹과 보안 운영의 출발점이다.

아래 그림은 메모리 접근이 단순히 “주소→데이터”로 끝나지 않고, 중간에 권한 판정 계층을 반드시 거친다는 점을 보여준다.

┌──────────────────────────────────────────────────────────────────────┐
│            메모리 보호의 본질: 접근 전에 반드시 자격 심사           │
├──────────────────────────────────────────────────────────────────────┤
│ 사용자 프로세스                                                     │
│   load / store / fetch 요청                                         │
│            │                                                         │
│            ▼                                                         │
│   가상 주소 (Virtual Address) + 접근 종류 (R / W / X)               │
│            │                                                         │
│            ▼                                                         │
│ MMU (Memory Management Unit)                                         │
│   ├─ 주소 변환 가능? ──────────────── 아니오 ─▶ 예외 처리            │
│   ├─ 현재 모드 권한 적합? ─────────── 아니오 ─▶ 보호 위반            │
│   └─ 페이지 권한 비트 일치? ──────── 아니오 ─▶ Segmentation Fault    │
│            │                                                         │
│            예                                                        │
│            ▼                                                         │
│ 물리 메모리 (Physical Memory) 접근 허용                             │
└──────────────────────────────────────────────────────────────────────┘

중요한 점은, 메모리 보호가 메모리 부족 문제를 해결하는 기능이 아니라 잘못된 접근의 파급 범위를 국소화하는 기능이라는 사실이다. 프로그램 하나는 죽을 수 있어도 시스템 전체는 살아남게 만드는 것이 목표다.

📢 섹션 요약 비유: 메모리 보호는 도서관 좌석표와 같다. 모두 같은 건물 안에 있지만, 내 좌석에서만 공부할 수 있고 서고나 사서실까지 마음대로 들어가면 즉시 제지당한다.

Ⅱ. 아키텍처 및 핵심 원리

메모리 보호는 보통 세 층이 함께 동작할 때 완성된다. 첫째는 실행 모드 분리이고, 둘째는 주소 공간 분리, 셋째는 페이지 단위 권한 분리다. 운영체제는 이 정책을 페이지 테이블에 기록하고, MMU는 실제 접근 순간마다 그 정책을 기계적으로 집행한다.

1) 보호를 이루는 핵심 구성 요소

구성 요소	역할	설계 포인트
특권 모드 (Privileged Mode)	사용자 모드와 커널 모드를 구분	사용자 코드의 직접 커널 접근 차단
페이지 테이블 엔트리 (Page Table Entry, PTE)	페이지별 주소 매핑과 권한 정보 보관	Read / Write / Execute, User / Supervisor 비트
메모리 관리 장치 (Memory Management Unit, MMU)	주소 변환과 권한 검사 수행	모든 메모리 접근의 실시간 심사
변환 색인 버퍼 (Translation Lookaside Buffer, TLB)	최근 변환 결과와 권한 캐시	성능 저하 없이 보호 정보 재사용
예외 처리기 (Exception Handler)	위반 시 커널로 제어 이전	프로세스 종료, 신호 전달, 로그 기록

과거의 베이스/리미트 (Base/Limit) 레지스터 방식은 “프로세스마다 허용된 연속 주소 범위”만 검사했다. 반면 현대 페이징 기반 보호는 각 페이지마다 읽기(Read), 쓰기(Write), 실행(Execute), 사용자 접근(User) 여부를 따로 적어 훨씬 세밀하게 제어한다. 그래서 코드 영역은 읽기·실행만 허용하고, 데이터 영역은 읽기·쓰기만 허용하는 식의 세분화가 가능하다.

2) 실제 접근이 판정되는 흐름

아래 그림은 한 번의 메모리 접근이 권한 비트와 실행 모드를 어떻게 함께 통과하는지 보여준다.

┌──────────────────────────────────────────────────────────────────────┐
│                페이지 기반 메모리 보호의 판정 흐름                  │
├──────────────────────────────────────────────────────────────────────┤
│ CPU가 명령 수행                                                     │
│   │                                                                  │
│   ├─ 명령 인출(Execute)                                              │
│   ├─ 데이터 읽기(Read)                                               │
│   └─ 데이터 쓰기(Write)                                              │
│            │                                                         │
│            ▼                                                         │
│ TLB 조회 ── 적중 ─▶ 권한 확인 ── 통과 ─▶ 메모리 접근 허용            │
│   │                                                                  │
│   └─ 실패                                                            │
│       ▼                                                              │
│   PTE 조회                                                           │
│   ├─ Present = 0          ─▶ Page Fault                              │
│   ├─ User = 0, 사용자 모드 ─▶ Protection Fault                       │
│   ├─ Write = 0, 쓰기 시도 ─▶ Protection Fault                        │
│   ├─ Execute = 0, 실행 시도 ─▶ NX Fault                              │
│   └─ 조건 충족              ─▶ TLB 갱신 후 접근 허용                 │
└──────────────────────────────────────────────────────────────────────┘

여기서 중요한 구분은 페이지 부재 (Page Fault) 와 보호 위반 (Protection Fault) 이 다르다는 점이다. 페이지 부재는 “해당 페이지가 아직 메모리에 없다”는 상태 문제라면, 보호 위반은 “메모리에 있더라도 네가 그렇게 접근할 권한이 없다”는 정책 문제다. 두 예외를 구분해야 운영체제가 페이지를 적재할지, 프로세스를 종료할지 올바르게 결정할 수 있다.

또한 현대 보안에서는 W^X (Write xor Execute) 정책이 핵심이다. 하나의 페이지를 동시에 쓰기 가능하고 실행 가능하게 두지 않으면, 공격자가 데이터 영역에 심어 둔 코드를 그대로 실행하기 어려워진다. 이처럼 메모리 보호는 단순한 안정화 기술을 넘어, 실행 제어 기반 보안 모델로 확장된다.

📢 섹션 요약 비유: 메모리 보호는 공항 출입 통제와 같다. 비행기 표만 있다고 활주로까지 들어가는 것이 아니라, 구역마다 다른 출입 권한과 검색 절차를 통과해야 한다.

Ⅲ. 비교 및 연결

메모리 보호를 제대로 이해하려면 비슷해 보이는 개념들과 경계를 분명히 해야 한다. 특히 보호 (Protection), 격리 (Isolation), 메모리 안전성 (Memory Safety) 은 연결되지만 같은 말이 아니다.

비교 항목	메모리 보호 (Protection)	주소 공간 격리 (Isolation)	메모리 안전성 (Memory Safety)
초점	접근 권한 통제	프로세스별 공간 분리	언어 차원의 잘못된 참조 방지
구현 주체	MMU, PTE, 특권 모드	가상 주소 공간, 페이지 테이블 분리	컴파일러, 런타임, 타입 시스템
막는 문제	무단 읽기/쓰기/실행	다른 프로세스 메모리 침범	범위 초과, use-after-free
한계	논리 버그 자체는 못 막음	같은 프로세스 내부 오염은 남음	시스템 프로그래밍 비용 증가

예를 들어 C (C Programming Language) 프로그램이 자기 프로세스 내부 스택을 잘못 덮어쓰는 문제는 메모리 보호만으로 완전히 막을 수 없다. 운영체제는 “남의 집에 들어가는 행위”는 막아도, “내 집 안에서 가구를 부수는 행위”까지 다 고쳐 주지는 못한다. 그래서 실제 시스템 안정성은 하드웨어 보호, 운영체제 격리, 언어 수준 안전성이 층층이 쌓여야 높아진다.

아키텍처 관점에서는 보호 기법도 세대별로 발전했다. 베이스/리미트는 구현이 단순하지만 연속 영역만 보호하기 쉽고, 세그멘테이션 (Segmentation)은 논리 단위 보호에 유리하지만 외부 단편화와 관리 복잡도가 크다. 페이징 (Paging)은 고정 크기 페이지로 보호와 가상 메모리를 결합해 가장 범용적인 구조가 되었다.

방식	장점	약점	오늘날 위치
Base/Limit	하드웨어 단순, 빠른 검사	세밀한 권한 분리 어려움	교육용·초기 모델
세그멘테이션 (Segmentation)	코드/데이터/스택 의미 반영 용이	외부 단편화, 관리 복잡	보조 개념 또는 제한적 사용
페이징 (Paging)	보호와 가상 메모리 결합, 세밀한 권한	페이지 테이블 비용, TLB 의존	현대 운영체제 표준

또한 메모리 보호는 보안 기법과 자연스럽게 이어진다. NX (No-eXecute) 비트는 데이터 페이지의 실행을 막고, ASLR (Address Space Layout Randomization)은 공격자가 정확한 목표 주소를 예측하기 어렵게 만든다. 둘은 성격이 다르지만 함께 써야 효과가 크다. NX는 “들어와도 실행 못 하게” 막고, ASLR은 “애초에 어디를 노려야 할지 모르게” 만든다.

📢 섹션 요약 비유: 메모리 보호가 자물쇠라면, 주소 공간 격리는 집을 나누는 담장이고, 메모리 안전성은 집 안에서 칼을 안전하게 쓰는 생활 습관이다.

Ⅳ. 실무 적용 및 기술사 판단

실무에서 메모리 보호는 이론보다 훨씬 구체적인 장애와 연결된다. 대표적인 사례는 읽기 전용 코드/상수 영역, 가드 페이지 (Guard Page), 공유 메모리의 선택적 권한 부여다. 중요한 판단은 “모든 접근을 허용한 뒤 성능을 얻을 것인가”가 아니라, “어디까지 열어도 안전한가”를 먼저 정하는 것이다.

실무 시나리오 1: 읽기 전용 상수 쓰기 시도

char *s = "hello"; s[0] = 'H'; 같은 코드는 컴파일될 수 있지만, 실행 시 문자열 상수가 읽기 전용 페이지에 배치되면 쓰기 금지 위반으로 프로세스가 종료된다. 이 동작은 불친절해 보이지만, 사실은 프로그램 오류를 조기에 드러내는 안전장치다. 만약 이런 위반을 조용히 허용하면 라이브러리 코드나 다른 데이터까지 오염될 수 있다.

실무 시나리오 2: 스택 오버플로우 탐지

운영체제는 스택 끝에 가드 페이지를 둬서 접근 권한을 제거한다. 함수 재귀 폭주나 비정상적인 대형 지역 변수 할당으로 스택이 한계를 넘으면, 다음 페이지 접근 시 즉시 보호 위반이 발생한다. 이는 “조용한 메모리 오염”을 “즉시 잡히는 장애”로 바꾸는 대표적 설계다.

실무 시나리오 3: 공유 메모리의 최소 권한 부여

프로세스 간 통신용 공유 메모리를 만들 때도 모든 참여자에게 읽기·쓰기 권한을 다 주는 것은 위험하다. 로그 수집기처럼 생산자만 쓰고 소비자는 읽기만 하면 되는 구조라면, 생산자에는 Read/Write, 소비자에는 Read Only를 부여하는 편이 데이터 무결성과 사고 범위 통제에 유리하다. 메모리 보호는 “공유 금지”가 아니라 “통제된 공유 허용”을 가능하게 만든다.

기술사 판단 체크리스트

사용자 모드와 커널 모드 경계가 명확한가?
코드 페이지는 실행 가능하지만 쓰기 금지로 설정되어 있는가?
데이터/힙/스택 페이지는 기본적으로 실행 금지로 설정되어 있는가?
공유 메모리와 메모리 맵 파일은 최소 권한 원칙으로 매핑되어 있는가?
보호 위반 발생 시 단순 재시도가 아니라 원인 분석 가능한 로그와 시그널 정책이 있는가?

안티패턴

디버깅 편의를 이유로 광범위한 Read/Write/Execute 권한을 상시 허용하는 설계
커널 모듈이나 드라이버에서 사용자 입력 주소를 검증 없이 신뢰하는 구현
“성능이 좋아진다”는 이유로 보호 예외를 무시하고 큰 권한으로 한꺼번에 매핑하는 관행

메모리 보호는 성능과 충돌하는 적이 아니라, 장애 반경을 줄여 시스템 전체 가용성을 높이는 투자에 가깝다. 예외 한 번을 빠르게 감지해 프로세스 하나를 중단하는 편이, 조용히 데이터가 망가진 뒤 전체 서비스가 오염되는 것보다 훨씬 싸다.

📢 섹션 요약 비유: 메모리 보호는 공장 비상 차단기와 같다. 기계 하나가 이상 동작하면 그 라인만 멈춰 전체 공장이 타버리는 일을 막는다.

Ⅴ. 기대효과 및 결론

메모리 보호가 잘 설계된 시스템은 세 가지 이점을 얻는다. 첫째, 한 프로세스의 결함이 다른 프로세스와 커널로 전이되기 어려워 장애가 국소화된다. 둘째, 읽기 전용·실행 금지·특권 모드 분리를 통해 권한 상승과 코드 주입 공격의 난도가 크게 올라간다. 셋째, 오류가 “묵살된 손상”이 아니라 “명시적 예외”로 드러나므로 디버깅과 운영 관측성이 좋아진다.

물론 한계도 분명하다. 메모리 보호는 같은 프로세스 내부의 논리 오류까지 모두 고쳐 주지 못하고, 페이지 테이블·TLB·예외 처리에는 분명한 하드웨어 비용이 따른다. 또한 공유 메모리, 장치 메모리 매핑, 고성능 입출력처럼 특수 권한이 필요한 구간에서는 정책 설계가 허술하면 오히려 큰 공격면이 열린다.

따라서 메모리 보호는 “메모리를 막아 두는 기술”이 아니라, 신뢰 경계를 정교하게 설계하는 기술로 기억하는 것이 맞다. 가상 메모리가 공간을 나누는 기술이라면, 메모리 보호는 그 공간에 법과 질서를 부여하는 기술이다.

📢 섹션 요약 비유: 좋은 도시는 도로만 잘 깔린 곳이 아니라, 차선·신호·출입 제한이 함께 설계된 곳이다. 메모리 보호도 주소만 있는 시스템을 안전한 도시로 바꿔 준다.

📌 관련 개념 맵

개념	연결 포인트
MMU (Memory Management Unit)	주소 변환과 권한 검사를 실제로 집행하는 하드웨어 핵심 장치
PTE (Page Table Entry)	페이지별 매핑 정보와 Read / Write / Execute / User 권한을 담는 정책 저장소
페이지 폴트 (Page Fault)	페이지가 메모리에 없을 때 발생하는 예외로, 보호 위반과 구분해야 함
NX (No-eXecute) 비트	데이터 페이지 실행을 막아 코드 주입 공격 난도를 높이는 보호 확장 장치
가드 페이지 (Guard Page)	의도적으로 접근 불가로 둬서 스택 오버플로우 같은 경계 침범을 즉시 탐지
특권 모드 (Privileged Mode)	커널만 민감한 메모리와 제어 레지스터에 접근하게 하는 시스템 경계

📈 관련 키워드 및 발전 흐름도

Base / Limit Register
        │
        ▼
세그멘테이션 (Segmentation)
        │
        ▼
페이징 (Paging) + PTE (Page Table Entry) 권한 비트
        │
        ▼
사용자 / 커널 모드 분리 + MMU (Memory Management Unit)
        │
        ▼
NX (No-eXecute) · W^X 정책 · 가드 페이지 (Guard Page)
        │
        ▼
ASLR (Address Space Layout Randomization) · 샌드박싱 · 하드웨어 격리 강화

이 흐름은 단순한 범위 검사에서 출발해, 페이지 단위 권한 제어와 실행 금지 정책을 거쳐 현대 보안형 메모리 모델로 확장되는 과정을 보여준다.

👶 어린이를 위한 3줄 비유 설명

메모리 보호는 학교에서 반마다 자기 사물함만 열 수 있게 이름표와 자물쇠를 붙여 두는 것과 같아요.
다른 친구 사물함을 몰래 열거나 선생님 책상을 뒤지려 하면 바로 걸려서 멈추게 돼요.
그래서 한 친구가 실수해도 학교 전체가 엉망이 되지 않고, 모두가 자기 자리에서 안전하게 지낼 수 있어요.