메모리 보호 키 (Memory Protection Keys, MPK)

핵심 인사이트 (3줄 요약)

본질: 메모리 보호 키(Memory Protection Keys, MPK)는 동일한 프로세스 내부의 가상 메모리 공간 안에서도, 특정 페이지 구역마다 자물쇠 번호(Key)를 부여하고 스레드별로 열쇠 꾸러미 레지스터를 주어 프로세스 내(In-process) 페이지 접근 권한을 극도로 빠르고 세밀하게 통제하는 하드웨어 보안 기술이다.

가치: 기존에는 페이지 권한(Read/Write)을 바꾸려면 시스템 콜을 날려 OS 커널(TLB Flush)을 거쳐야 하는 엄청난 성능 저하(오버헤드)가 발생했으나, MPK를 쓰면 유저 모드에서 단 1클럭의 하드웨어 레지스터 갱신만으로 수 기가바이트의 메모리 락을 지연 없이(0ms) 잠그고 열 수 있다.

융합: 페이지 테이블 엔트리(PTE)의 남는 4비트를 활용하여 16개의 논리적 구획(자물쇠)을 짓고, CPU 코어 내부의 고속 레지스터(PKRU)와 순수 하드웨어적으로 융합되어, 최신 인메모리 데이터베이스의 데이터 오염 방지와 웹 브라우저 샌드박싱에 혁명을 일으켰다.

Ⅰ. 개요 및 필요성 (Context & Necessity)

개념: MPK는 인텔(Intel)이 스카이레이크(Skylake) 서버 프로세서부터 도입한 최첨단 하드웨어 메모리 격리 기술(x86 PKU)이다. 페이지 테이블 한 줄(PTE)마다 0부터 15까지 16개의 '보호 키(Protection Key)' 중 하나를 도장 찍듯 부여해 놓고, 스레드가 그 메모리에 접근할 때 CPU 내부의 특별한 권한 레지스터(PKRU)에 그 열쇠(0~15번 락 해제 권한)가 들어있는지 대조하여 접근을 차단하거나 허용한다.
필요성: 멀티 스레드로 도는 거대한 데이터베이스 서버를 생각해 보자. 1번 스레드가 쿼리를 처리하다 포인터 버그를 내서 캐시에 있는 귀중한 '고객 암호(Data)'를 실수로 덮어써 버렸다. 프로세스 내부 공간은 스레드들끼리 100% 뻥 뚫려(공유) 있기 때문에 이 대참사를 막을 도리가 없었다. 이를 막기 위해 mprotect() 함수로 페이지를 잠글 수 있지만, 이건 OS 커널을 부르고 TLB 캐시를 싹 지워버리는 미친 오버헤드를 유발해 초고속 DB에서는 절대 쓸 수 없었다. "성능 저하(TLB Flush) 없이, 유저 공간 스레드들끼리도 메모리를 서로 격리할 순 없을까?"라는 뼈저린 갈증이 MPK를 탄생시켰다.
💡 비유: 기존 메모리 구조는 **큰 저택(프로세스)**의 현관문(가상 메모리 격리)은 튼튼하지만, 집 안에 들어온 가족들(스레드들)은 모든 방을 마음대로 벌컥벌컥 열 수 있는 구조였다. 방을 잠그려면 매번 경찰(OS 커널)을 불러 도어락을 부수고 새로 달아야 했다(엄청난 지연). MPK는 집 안의 각 방문에 **16종류의 색깔 자물쇠(PTE Key)**를 달아두고, 가족들에게 각기 다른 **색깔 열쇠 꾸러미(PKRU 레지스터)**를 나눠준 것이다. 열쇠를 뺏거나 주는 건 경찰을 부를 필요 없이 아빠(유저 코드)가 1초 만에 스위치만 누르면 즉각 반영되는 기적의 룸 셰어링 시스템이다.
등장 배경 및 아키텍처의 한계 돌파:
1. In-Process 고립의 부재: 프로세스 간 격리는 완벽했으나, 프로세스 내부의 수백 개 스레드 간의 샌드박싱은 무방비 상태였다.
2. mprotect() 시스템 콜의 저주: 내부 메모리를 보호하려 OS에 페이지 권한 수정을 요청하면, 수천 개의 TLB(캐시)가 강제로 플러시되며 서버가 멈칫했다.
3. MPK의 하드웨어 해킹 방어: 인텔은 이 한계를 부수기 위해 페이지 번역 장부(PTE)의 안 쓰는 빈 비트 4개를 활용, 페이지 테이블 자체를 뜯어고치지 않고 CPU 레지스터만 똑딱 끄고 켜는 것으로 수백 MB 페이지의 권한을 1클럭 만에 바꿀 수 있는 초가성비 회로를 설계해 냈다.

┌─────────────────────────────────────────────────────────────────────────┐
│        기존 mprotect() vs 혁신적 MPK(Protection Key) 동작 비교          │
├─────────────────────────────────────────────────────────────────────────┤
│                                                                         │
│ [ 목표: 수만 개의 페이지로 이루어진 1GB 데이터에 '쓰기 금지(락)' 걸기 ] │
│                                                                         │
│ ▶ 과거: OS 시스템 콜 (mprotect) 사용 시                                 │
│   1. 유저 프로그램이 커널에 "이 1GB 영역 잠가줘!" 라고 부탁함.          │
│   2. OS가 1GB를 커버하는 수만 개의 페이지 테이블(PTE)을 일일이 순회하며 │
│      R/W 비트를 0으로 다 덮어씀 (막대한 루프 연산 낭비).                │
│   3. 갱신했으니 기존 CPU 캐시를 싹 다 날림 (TLB Flush 재앙 터짐).       │
│   ▶ 결과: 락 한 번 걸고 푸는 데 수 밀리초(ms)씩 서버가 얼어붙음.        │
│                                                                         │
│ ▶ 현대: MPK (Memory Protection Keys) 사용 시                            │
│   1. 애초에 1GB 페이지들에 'Key 5번' 도장을 미리 찍어둠.                │
│   2. 유저 프로그램이 락을 걸고 싶을 때, 단 1줄의 어셈블리어(WRPKRU)로   │
│      내 레지스터에서 'Key 5번 열쇠'를 슬쩍 버림.                        │
│   3. 하드웨어가 앞으로 Key 5번 구역 쓰기 시도를 1나노초만에 쳐냄.       │
│   ▶ 결과: 커널 개입 0회! TLB Flush 없음! 단 1클럭(1ns) 만에 락킹 완료!  │
└─────────────────────────────────────────────────────────────────────────┘

[다이어그램 해설] MPK의 가장 파괴적인 혁신은 'TLB Flush의 종말'이다. 기존에는 페이지 테이블을 수정하면 그 내용이 바뀌었으므로 무조건 TLB 캐시를 터뜨려야 했다. 하지만 MPK는 페이지 테이블(장부)의 데이터는 건드리지 않은 채 그대로 놔두고, CPU 코어 내부의 '내 권한 상태(PKRU 레지스터)'만 바꾸는 우회로를 썼다. 캐시를 지울 필요 없이 보안 스위칭이 가능해진, 하드웨어 아키텍처 설계의 예술이다.

📢 섹션 요약 비유: 수만 개의 서랍을 잠글 때, 옛날엔 서랍장마다 돌아다니며 일일이 테이프를 붙이느라(mprotect) 하루가 다 갔습니다. MPK는 서랍장에 전자식 중앙 통제 번호를 매겨놓고, 내 주머니의 리모컨(레지스터) 버튼 1개만 띡 누르면 수만 개의 서랍이 0.1초 만에 찰칵! 하고 일제히 잠기는 마법의 마스터키입니다.

Ⅱ. 아키텍처 및 핵심 원리 (Deep Dive)

하드웨어 융합 아키텍처 (PTE 비트 + PKRU 레지스터)

MPK는 페이지 테이블(장부)과 CPU 코어(실행부)의 찰떡같은 공조로 이루어진다.

PTE (Page Table Entry) 안의 4비트:
- 64비트 장부의 사용 안 하는 예비용 비트 4개(59번~62번)를 훔쳐서 'Protection Key' 공간으로 쓴다.
- 4비트이므로 $2^4 = 16$개의 서로 다른 자물쇠 번호(0번~15번 키)를 할당할 수 있다.
PKRU 레지스터 (Protection Key Rights Register):
- 각 CPU 코어 내부에 32비트짜리 특수 레지스터가 하나 생긴다.
- 16개의 키에 대해 각각 2비트씩(하나는 접근 금지 Access Disable, 하나는 쓰기 금지 Write Disable) 권한을 세팅한다 ($16 \times 2 = 32$비트).
하드웨어 방어 게이트 작동:
- CPU가 데이터에 접근할 때, MMU는 페이지 테이블을 읽어 이 페이지가 "Key 3"임을 확인한다.
- 동시에 내 코어의 PKRU 레지스터를 까보고 "아, 이 스레드는 Key 3에 대해 Write Disable이 걸려있네?"라고 교차 대조를 한 뒤, 위반 시 벼락(SegFault)을 날린다.

┌────────────────────────────────────────────────────────────────────────┐
│              MPK 권한 검사 논리 회로 (MMU 내부)                        │
├────────────────────────────────────────────────────────────────────────┤
│                                                                        │
│ [ 1. 메모리 접근 시도 (예: 메모리 번지에 쓰기(Write) 시도) ]           │
│                                                                        │
│ [ 2. 페이지 테이블의 R/W 비트 통과 ]                                   │
│   -> "R/W 권한은 열려있네. 패스!"                                      │
│                                                                        │
│ [ 3. 페이지 테이블에서 MPK 키 추출 ]                                   │
│   -> "이 페이지에는 'Key 7'이 찍혀있군."                               │
│                                                                        │
│ [ 4. 현재 코어의 PKRU 레지스터 검사 (최종 방어선) ]                    │
│   -> 내 PKRU 레지스터의 7번째 칸 비트를 쳐다봄.                        │
│   -> "어? Key 7에 대해 WD(Write Disable) 비트가 1로 켜져있네!"         │
│                                                                        │
│ 💥 [ 5. 검문 실패 및 징벌 ]                                            │
│   하드웨어가 즉각 OS에게 Page Fault 트랩을 던지고 쓰기(Write)를 차단!  │
└────────────────────────────────────────────────────────────────────────┘

[다이어그램 해설] 이 방어벽은 매우 입체적이다. OS가 설정한 뼈대 권한(R/W 비트)을 통과했더라도, 마지막 0.1초의 순간에 스레드가 들고 있는 내면의 자물쇠(PKRU)를 통해 2차 필터링을 거친다. 유저 모드 어플리케이션은 커널을 부르지 않고 특권 명령어인 WRPKRU 명령어 한 줄로 자기 코어의 PKRU 레지스터 값만 슥슥 바꾸며(오버헤드 제로) 16개 구역에 대한 온/오프라인 모드를 마음대로 조작한다.

Ⅲ. 융합 비교 및 다각도 분석

비교 1: 시스템 콜(mprotect) vs 하드웨어 레지스터(MPK)

특성	기존 `mprotect()` (소프트웨어적 락)	MPK (하드웨어적 락)
설정 주체	운영체제 커널 (시스템 콜 진입 필수)	사용자 프로그램 직접 제어 (커널 우회)
TLB Flush 오버헤드	페이지 속성 갱신으로 무조건 TLB 대량 폭파 발생	레지스터만 바꾸므로 TLB가 완벽히 보존됨
변경 적용 범위	1GB의 공간이면 25만 장의 페이지를 전부 루프 돎	공간 크기에 상관없이 레지스터 1개만 딸깍 갱신 (O(1))
격리 단위	프로세스 전체	같은 프로세스 내의 스레드(Thread) 별로 개별 락 가능
한계점	느린 속도 외엔 제한 없음	자물쇠(Key) 개수가 단 16개로 매우 부족함

16개의 Key라는 치명적인 제약

인텔이 4비트만 빼준 탓에 MPK의 자물쇠는 단 16개밖에 없다.

만약 100개의 독립된 보안 샌드박스 영역을 만들고 싶어도, 하드웨어 칩셋의 물리적 한계로 16종류 이상은 락을 분리할 수 없다.
운영체제(Linux)는 이 16개를 아껴 쓰기 위해 매우 쪼잔하게 굴며, 개발자는 이 16개의 바구니에 수많은 데이터를 적절히 그룹화(Grouping)해서 욱여넣어야 하는 고도의 아키텍처 설계 능력이 요구된다. (이 한계를 소프트웨어적으로 가상화하려는 연구가 지속 중이다.)
📢 섹션 요약 비유: 현관문을 열고 닫을 때마다 동사무소(커널)에 가서 도장을 받아야 했던 미친 행정(mprotect)에서 벗어나, 방 16개짜리 비밀 저택에서 내 지문(MPK 레지스터) 하나로 방문을 0.1초 만에 잠갔다 푸는 스마트홈으로 이사 온 격입니다.

Ⅳ. 실무 적용 및 기술사적 판단 (Strategy & Decision)

실무 시나리오: Redis의 데이터 오염(Corruption) 완벽 차단

문제의 발단: 수백 GB의 데이터를 램에 들고 있는 인메모리 DB(Redis, SAP HANA)는 C/C++로 짜여 있어, 스레드 하나가 미쳐서 잘못된 포인터(Wild Pointer)로 엉뚱한 캐시를 덮어쓰면 수백만 명의 계좌 데이터가 날아갈 수 있다.
과거의 절망: 이를 막으려고 메모리를 R/O(읽기 전용)로 잠가두려 했지만, 진짜 업데이트가 필요할 때 락을 풀려면 mprotect를 불러 시스템이 수 밀리초씩 멈췄다(초당 10만 건 처리가 불가). 결국 개발자들은 "운에 맡기자"며 락을 풀고 위험하게 서버를 돌렸다.
MPK의 구원:
- 최신 DB 엔진은 메모리를 할당할 때 아예 데이터베이스 공간에 'Key 1', **일반 캐시 공간에 'Key 2'**를 박아버린다.
- 평소 스레드들은 PKRU 레지스터를 Key 1 = 쓰기 금지 로 세팅해두고 달린다. 버그 포인터가 침범해도 하드웨어가 다 막아준다(데이터 무결성 방어).
- "어? 진짜 고객 데이터 업데이트 해야겠네?" 싶으면, 스레드가 1클럭만에 WRPKRU 어셈블리어로 Key 1 = 쓰기 허용 스위치를 켠다. (TLB 캐시 보존).
- 데이터 한 줄 쓱 쓰고, 다시 1클럭 만에 락 스위치를 꺼버린다.
- 이로 인해 성능 벤치마크는 1%도 떨어지지 않으면서, 해커나 메모리 오염 버그로부터 100% 방탄조끼를 입은 무적의 DB 서버가 완성되었다.

크롬 브라우저의 V8 자바스크립트 샌드박싱

웹사이트에 접속하면 크롬 브라우저는 악성 자바스크립트가 내 컴퓨터를 장악하지 못하게 가두리(Sandbox)를 친다. JIT(Just-In-Time) 컴파일러는 실행 중인 코드를 막 메모리에 적어내는데, 이때 해커가 코드를 조작하기 쉽다. 크롬은 이 메모리 공간을 MPK로 순간적으로 잠갔다가 필요할 때만 여는(Write-XOR-Execute) 방식으로 해커의 쉘코드 삽입을 빛의 속도로 튕겨내고 있다.

📢 섹션 요약 비유: 수술실 의사(스레드)가 실수로 환자의 혈관(메모리)을 자를까 봐 방검복을 입혀주려 했더니 수술이 너무 느려져서 포기했었는데(mprotect), 눈 깜빡할 새 켜지고 꺼지는 레이저 실드(MPK)를 달아주니 수술 속도는 그대로 유지하면서 의료 사고 확률은 0%가 된 기적의 의학 기술입니다.

Ⅴ. 기대효과 및 결론 (Future & Standard)

정량/정성 기대효과

구분	내용
Zero-Overhead 샌드박싱	시스템 콜과 TLB 플러시를 100% 제거하여, 나노초(ns) 단위로 메모리 접근 권한을 스위칭하는 런타임 보안 달성
In-Process 격리 패러다임	멀티스레딩 환경에서 스레드 간 악의적/실수적인 메모리 덮어쓰기를 원천 차단하여 소프트웨어 무결성 극대화
초정밀 메모리 분할(Compartmentalization)	하나의 거대한 프로그램을 16개의 독립적인 보안 구역으로 분리하여, 해커가 하나를 뚫어도 다른 방으로 넘어가지 못하게 방파제 역할 수행

결론 및 미래 전망

메모리 보호 키 (MPK)는 보안을 향한 끝없는 집착이 하드웨어 칩셋 설계의 아주 작은 틈새(남는 비트 4개)를 뚫고 피어난 운영체제 진화의 최전선이다. "격리(Isolation)는 무조건 속도의 희생을 동반한다"는 컴퓨터 공학의 오랜 저주를, 소프트웨어 커널을 완전히 우회하고 하드웨어 레지스터만 조작하는 영리한 발상으로 완벽히 깨부수었다. 비록 현재 16개라는 물리적 자물쇠 개수의 한계가 있지만, 향후 클라우드 네이티브 환경에서 수천 개의 마이크로서비스(MSA)와 웹어셈블리(Wasm) 모듈들이 하나의 메모리를 공유하는 초밀도 환경이 오면, 이 하드웨어 기반의 $O(1)$ 속도 메모리 구획 기술(Compartmentalization)은 현대 보안 아키텍처의 가장 절대적인 코어 기둥으로 우뚝 설 것이다.

📢 섹션 요약 비유: 옛날엔 은행원(스레드)이 금고에 들어갈 때마다 지점장(OS 커널) 승인을 받고 문 전체의 비밀번호(페이지 테이블)를 바꿔야 했지만, 이제는 16개의 색깔 목걸이(MPK)를 채워 색깔에 맞는 서랍만 자유롭고 눈부시게 빨리 열게 만든 최첨단 스마트 뱅킹입니다.

📌 관련 개념 맵 (Knowledge Graph)

페이지 테이블 엔트리 (PTE) | MPK의 4비트 자물쇠 번호(0~15)가 은밀하게 각인되어 있는 가상 메모리 매핑의 최소 단위 장부
TLB 플러시 (Flush) | 기존 권한 변경 방식(mprotect)이 유발하던 극악의 캐시 초기화 재앙으로, MPK가 세상에 나온 절대적 이유
Segmentation Fault | MPK 권한이 막혀있는 레지스터 상태에서 스레드가 메모리를 찌를 때 MMU가 가차 없이 터뜨리는 처형 트랩
샌드박싱 (Sandboxing) | 프로세스 내부에서도 위험한 코드(해커 스크립트)와 중요 데이터를 격리하여 터져도 혼자만 죽게 만드는 보안 기술
시스템 콜 (System Call) | 유저가 커널에 부탁하는 비싼 통신 채널로, MPK는 WRPKRU 명령어 1줄로 이 시스템 콜 지옥을 100% 우회하는 마법을 부림

👶 어린이를 위한 3줄 비유 설명

메모리 보호 키(MPK)가 무엇인가요? 장난감 상자 수만 개에 각각 1번부터 16번까지의 예쁜 '색깔 자물쇠'를 달아놓고, 내 손에 '색깔 스위치 리모컨(레지스터)'을 쥐여준 거예요.
기존 방식보다 뭐가 좋은가요? 예전엔 상자를 잠글 때마다 엄마(운영체제)를 불러서 테이프를 일일이 감아달라고 해야 해서 1시간이 걸렸는데, 지금은 내 손의 리모컨 버튼 하나만 누르면 0.1초 만에 빨간색 자물쇠 상자 만 개가 일제히 철컥! 하고 잠겨요.
어떤 때 쓰나요? 내 동생(다른 스레드)이 실수로 내 소중한 레고를 부술까 봐 걱정될 때, 리모컨으로 레고 상자만 즉시 잠가버리고 나는 내 방에서 안전하게 게임을 계속할 수 있는 엄청난 방어막이랍니다.