Brain핵심 인사이트 (3줄 요약)
- 본질: IPSec(IP Security)은 특정 알고리즘 하나가 아니라, 인터넷(IP 계층)을 굴러다니는 패킷이 남에게 읽히지 않게(기밀성), 남이 뜯어고치지 못하게(무결성), 누가 보냈는지 확실하게(인증) 만들기 위해 **IKE, ESP, AH 등 수십 개의 복잡한 암호화 프로토콜들을 끌어모아 묶어놓은 거대한 "네트워크 보안 프레임워크(조립식 세트)"**다.
- ESP vs AH: 패킷을 보호하는 두 가지 포장지다. **AH(Authentication Header)**는 내용물이 조작됐는지만 검사할 뿐 알맹이(비밀번호)를 평문으로 노출해 요새는 아예 쓰레기 취급받고 버려졌으며, 암호화와 무결성 검사를 모두 완벽하게 해주는 **ESP(Encapsulating Security Payload)**만이 실무 VPN의 100%를 독점하고 있다.
- 터널 모드 vs 전송 모드: IPsec을 입히는 방식이다. **전송 모드(Transport Mode)**는 알맹이만 쏙 감싸고 원래의 IP 헤더는 밖으로 냅두는 PC 간 통신용이며, 실무 VPN에서 쓰는 **터널 모드(Tunnel Mode)**는 원본 패킷 전체를 티타늄 금고(ESP) 안에 싹 다 가둬버리고 새로운 IP 헤더를 껍데기에 붙여 통신사 라우터(본사-지사 간)를 안전하게 뚫고 지나가는 무적의 캡슐화 기술이다.
Ⅰ. 개요 및 필요성 (Context & Necessity)
-
개념: IP 통신의 단점인 보안 부재를 해결하기 위해 네트워크 계층(L3)에서 패킷 단위로 인증(Authentication), 무결성(Integrity), 기밀성(Confidentiality)을 제공하는 개방형 프로토콜 슈트(Suite).
-
필요성: 본사에서 지사로 기밀 도면 파일을 던지려 한다. 인터넷망(KT, SKT)은 투명한 유리관과 같아서 해커가 지나가는 선에 빨대만 꽂으면(스니핑) 그 도면을 고화질로 다 훔쳐볼 수 있다. "야! 패킷 하나하나를 무적의 금고에 집어넣어서, 중간에 도둑이 금고를 훔쳐 가더라도 100년 동안 암호를 못 풀게 만들고, 혹시 금고 문을 억지로 땄더라도 안에 폭탄이 터져서 데이터가 조작됐음을 즉시 알게 만들자!" 이것이 기업용 VPN을 먹여 살리는 IPsec의 탄생 이유다.
-
💡 비유: IPsec은 국가 기밀문서를 배달하는 **"특수 방탄 가방(Framework)"**입니다.
- 문서 내용이 안 보이게 난수표로 섞어버립니다 (기밀성 - Encryption).
- 가방 손잡이에 뜯으면 색깔이 변하는 특수 봉인 씰을 붙여, 중간에 스파이가 열어봤는지 흔적을 봅니다 (무결성 - Hash).
- 가방 겉면에 사전에 약속한 암구호 코드를 적어 가짜 스파이가 보낸 가방을 컷트합니다 (인증 - Authentication).
📢 섹션 요약 비유: IPsec은 단일 무기가 아니라 **"종합 방어 전술 조끼"**입니다. 방탄판(ESP), 통신기 암호기(IKE), 신원 인식표(해시) 등 여러 가지 모듈을 임무(터널 모드 vs 전송 모드)에 맞게 뗐다 붙였다 하며 적진(인터넷)을 돌파하는 궁극의 생존 장비입니다.
Ⅱ. IPsec의 3대 핵심 구성요소와 2대 동작 모드 (Deep Dive)
네트워크 보안의 알파이자 오메가다. 방화벽 엔지니어가 되려면 이걸 눈 감고도 그릴 줄 알아야 한다.
1. 보안을 세팅하는 3대 뼈대 (Protocol Suite)
IPsec은 이 세 가지 톱니바퀴가 물려 돌아간다.
- IKE (Internet Key Exchange) - 협상가:
- UDP 500번 포트를 쓴다. 통신하기 전에 먼저 서울 라우터와 부산 라우터가 몰래 만나서 **"야 우리 AES-256으로 암호화하고, SHA-2로 무결성 검사하자. 그리고 비밀번호 열쇠(Key)는 이거 쓸 테니까 받아!"**라며 룰을 조율(SA 맺기)하는 사전 협상용 통신 규약이다.
- ESP (Encapsulating Security Payload, 프로토콜 50번) - 티타늄 금고:
- IKE가 정해준 룰에 따라 실질적으로 **"암호화"**와 "무결성 검사"를 동시에 수행하여 패킷을 방탄 금고로 싸매는 대세 포장지다.
- AH (Authentication Header, 프로토콜 51번) - 투명 랩 (사망함):
- 무결성(조작 안 됨)과 인증(내가 보냄)만 검증하고 "암호화" 기능이 없다. 즉, 알맹이가 다 보인다. NAT 공유기를 통과하면 무결성 검사가 깨져서 에러가 나는 치명적 찐빠 구조라서, 현재 실무에서는 0.1%도 안 쓰는 폐기 처분된 기술이다.
2. 터널 모드 vs 전송 모드 (어디서부터 포장할 것인가)
[ A. 전송 모드 (Transport Mode) - 알맹이만 감싸기 ]
- 방식: 3계층 IP 헤더는 내버려 두고, 그 뒤에 있는 4계층(TCP/UDP) 데이터(알맹이)만 ESP 금고로 싹 감싸는 방식.
- 특징: IP 헤더가 살아있으니 라우터들이 목적지를 찾아가는 데 문제없다. 하지만 출발지와 목적지 IP(누가 누구에게 통신하는가)가 해커에게 적나라하게 까발려지는 단점이 있다.
- 용도: End-to-End (노트북 대 노트북) 구간에서 가볍게 쓸 때나 쓴다.
[ B. 터널 모드 (Tunnel Mode) - 원본 전체를 감옥에 가두기 ★실무 표준 ]
- 방식: 3계층 IP 헤더(원본 출발지/목적지)까지 포함해서 패킷 전체(통째로)를 ESP 금고에 다 쑤셔 넣어버린다.
- 문제와 해결: 원본 IP 헤더가 암호화되어 사라졌으니 라우터가 길을 못 찾는다! 그래서 ESP 금고 바깥에 **새로운 "가짜 IP 헤더(New IP Header)"**를 딱지처럼 하나 더 붙여서 인터넷으로 던진다.
- 용도: Site-to-Site (서울 본사 방화벽 ~ 부산 지사 방화벽) VPN을 뚫을 때 무조건 쓴다. 해커는 중간에서 가로채도 "아, 서울 방화벽이랑 부산 방화벽이 통신하네?"만 알 뿐, 그 속에 숨겨진 사내 PC의 진짜 IP 대역(
192.168...)은 절대 유추조차 할 수 없다.
┌─────────────────────────────────────────────────────────────┐
│ IPsec 터널 모드 (Tunnel Mode)의 무적 포장 구조 │
├─────────────────────────────────────────────────────────────┤
│ │
│ [ 일반 패킷 ] │
│ [ 원본 IP 헤더 (10.x.x.x) ] ──▶ [ TCP/Data (비밀문서) ] │
│ │
│ [ IPsec 터널 모드가 적용된 패킷 ] │
│ [ New IP 헤더 (방화벽 공인 IP) ] ◀─ 인터넷 통과용 껍데기 │
│ [ ESP 헤더 ] ◀─ 여기서부터 암호화 시작! (열쇠 없음 못 염) │
│ [ 원본 IP 헤더 (10.x.x.x) ] ◀─ (안 보임) │
│ [ TCP/Data (비밀문서) ] ◀─ (안 보임) │
│ [ ESP 트레일러 / ESP 인증(MAC) ] ◀─ 암호화 끝! (봉인 씰) │
│ │
│ ▶ "인터넷 세상의 모든 해커에게서 내 사내망 아키텍처와 데이터를 │
│ 100% 완벽하게 숨겨버리는 진정한 가상 사설망(VPN)의 완성이다!" │
└─────────────────────────────────────────────────────────────┘
📢 섹션 요약 비유: 전송 모드가 자동차의 창문에 **"시트지(ESP)"**를 발라 안의 사람(데이터)만 안 보이게 하는 것이라면, 터널 모드는 아예 그 자동차(원본 패킷) 전체를 "거대한 컨테이너 트럭(New IP + ESP)" 안에 통째로 실어버려서 트럭 밖에서는 안에 차가 들었는지 코끼리가 들었는지조차 모르게 완벽히 숨겨서 이동하는 것입니다.