233. IDS/IPS 배치 아키텍처 — In-band vs Out-of-band

⚠️ 이 문서는 해커의 침입을 탐지하는 보안 장비(IDS/IPS)를 사내 네트워크의 어느 길목에, 어떤 방식으로 꽂아 넣을 것인가에 대한 전략적 결단으로, 네트워크 메인 도로 한가운데 서서 모든 차(패킷)를 직접 막아 세우며 검사하지만 고장 나면 도로 전체가 마비되는 'In-band(인라인)' 방식과, 도로 옆에 빠져서 CCTV처럼 복사본만 구경하여 도로는 절대 안 막히지만 직접 차단할 권력은 없는 'Out-of-band(아웃오브밴드/미러링)' 방식의 치명적 차이를 다룹니다.

핵심 인사이트 (3줄 요약)

  1. 본질: 보안 장비가 실제 데이터가 흘러가는 '본선(실제 케이블)'을 끊고 그 사이에 개입할 것인가, 아니면 본선은 냅두고 갈라져 나온 '복사본(Mirror)'만 몰래 훔쳐볼 것인가의 물리적 위치(Topology) 문제다.
  2. 가치: 보안을 최우선으로 하여 1바이트의 해킹 패킷도 못 지나가게 멱살을 잡으려면 인라인(IPS) 배치를 해야 하고, 네트워크 속도와 무중단 서비스가 생명이라 보안 장비가 죽더라도 인터넷은 터지면 안 된다면 아웃오브밴드(IDS) 배치를 해야 한다.
  3. 기술 체계: In-band 방식은 스위치와 라우터 사이를 직접 가로막는 **침입 방지 시스템(IPS)**에 필수적이며, Out-of-band 방식은 스위치의 포트 미러링(SPAN)이나 광 스플리터(TAP)를 통해 트래픽을 빼와서 구경만 하는 **침입 탐지 시스템(IDS)**에 주로 쓰인다.

Ⅰ. 인라인 (In-band) 배치: 길막과 멱살잡이 (IPS)

내가 허락하지 않은 패킷은 한 발자국도 지나갈 수 없다.

  1. 물리적 개입 (직렬 연결):
    • 라우터와 내부 스위치 사이의 메인 랜선을 가위로 싹둑 자른다. 그 잘린 두 선 사이에 보안 장비(IPS)의 양쪽 구멍(In/Out 포트)을 끼워 넣는다.
    • 외부에서 들어오는 모든 데이터 패킷은 반드시 이 보안 장비의 뱃속을 물리적으로 통과(In-band)해야만 사내 서버로 도달할 수 있다.
  2. 능동적 차단 (Active Prevention):
    • 패킷이 장비를 통과하는 찰나(수십 마이크로초), 장비가 내용물을 까서 "어? SQL 인젝션 공격이네!"라고 탐지하면, 그 즉시 패킷을 허공에 날려버리고(Drop) 해커와의 연결(TCP RST)을 끊어버린다.
    • 도둑을 발견함과 동시에 그 자리에서 사살하는 강력한 차단 권력을 가진다. (이것이 IPS의 본질이다.)
  3. 치명적 단점 (단일 장애점, SPOF):
    • 만약 이 보안 장비(IPS)에 전원이 나가거나 CPU가 100% 쳐서 멈춰버리면?
    • 본선 한가운데 서 있던 장비가 죽었으므로, 뒤에 있는 사내망 1,000대의 PC는 일제히 인터넷이 끊긴다(대형 장애). 그래서 이런 장비는 죽었을 때 랜선을 그냥 통과시켜 주는 '바이패스(Bypass) 랜카드' 기술이나 2대 이중화(HA) 설정이 생명이다.

📢 섹션 요약 비유: 고속도로 요금소(In-band)입니다. 톨게이트 차단기(IPS)가 길을 꽉 막고 서서 모든 차의 트렁크를 열어 검사합니다. 마약(해킹 패킷)이 발견되면 즉시 차를 압수하고 체포합니다(차단 성공). 하지만 요금소 직원들이 파업해서 게이트가 멈추면, 뒤에 있는 수만 대의 선량한 시민들 차도 고속도로에 갇혀 한 발자국도 못 움직이는 최악의 교통 마비(네트워크 장애)가 일어납니다.

Ⅱ. 아웃오브밴드 (Out-of-band / Promiscuous) 배치: 방관자 (IDS)

교통 체증을 일으킬 바엔, 차라리 도둑 한두 놈 놓치는 게 낫다.

  1. 복제본 감시 (병렬 연결):
    • 본선(라우터 $\leftrightarrow$ 스위치) 랜선은 절대 건드리지 않는다. 데이터는 원래 속도 그대로 쌩쌩 날아다닌다.
    • 대신 스위치 장비에 명령을 내려 **"포트 미러링(Port Mirroring / SPAN)"**을 켜거나, 물리적인 광 분배기(TAP 장비)를 끼워서 본선을 지나가는 패킷의 '복사본' 하나를 똑같이 만들어 옆길(Out-of-band)로 쏴준다.
    • 보안 장비(IDS)는 이 복제본을 먹으며 스캔한다.
  2. 수동적 경고 (Passive Detection):
    • 복제본을 뜯어보니 "앗! 방금 지나간 차 트렁크에 폭탄이 실려 있었어!"라고 뒤늦게 발견했다.
    • 하지만 진짜 폭탄을 실은 원본 차는 이미 본선을 타고 사내 서버로 쌩~ 하고 지나가 버렸다.
    • 장비(IDS)는 물리적으로 차를 세울 방법이 없으므로, 그냥 경비실 화면에 빨간 사이렌(Alert)을 울리거나, 꼼수로 가짜 TCP RST(연결 끊기) 패킷을 서버와 해커 양쪽에 쏴서 강제로 통신을 끊으려는 발악만 할 수 있다 (하지만 완벽한 차단은 불가능).
  3. 무적의 안정성:
    • 보안 장비(IDS)가 과부하로 터져서 연기를 뿜으며 죽어도, 본선(사내 인터넷)의 속도와 통신에는 0.001%의 영향도 주지 않는다. 서비스 안정성 면에서는 최고의 건축술이다.

📢 섹션 요약 비유: 고속도로 위에 떠 있는 과속 단속 헬기(Out-of-band)입니다. 차들은 헬기가 떠 있든 말든 과속(해킹)하며 쌩쌩 달립니다. 헬기에 달린 고성능 카메라(포트 미러링)가 폭주족을 발견합니다. 하지만 헬기가 직접 차 앞에 내려와 막아설 수는 없습니다(직접 차단 불가). 헬기는 그저 경찰청(보안 관리자) 무전기로 "지금 1차선 벤츠 도주 중! 삐용삐용!" 하고 알람만 울리는 완벽한 안전거리 감시자입니다.

Ⅲ. 기업의 현실적 타협: 어디에 어떻게 꽂을 것인가?

방패는 여러 겹으로 치되, 위치마다 역할이 다르다.

  1. 인터넷 최전방 (DMZ 구간 앞):
    • 외부의 쓰레기 같은 디도스(DDoS) 봇이나 뻔한 SQL 인젝션 공격이 융단폭격처럼 쏟아지는 최전방 관문이다.
    • 여기서는 도둑이 내부로 들어오는 꼴을 1초도 볼 수 없으므로, 무조건 멱살을 잡고 차단하는 **In-band 기반의 IPS(또는 차세대 방화벽 NGFW)**를 직렬로 꽉 박아둔다.
  2. 사내망 깊숙한 코어 구간 (내부망 교환 지점):
    • 사내 부서끼리 통신하는 트래픽은 데이터 양(Traffic Volume)이 외부 통신의 수십 배(10Gbps 이상)에 달한다.
    • 이 거대한 강물 한가운데에 IPS 기계를 인라인으로 세워두면, 기계가 성능의 한계에 부딪혀 병목(Bottle-neck)이 발생하고 사내망 엑셀 다운로드 속도가 미친 듯이 느려진다.
    • 그래서 이 깊은 코어 망 구간에는 **Out-of-band 미러링 기반의 IDS(또는 NTA/NDR 장비)**를 옆으로 빼서 달아둔다. 속도는 방해하지 않되, 내부 직원이 랜섬웨어를 옆 부서로 퍼뜨리는 이상 행위(수평 확산)를 놓치지 않고 모니터링만 빡세게 돌리는 훌륭한 융합 아키텍처다.

📢 섹션 요약 비유: 백화점 정문(최전방)에는 건장한 가드(In-band IPS)를 일렬로 세워 불량배의 입장을 몸으로 꽉 막아냅니다. 하지만 수백 명이 쇼핑하고 밥 먹는 백화점 안의 복도 한가운데(사내 코어망)에 가드를 세워두고 지나가는 사람의 가방을 일일이 열어보게 하면 길이 막혀서(병목) 장사를 망칩니다. 그래서 실내 복도에는 천장에 수백 대의 고화질 CCTV(Out-of-band IDS)만 깔아놓고, 고객의 통행 속도는 100% 보장하면서 소매치기를 적발하는 투 트랙(Two-track) 하이브리드 보안망을 짭니다.