238. NIDS / NIPS (네트워크 기반 침입 탐지/방지 시스템)

⚠️ 이 문서는 해커가 우리 회사 서버 100대에 접근하기 위해 뚫고 지나가야 하는 '필수 외길(고속도로 톨게이트)'에 거대한 엑스레이 감시 장비를 떡 하니 세워두고, **서버에 개별적으로 백신을 깔 필요 없이 오직 네트워크 길목 하나만 틀어막아 회사 전체로 들어오고 나가는 수백만 개의 핏줄(패킷)을 중앙에서 한 방에 스캔하고 차단해 버리는, 엔터프라이즈 보안 인프라의 가장 든든하고 가성비 넘치는 최전방 대장 장비인 'NIDS/NIPS (네트워크 기반 IDS/IPS)'**를 다룹니다.

핵심 인사이트 (3줄 요약)

  1. 본질: 앞서 배운 HIDS가 방 안의 몰래카메라라면, NIDS/NIPS는 아파트 단지 정문(네트워크의 초입)에 세워둔 대형 톨게이트 스캐너다. 개별 컴퓨터(OS)에는 1바이트의 프로그램도 깔지 않는 100% 네트워크 장비다.
  2. 가치: 서버가 1,000대든 10,000대든 장비 한 대(또는 이중화된 두 대)만 스위치 앞단에 꽂아두면 전체망을 통째로 커버하는 극강의 관리 편의성(가성비)을 자랑한다. 해커가 서버에 닿기도 전에 허공에서 패킷을 찢어버려 서버의 생명을 보장한다.
  3. 기술 체계 (치명적 한계): 메인 도로를 감시하므로 **초당 수십 기가비트(Gbps)**의 트래픽을 0.001초 만에 해독하는 미친 하드웨어 파워(ASIC 칩)가 필수적이다. 단, 해커가 패킷에 완벽한 자물쇠(HTTPS/VPN 암호화)를 채우고 지나가면 장비가 내용물을 전혀 까볼 수 없어 속수무책으로 바보가 되는 치명적 맹점을 지닌다.

Ⅰ. 네트워크 병목의 지배자: 왜 NIDS/NIPS를 쓰는가?

1,000개의 방에 일일이 자물쇠를 다는 대신, 대문 하나만 완벽히 봉쇄한다.

  1. 에이전트 프리(Agent-less)의 축복:
    • 어제 배운 HIDS(호스트 기반)는 서버 1,000대에 에이전트 프로그램을 1,000번 깔아야 했고, 서버의 소중한 CPU를 뺏어 먹어 현업 부서의 원성을 샀다.
    • NIDS/NIPS는 서버에 단 1줄의 프로그램도 깔지 않는다. 그냥 인터넷망과 사내 스위치 사이의 메인 랜선 1가닥에 자기 기계를 꽂을 뿐이다. 서버 관리자들은 보안 장비가 달렸는지조차 눈치채지 못한다(완벽한 투명성).
  2. NIDS (탐지) vs NIPS (방지/차단):
    • NIDS (Out-of-band): 본선(랜선) 옆으로 살짝 빠져서 복사본 패킷만 구경한다. 해커를 발견하면 "침입자!"라고 사이렌만 앵앵 울린다(차단 권한 없음). 장비가 죽어도 사내 인터넷은 안 끊긴다.
    • NIPS (In-band): 본선 랜선을 뚝 자르고 자기 뱃속을 거쳐 가게 꽂는다. 해커 패킷이 보이면 **1초의 망설임도 없이 쓰레기통에 폐기(Drop)**해 버리고 차단한다. 강력하지만 장비가 죽으면 인터넷이 끊기는 위험(SPOF)이 있어 Bypass 랜카드를 꼭 단다.
    • 요즘은 이 두 개를 굳이 구별하지 않고 한 기계에 넣어서, 룰 세팅에 따라 "이 룰은 탐지만(NIDS 모드), 저 룰은 차단해라(NIPS 모드)"라고 섞어서 쓰는 게 대세다.

📢 섹션 요약 비유: NIDS/NIPS는 공항의 [엑스레이 수하물 검색대]입니다. 비행기(서버) 100대에 타는 1만 명의 승객 주머니를 비행기 안에서 스튜어디스가 일일이 뒤지게 하는 것(HIDS)은 미친 짓입니다. 엑스레이 기계 하나를 공항 정문에 떡 하니 세워두고 모든 승객을 강제로 일렬로 통과시키면, 폭탄(해킹 패킷)을 든 놈을 비행기에 타기도 전에 정문 컷(Drop)으로 날려버려 비행기의 안전을 100% 보장해 주는 효율성의 극치입니다.

Ⅱ. 대장 장비의 숙명: 성능의 한계와 미탐의 공포

너무 많이 몰려들거나 암호로 꼬아버리면 문지기도 눈이 돌아간다.

  1. 성능 병목 (Performance Bottleneck):
    • 방화벽(L4)은 봉투에 적힌 IP와 포트 번호 2줄만 슥 보고 통과시킨다.
    • NIPS는 쏟아지는 1만 개의 소포(패킷)를 전부 칼로 찢어서 안에 있는 편지 내용(L7 Payload, UNION SELECT 글자)을 끝까지 다 읽어보고 매칭해야 한다.
    • 블랙프라이데이에 트래픽이 10Gbps 폭주하면, NIPS의 뇌(CPU)가 과부하로 타버려서 트래픽 처리가 지연되고 사내 인터넷 전체가 버벅거리는 치명적 병목 현상의 주범이 된다. (그래서 비싼 NIPS는 전용 하드웨어 칩인 ASIC이나 FPGA를 달고 나온다.)
  2. 암호화 트래픽 (HTTPS)이라는 철벽의 방패:
    • 2024년 현재, 인터넷 트래픽의 90%는 HTTPS(TLS 암호화)로 꽁꽁 싸여 날아다닌다.
    • 해커가 악성코드를 이 두꺼운 철가방(HTTPS)에 넣어서 쏘면, 중간 길목에 선 NIPS는 열쇠(개인키)가 없기 때문에 철가방 안을 열어볼 수가 없다! 안에 폭탄이 들었는지 휴지가 들었는지 전혀 모른 채 멍청하게 100% 프리 패스시켜버리는 **'미탐(False Negative)의 대재앙'**이 발생한다.
  3. 가짜 회피 공격 (Evasion Tactics):
    • 똑똑한 해커는 NIDS를 바보로 만들기 위해 편지를 100갈래로 잘게 쪼개서(IP 단편화, Fragmentation) 아주 천천히 보낸다.
    • 멍청한 NIDS는 조각난 편지를 한 번에 이어 붙일 램(RAM) 공간이나 지능이 부족해서 "음? 글자가 끊겨 있어서 해킹인지 모르겠네?" 라며 다 통과시키고, 나중에 서버(Host)에서 그 조각들이 조립되어 폭탄으로 터지게 내버려 둔다.

📢 섹션 요약 비유: 아무리 눈썰미가 좋은 공항 검색대 직원(NIPS)이라도, 하루에 10만 명(폭주 트래픽)이 한꺼번에 검색대로 밀려들면 지쳐서 엑스레이를 꼼꼼히 못 보고 폭탄을 흘려보냅니다(병목 및 미탐). 더 절망적인 건, 해커가 납으로 만든 절대 안 열리는 특수 금고(HTTPS 암호화)에 총을 담아 오면 엑스레이조차 튕겨 나가 내용물을 1%도 볼 수 없어 "통과!"를 외칠 수밖에 없는, 눈 뜬 장님이 되는 치명적인 맹점을 가지고 있습니다.

Ⅲ. 차세대 진화: SSL 가시성과 NGFW로의 통합

눈이 멀었다면, 강제로 철가방을 부수고 열어라.

  1. SSL 가시성 장비 (SSL Decryption)의 등판:
    • 암호화(HTTPS)에 당하고만 있을 순 없다. NIPS 장비 바로 앞단에 **'SSL 복호화 전용 장비'**라는 무시무시한 깡패를 세워둔다.
    • 이 깡패는 회사의 마스터 암호 키를 가지고 있다. 해커가 쏜 철가방(HTTPS)이 들어오면, 강제로 자물쇠를 부수고 철가방을 쩍 열어 내용물을 생얼(Plain-text) 상태로 훌렁 벗겨버린다.
    • 그 벗겨진 알맹이를 NIPS에게 넘겨 "야, 편하게 스캔해!"라고 줍니다. NIPS가 검사를 끝내면 다시 예쁘게 자물쇠를 채워서 서버로 보내는(MITM, 중간자 공격 원리) 극한의 검열 체계가 현대 네트워크의 필수품이다.
  2. 차세대 방화벽 (NGFW)으로의 흡수 통폐합:
    • 옛날에는 [방화벽 장비] -> [NIPS 장비] -> [안티바이러스 장비]를 줄줄이 소시지처럼 세워뒀다 (비용 폭발, 전력 낭비, 관리 지옥).
    • 지금의 팔로알토(Palo Alto)나 포티넷(Fortinet) 같은 벤더들은 선언했다. "기계 3대 사지 마라! '차세대 방화벽(NGFW)' 깡통 기계 딱 1대만 사면, 그 뱃속에 방화벽 칩, NIPS 엔진 칩, 이상 탐지 AI 칩을 다 때려 박아서 한 방에 처리(UTM/NGFW)해 주마!"
    • 이로 인해 과거의 독립된 깡통 NIPS 장비는 점점 시장에서 사라지고, 거대한 차세대 방화벽 뱃속의 하나의 '기능(Feature)'으로 녹아들어 가 융합의 길을 걷고 있다.

📢 섹션 요약 비유: 암호화 철가방(HTTPS) 때문에 바보가 된 엑스레이 검색대(NIPS)를 구원하기 위해, 공항은 수하물을 강제로 빠루로 뜯어 열고 내용물을 맨눈으로 확인한 뒤 다시 박스테이프를 발라주는 전담 요원(SSL 가시성 장비)을 고용했습니다. 더 나아가, 요원 3명(여권 검사, 짐 검사, 체온 검사)을 따로 두니 줄이 너무 막혀서, 아예 눈에서 엑스레이가 나가고 체온도 재는 최첨단 로봇 캅(차세대 방화벽 NGFW) 1대를 세워 검문 단계를 하나로 통폐합해 버리는 눈부신 첨단 보안의 진화입니다.