236. 이상 탐지 (Anomaly-based Detection) - 행위 기반 탐지

⚠️ 이 문서는 해커가 기존 수배 전단지(시그니처)에 없는 신종 흉기(제로데이 공격)를 들고 들어올 때 허무하게 뚫려버리는 오용 탐지의 한계를 극복하기 위해, "정상적인 우리 직원들은 이렇게 행동한다"라는 화이트리스트 뼈대(Baseline)를 AI와 통계로 한 달간 달달 학습해 둔 뒤, 이 평범한 궤도를 1%라도 벗어나는 미친 짓(예: 새벽 3시에 100GB 중국 전송)을 하는 놈은 수배 전단지에 없어도 무조건 냅다 쏴 죽이는 '행위 기반 이상 탐지' 기법을 다룹니다.

핵심 인사이트 (3줄 요약)

  1. 본질: 해커의 지문(범죄 증거)을 쫓는 게 아니라, 우리 회사 직원들의 '평범한 일상(정상 패턴)'을 먼저 정의하고, 그 일상을 벗어나는 모든 이상한 짓(Anomaly)을 도둑으로 의심하는 역발상 보안이다.
  2. 가치: 안랩이나 시스코가 백신(시그니처)을 업데이트해 주지 않아도, 전 세계에 오늘 아침 처음 등장한 신종 공격(제로데이 공격, Zero-day)과 내부 직원의 데이터 몰래 빼돌리기(내부자 위협)를 귀신같이 잡아낼 수 있는 유일한 무기다.
  3. 기술 체계 (치명적 한계): 통계학, 기계 학습(머신러닝) 엔진이 돌아가며 평상시 트래픽을 모델링(Profiling)하지만, 정상적인 야근이나 정기 백업마저 해킹으로 착각해서 사이렌을 울려버리는 '오탐(False Positive)' 지옥이 펼쳐지기 때문에 보안팀의 끝없는 AI 튜닝 노가다가 수반된다.

Ⅰ. 제로데이(Zero-day)의 공포와 이상 탐지의 탄생

전단지에 사진이 없는 신종 범죄자를 어떻게 잡을 것인가.

  1. 시그니처(오용 탐지)의 무기력함:
    • 어제 배운 시그니처 탐지는 빠르고 정확하지만 치명적 결함이 있다. 세상에 처음 나온 해킹 코드(제로데이)를 맞으면, 장비의 DB 책자(블랙리스트)에 그 글자가 없으므로 그냥 "통과~" 시켜버린다.
  2. 이상 탐지 (Anomaly Detection)의 역발상:
    • "나쁜 놈 얼굴을 외우려 하지 마라. 대신 착한 놈(정상 직원)이 어떻게 걷는지 그 걸음걸이를 뼈저리게 외워둬라!"
    • 이 시스템(IDS/IPS)을 처음 전산실에 꽂으면, 2주일 동안 아무도 잡지 않고 멍하니 데이터만 먹는다 (학습 기간, Training/Profiling).
    • "음, 아침 9시엔 트래픽이 1Gbps 뛰고, 영업팀 PC들은 사내 그룹웨어 DB만 건드리고, 중국 쪽으로는 패킷이 하루에 10개만 가네." 이 방대한 통계적 정상 범주(Baseline)를 그려낸다.
  3. 탐지의 순간:
    • 어느 날, 영업팀 PC 하나가 갑자기 그룹웨어 DB를 초당 1만 번씩 찌르고, 빼낸 데이터를 중국 IP로 50GB씩 쏘기 시작한다.
    • 장비는 이 코드가 무슨 해킹인지(이름)는 모른다. 하지만 "이건 내가 아는 영업팀의 평소(Baseline) 궤적이 아니야! 미친놈이 나타났다!" 라며 즉각 사이렌을 울린다. 신종 랜섬웨어나 제로데이 공격을 이렇게 잡아낸다.

📢 섹션 요약 비유: 공항 경비원(이상 탐지)입니다. 전단지(시그니처)를 보지 않습니다. 대신 공항 승객들이 "여권 내밀기, 줄 서기, 캐리어 끌기"를 한다는 '정상적인 일상(Baseline)'을 한 달간 뚫어져라 관찰해 외워둡니다. 어느 날 한 승객이 줄도 잘 서고 여권도 정상인데, 갑자기 여름날 두꺼운 패딩을 입고 땀을 뻘뻘 흘리며(평소와 다름) 걸어갑니다. 경비원은 이 놈이 수배 전단지에 없더라도 "저놈 걸음걸이가 100% 정상인의 행동이 아니다!"라며 본능적(AI)으로 덮쳐서 몸수색을 해버리는 고도의 직관 수사 기법입니다.

Ⅱ. AI 머신러닝과의 환상 궁합 (NDR / NTA)

사람이 엑셀로 룰을 짤 수 없다. 인공지능이 100만 개의 핏줄을 감시한다.

  1. 규칙 기반 통계(Statistical)의 한계:
    • 옛날 이상 탐지는 관리자가 수동으로 룰을 짰다. if (초당 트래픽 > 1Gbps) then 해킹.
    • 이러면 블랙프라이데이 때 정상 고객 1만 명이 몰려와 트래픽이 2Gbps가 되면, 장비가 고객들을 해커 디도스(DDoS)로 착각하고 사내 접속을 다 끊어버리는 끔찍한 팀킬을 저지른다.
  2. AI / 머신러닝의 투입:
    • 요즘 잘나가는 NDR(Network Detection and Response) 보안 장비들은 딥러닝 뇌를 달고 나온다.
    • AI가 다차원(Multi-dimension)으로 분석한다. "트래픽이 2Gbps로 올랐지만, 접속 IP들이 국내 여러 곳에서 골고루 들어오고 있고 행동 패턴이 정상 고객의 윈도우 클릭 패턴(장바구니 담기)과 99% 일치하네. 이건 해킹이 아니라 블랙프라이데이 대박 난 거다. 통과시켜!"
    • 인간은 절대 구별할 수 없는 미세한 다차원 행위 패턴을 AI가 완벽히 판별하여 오탐률을 획기적으로 낮춰준다.
  3. 내부자 위협 (Insider Threat) 색출:
    • 해커보다 무서운 게 퇴사를 앞둔 내부 직원의 자료 빼돌리기다. (얘는 정상 권한이 있으므로 시그니처나 방화벽이 절대 못 잡는다.)
    • 이상 탐지 AI는 "어? 김 과장이 평소엔 하루에 도면 파일 5개만 열어보는데, 퇴근 1시간 전에 도면 5,000개를 한꺼번에 USB 폴더로 긁어모으고 있네?" 라는 이상 징후를 캐치해 내어 산업 스파이를 문 앞에서 박살 내 버린다.

📢 섹션 요약 비유: 식당 사장(AI)이 매일 오는 단골손님(트래픽)들의 식성(Baseline)을 완벽히 외웠습니다. 단골 1번은 항상 짜장면만 시킵니다. 그런데 오늘 단골 1번이 갑자기 짬뽕 50그릇을 포장해 달라고 합니다. 짬뽕 시키는 게 불법(시그니처 위반)은 아니지만, 사장님(AI)은 "이건 평소 1번 손님의 패턴이 절대 아니다! 누군가 1번의 지갑을 훔쳐서 카드를 긁고 있는 게 분명하다(이상 탐지)!"라며 결제를 중단시키고 경찰에 신고하는 엄청난 AI 통계 기반 눈치싸움입니다.

Ⅲ. 양치기 소년의 저주: 오탐(False Positive)의 늪

경보기가 매일 오작동하면, 사람들은 진짜 불이 났을 때 사이렌 전원을 꺼버린다.

  1. 오탐(False Positive)의 지옥:
    • 이상 탐지의 90%는 오탐이다. 정상적인 짓인데도 평소랑 조금만 다르면 "해킹이다!"라고 짖어댄다.
    • 보안 관제팀 화면에 하루에 1만 개의 시뻘건 알람이 쏟아진다. 클릭해 보면 "아, 영업팀 과장님이 늦잠 자서 집에서 VPN 키고 파일 받은 거네", "아, 서버팀이 어제 새벽에 전체 DB 풀 백업 돌린 거네" 라며 헛발질 알람뿐이다.
  2. 보안팀의 피로(Alert Fatigue)와 사이렌 무시:
    • 한 달 내내 가짜 알람 30만 개를 끄다 지친 보안 관제 요원(사람)은 '알람 피로도'에 빠진다.
    • 진짜 북한 해커가 들어와서 이상 행위 사이렌이 삐용삐용 울리는데, 요원은 "에이 또 오작동이겠지" 라며 커피를 마시러 간다. 완벽한 장비를 사놓고 인간이 사이렌을 무시해서 털리는 비극이 발생한다.
  3. 현대적 타협: 시그니처와 융합 (Hybrid):
    • 그래서 오늘날 이상 탐지 엔진 하나만 단독으로 켜놓는 멍청한 전산실은 없다.
    • **1차로 시그니처(오용 탐지)**로 뻔한 쓰레기 해커들을 0.001초 만에 다 쳐내어 트래픽을 가볍게 만든 뒤, 2차로 이상 탐지 AI를 켜서 진짜 은밀하고 미세한 신종 첩자(제로데이)만 현미경으로 걸러내는 환상적인 하이브리드 투 트랙(Two-track) 구조를 짠다. 이것이 오늘날 차세대 IPS 장비의 기본 세팅이다.

📢 섹션 요약 비유: 도난 경보기(이상 탐지)를 센서 감도 최고로 높여놨습니다. 진짜 도둑(제로데이 해커)은 잘 잡겠지만, 밤에 지나가는 길고양이(정상 야근 직원)나 낙엽(정상 백업)이 떨어질 때마다 밤새 삐용삐용 댑니다(오탐). 경비원은 밤새 출동하다 지쳐서 경보기 전원을 아예 꺼버립니다(알람 피로도). 현명한 소장은 집 외벽에는 철조망(시그니처)을 쳐서 고양이를 1차로 막고, 금고실 문 앞에만 초정밀 적외선 센서(이상 탐지 AI)를 켜두어 오진율을 극한으로 낮추면서도 신종 괴도 루팡을 완벽히 때려잡는 이중 방어막을 설계합니다.