351. DBSCAN (밀도 기반 클러스터링)

핵심 인사이트 (3줄 요약)

본질: DBSCAN(Density-Based Spatial Clustering of Applications with Noise)은 "비슷한 데이터(점)들이 빽빽하게(밀도) 뭉쳐 있는 곳을 하나의 그룹으로 묶어나가는" 밀도 기반의 비지도 학습 알고리즘이다.

가치: 군집의 개수(K)를 사람이 미리 찍어주지 않아도 데이터가 뭉친 형태에 따라 스스로 K개를 찾아내며, K-Means가 풀지 못하는 스마일 모양이나 초승달 모양 같은 '기괴하고 불규칙한 모양'의 군집까지 완벽하게 분리해 낸다.

판단 포인트: K값 대신 '내 주변 반경($\epsilon$)'과 '최소 이웃 수(MinPts)'라는 두 가지 파라미터를 튜닝해야 하며, 밀도가 들쭉날쭉한 데이터나 차원이 너무 높은 데이터에서는 성능이 곤두박질치므로 HDBSCAN 같은 진화된 아키텍처로 넘어가야 한다.

Ⅰ. 개요 및 필요성

데이터 분석가에게 가장 흔한 군집화 도구는 K-Means다. 하지만 K-Means는 결정적인 두 가지 한계가 있다. 첫째, "몇 개로 나눌지(K)"를 사람이 미리 정해줘야 한다. 둘째, 수학적으로 평균(중심점)과의 거리만 재기 때문에 오직 '동그란 모양'의 그룹밖에 못 만든다. 만약 고객 데이터가 도넛 모양이나 바나나 모양으로 생겼다면 K-Means는 이를 엉망진창으로 쪼개버린다.

"꼭 동그라미일 필요가 있을까? 점들이 촘촘하게 이어져 있으면 뱀 모양이든 별 모양이든 다 한 덩어리로 묶으면 되잖아!" 이 직관에서 출발한 것이 DBSCAN이다. 점들이 빽빽하게 모인 '고밀도 지역'을 따라가며 영토를 넓히다가, 점이 띄엄띄엄해지는 빈 공간을 만나면 영토 확장을 멈추고 새로운 군집을 찾는 천재적인 방식이다.

📢 섹션 요약 비유: K-Means가 지도의 한가운데 컴퍼스를 대고 억지로 동그란 영토(국경)를 그리는 왕이라면, DBSCAN은 사람들이 많이 모여 사는 동네를 따라가며 구불구불하고 자연스럽게 국경선을 그리는 지도학자다.

Ⅱ. 아키텍처 및 핵심 원리

DBSCAN의 메커니즘은 '핵심 점(Core)', '경계 점(Border)', '노이즈(Noise)'라는 세 가지 계급을 나누는 것에서 시작한다. 이를 위해 **엡실론($\epsilon$)**과 MinPts라는 두 개의 파라미터가 필요하다.

┌────────────────────────────────────────────────────────┐
│             [ DBSCAN의 밀도 기반 영토 확장 매커니즘 ]        │
├────────────────────────────────────────────────────────┤
│ 1. 파라미터 설정                                       │
│    - ε (Epsilon): 내가 팔을 뻗어 닿을 수 있는 반경 (예: 1cm)  │
│    - MinPts: 1cm 안에 최소한 모여 있어야 할 친구 수 (예: 4명) │
│                                                        │
│ 2. 데이터 포인트의 3가지 계급 분류                     │
│    - Core Point (핵심점): 반경 ε 안에 친구가 4명 이상 있음!  │
│      -> "이곳은 핫플레이스(고밀도)다. 영토를 확장하자!"     │
│                                                        │
│    - Border Point (경계점): 친구가 4명 미만이지만, 내 반경    │
│      안에 Core Point가 있음! -> "핵심 무리에 끼워줌"      │
│                                                        │
│    - Noise Point (노이즈): 내 반경에 친구도 없고, Core도 없음!│
│      -> "누구와도 안 친한 아웃사이더(이상치). 버림!"         │
└────────────────────────────────────────────────────────┘

영토 확장: 무작위로 한 점을 찍고 반경 $\epsilon$ 안에 MinPts만큼의 점이 있으면 '핵심점'이 된다. 이 핵심점의 이웃, 그리고 그 이웃의 이웃을 도미노처럼 계속 탐색하며 꼬리에 꼬리를 물고 같은 군집으로 묶어나간다.
노이즈 처리: 더 이상 조건에 맞는 점이 없으면 확장을 멈추고, 군집에 끼지 못한 점들을 과감하게 쓰레기통(Noise)으로 던져버린다. (이상치 탐지에 탁월한 이유)

📢 섹션 요약 비유: 1미터($\epsilon$) 안에 4명(MinPts) 이상 뭉쳐있으면 '인싸 무리(Core)'로 인정해 준다. 인싸 무리의 친구의 친구까지 다 끌어들여 거대한 파벌(군집)을 만들고, 1미터 안에 아무도 없는 독고다이는 어느 파벌에도 안 끼워주는(Noise) 냉혹한 세계다.

Ⅲ. 비교 및 연결

가장 대표적인 비지도 학습 알고리즘인 K-Means와 DBSCAN을 실무 관점에서 비교해 보자.

비교 항목	K-Means	DBSCAN
파라미터 입력	군집의 개수 (K)	반경($\epsilon$)과 최소 이웃 수(MinPts)
군집의 모양	볼록한 구형(Spherical) 모양으로만 묶임	기하학적이고 복잡한 비선형 모양 100% 처리 가능
이상치(Outlier) 대처	이상치마저도 억지로 가까운 군집에 욱여넣음 (오류 유발)	이상치를 완벽하게 노이즈(Noise)로 분류하여 무시함
데이터 밀도 변화	상관없이 잘 작동함	밀도가 군집마다 제각각 다르면 아예 작동을 못 함 (치명적 단점)
차원의 저주	차원이 높아져도 유클리드 거리로 웬만하면 돌아감	차원이 높을수록 엡실론($\epsilon$) 반경에 아무도 안 들어와서 다 노이즈 처리됨

DBSCAN의 "밀도가 다르면 망한다"는 치명적 약점을 보완하기 위해 탄생한 진화형 모델이 바로 **HDBSCAN (Hierarchical DBSCAN)**이다. 계층적 군집화 구조를 도입하여 빽빽한 무리와 헐렁한 무리를 동시에 기가 막히게 잡아낸다.

📢 섹션 요약 비유: K-Means는 책상 위를 무조건 서랍 3개에 억지로 다 쑤셔 넣는 청소법이고, DBSCAN은 뭉쳐있는 먼지와 쓰레기는 모양대로 빗자루로 쓸어 담고, 덩그러니 떨어진 쓰레기는 버려버리는(노이즈) 스마트한 청소법이다.

Ⅳ. 실무 적용 및 기술사 판단

실무 적용 시나리오: 공장의 모터 진동 센서 데이터로 '고장 전조(Anomaly Detection)'를 감지하려 한다. 수십만 개의 정상 진동 데이터는 특정 영역에 거대한 덩어리(도넛 모양)로 뭉쳐 있다. DBSCAN을 돌리면 이 덩어리를 예쁘게 정상(Cluster 0)으로 묶어버리고, 이 무리에서 멀리 튕겨 나간 10~20개의 튀는 센서 값들을 자동으로 노이즈(Noise, -1)로 분류해 낸다. 이 노이즈들이 바로 '고장 의심' 데이터가 되는 것이다.

기술사 판단 포인트 (Trade-off): DBSCAN 파이프라인 설계 시 **'엡실론($\epsilon$) 튜닝의 민감도'**를 제어하는 수학적 근거가 필요하다.

$\epsilon$을 너무 작게 잡으면 웬만한 데이터는 다 아웃사이더(Noise)가 되어버리고, 너무 크게 잡으면 모든 데이터가 하나의 거대한 군집으로 통일되어 버린다.
따라서 기술사는 임의로 $\epsilon$을 찍어보는 대신, 데이터들의 'K-최근접 이웃(KNN) 거리 그래프'를 그린 뒤, 엘보우 기법(Elbow Method)처럼 **거리가 급격히 꺾이는 변곡점(Knee)**을 수학적으로 찾아내어 $\epsilon$의 최적값을 세팅하는 자동화 아키텍처를 설계해야 한다.

📢 섹션 요약 비유: 돋보기(엡실론)의 배율을 조금만 잘못 맞추면 세상이 다 모래알처럼 쪼개져 보이거나, 온통 찰흙 한 덩어리처럼 뭉개져 보인다. 적당한 배율을 찾으려면 눈대중이 아니라 가장 선명하게 보이는 수학적 초점(Knee point)을 맞춰야 한다.

Ⅴ. 기대효과 및 결론

DBSCAN은 "모든 데이터가 어딘가에 속해야 한다"는 통계학의 강박관념을 부수고, '노이즈(Noise)'라는 개념을 군집화 알고리즘 한가운데로 당당히 끌어들인 패러다임 시프트다. 덕분에 데이터 분석가들은 노이즈 제거 전처리와 군집화를 한 번의 파이프라인으로 묶어서 처리할 수 있게 되었다.

결론적으로 DBSCAN은 지도의 해안선이나 별자리의 분포처럼, 자연계의 불규칙한 비선형 데이터를 탐색(EDA)하는 데 가장 아름답고 직관적인 알고리즘이다. 기술사는 데이터의 군집이 동그랄 것이라는 환상(K-Means)에서 벗어나, 밀도의 연속성으로 데이터를 엮어내는 DBSCAN과 HDBSCAN을 클러스터링의 최우선 베이스라인 모델로 장착해야 한다.

📢 섹션 요약 비유: 사람들이 둥글게 모여 춤을 추든, 기차놀이처럼 S자로 길게 늘어서서 춤을 추든, 서로 손이 닿아(밀도) 있기만 하다면 그 모양 그대로 한 팀으로 인정해 주는 가장 유연하고 똑똑한 심판이다.

📌 관련 개념 맵

상위 개념: 비지도 학습 (Unsupervised Learning), 군집화 (Clustering)
하위 개념: 엡실론 ($\epsilon$), MinPts, Core / Border / Noise Point
연결 개념: K-Means, HDBSCAN, 이상치 탐지 (Anomaly Detection), K-NN (K-최근접 이웃)

👶 어린이를 위한 3줄 비유 설명

운동장에서 친구들이 삼삼오오 뭉쳐서 놀고 있어요. 어떤 친구들은 둥글게, 어떤 친구들은 뱀 꼬리잡기처럼 길게 서 있죠.
DBSCAN은 "서로 손이 닿을락 말락 한 거리에 4명 이상 모여있으면 전부 다 한 팀이야!"라고 줄을 그어주는 선생님이에요.
무리에서 멀리 혼자 떨어져서 아무와도 손이 닿지 않는 친구는 가차 없이 "넌 외톨이(노이즈)야!"라고 빼버리는 단호함도 가졌답니다!