TF-IDF 및 코사인 유사도 (TF-IDF & Cosine Similarity)

핵심 인사이트 (3줄 요약)

본질: TF-IDF는 텍스트 내 단어의 단순 빈도(TF)와 문서 간 희소성(IDF)을 결합하여 정보적 가치를 수치화하는 기법이며, 코사인 유사도 (Cosine Similarity)는 벡터화된 문서 간의 방향(각도)을 측정해 의미적 유사성을 판별하는 거리 지표다.

가치: 비정형 텍스트 데이터를 컴퓨터가 계산 가능한 숫자 벡터 공간으로 옮겨놓아, 키워드 추출, 검색 엔진의 문서 랭킹, 추천 시스템 등 자연어 처리(NLP)의 근간을 제공한다.

판단 포인트: 단어의 등장 여부와 빈도를 바탕으로 하는 강력한 베이스라인이지만, 단어의 문맥(Context)이나 순서를 무시하므로 최신 실무에서는 딥러닝 기반의 임베딩(Word2Vec, BERT)과 하이브리드로 결합하여 사용해야 한계를 넘을 수 있다.

Ⅰ. 개요 및 필요성

자연어 처리(NLP)와 정보 검색 시스템에서 가장 큰 과제는 "비정형 텍스트를 어떻게 기계가 이해할 수 있는 숫자로 변환할 것인가(Vectorization)?"이다. 초기에는 문서 내에 특정 단어가 몇 번 등장했는지 단순히 세는 BoW (Bag-of-Words) 방식이나 Count Vector를 사용했다.

그러나 이 방식은 치명적인 문제가 있다. '은/는/이/가', '그리고', 'the', 'a' 같은 불용어(Stopwords)는 모든 문서에서 엄청나게 자주 등장하기 때문에 단순 카운트 방식에서는 가장 중요한 단어로 오해받는다. 반면, 특정 문서의 핵심을 찌르는 전문 용어는 빈도수가 낮아 무시된다. 이를 해결하기 위해 흔한 단어의 가중치는 깎아내고 희소한 단어의 가중치는 끌어올리는 TF-IDF가 등장했고, 이렇게 만들어진 문서 벡터들끼리 얼마나 비슷한지 방향성을 기준으로 측정하기 위해 코사인 유사도가 짝꿍으로 활용되기 시작했다.

📢 섹션 요약 비유: 단순 빈도수는 학생이 하루 종일 제일 많이 한 말("어", "음", "저기")을 그 학생의 특징이라고 착각하는 선생님과 같다. TF-IDF는 다른 반 애들은 안 쓰는데 이 학생만 유독 자주 쓰는 특별한 단어("양자역학")를 콕 집어내어 학생의 진짜 특징을 찾아내는 지능형 분석관이다.

Ⅱ. 아키텍처 및 핵심 원리

TF-IDF는 두 가지 지표의 곱으로 계산되며, 생성된 가중치 벡터는 코사인 유사도로 비교된다.

TF (Term Frequency, 단어 빈도): 특정 문서 $d$ 내에서 특정 단어 $t$가 등장한 횟수. (이 문서 안에서 얼마나 중요한가?)
IDF (Inverse Document Frequency, 역문서 빈도): 전체 문서 수 $N$을 단어 $t$가 등장한 문서 수 $df(t)$로 나눈 값에 로그를 취한 값. (전체 문서군에서 얼마나 희귀한가?)
- 수식: $TF-IDF(t, d, D) = TF(t, d) \times \log\left(\frac{N}{1 + df(t)}\right)$

이렇게 TF-IDF를 통해 문서가 벡터 공간의 좌표로 변환되면, 문서 A와 문서 B의 유사도는 두 벡터가 이루는 **각도(Angle)**를 측정하는 코사인 유사도 (Cosine Similarity)로 구한다.

┌──────────────────────────────────────────────────────────────────┐
│              문서 벡터화 및 코사인 유사도 산출 메커니즘          │
├──────────────────────────────────────────────────────────────────┤
│ [문서 A: "사과 바나나 사과"]          [문서 B: "바나나 포도"]        │
│          │                                   │                   │
│          ▼                                   ▼                   │
│ 1. TF-IDF Vectorization (가중치 계산)                            │
│    Vector A = [0.8(사과), 0.2(바나나), 0(포도)]                  │
│    Vector B = [0(사과), 0.5(바나나), 0.7(포도)]                  │
│          │                                                       │
│          ▼                                                       │
│ 2. Cosine Similarity (방향성 측정: A·B / |A||B|)                 │
│         y축(사과)                                                │
│         ▲                                                        │
│         │   Vector A                                             │
│         │  ↗     각도(θ)가 작을수록(cosθ ≒ 1) 유사도 높음          │
│         │ ↙ ─ ─ ─ ─ ─ Vector B                                   │
│         └──────────────────▶ x축(포도)                           │
└──────────────────────────────────────────────────────────────────┘

벡터의 크기(단어의 절대적 길이)가 달라도, 두 벡터가 가리키는 방향이 같으면 코사인 유사도는 1(완전 일치)에 가까워진다. 문서의 길이가 다르더라도 주제 분포가 비슷하면 유사하다고 판별할 수 있는 핵심 원리다.

📢 섹션 요약 비유: TF-IDF는 각 재료가 요리에서 얼마나 특별한 맛을 내는지 점수를 매기는 레시피 평가표다. 코사인 유사도는 요리의 양(1인분, 10인분)이 달라도 '짠맛 2, 단맛 1'의 비율(방향)만 같으면 두 요리가 똑같은 맛이라고 정확히 판정해 주는 미식가의 혀다.

Ⅲ. 비교 및 연결

문서 간의 거리를 측정할 때 코사인 유사도와 흔히 비교되는 것이 유클리디안 거리 (Euclidean Distance)다. 텍스트 분석에서는 이 둘의 경계를 명확히 알아야 한다.

비교 항목	코사인 유사도 (Cosine Similarity)	유클리디안 거리 (Euclidean Distance)
측정 기준	두 벡터가 이루는 각도 (방향)	두 벡터의 끝점을 이은 직선 거리 (크기)
문서 길이 영향	영향이 거의 없음 (정규화 효과)	문서 길이가 다르면 거리가 기하급수적으로 멀어짐
적합한 데이터	텍스트, 희소 벡터 (Sparse Vector), 추천 시스템	지리적 위치 데이터, 절대적인 수치 차이가 중요한 데이터
강점	"주제가 비슷한가?"를 잘 잡아냄	"규모와 스케일이 비슷한가?"를 잘 잡아냄

짧은 트윗과 긴 블로그 포스트가 같은 주제를 다룰 때, 유클리디안 거리로 계산하면 단어 빈도의 절대적 크기 차이 때문에 "완전 다른 글"로 오판 검사한다. 반면 코사인 유사도는 방향(비율)만 보므로 "비슷한 주제"로 묶어낼 수 있다.

📢 섹션 요약 비유: 코사인 유사도는 산의 모양(기울기)이 비슷한지를 보는 것이고, 유클리디안 거리는 산의 높이가 비슷한지를 보는 것이다. 텍스트 분석에서는 동네 뒷산과 에베레스트라도 '모양(주제)'이 같으면 유사하다고 봐야 하므로 코사인 유사도를 쓴다.

Ⅳ. 실무 적용 및 기술사 판단

TF-IDF와 코사인 유사도는 구현이 가볍고 빠르며 설명 가능성(Explainability)이 높기 때문에 실무 검색 시스템의 강력한 베이스라인(Baseline)으로 작용한다.

실무 판단 가이드

도입 채택 (Adopt):
- 쇼핑몰 상품명 검색, 뉴스 기사 키워드 기반 추천 시스템 등 키워드 매칭이 직관적으로 작용하는 도메인.
- 딥러닝 모델을 돌리기에는 서버 자원이 부족하거나, 극도의 낮은 지연시간(Low Latency)이 요구되는 초기 검색 필터링(Candidate Generation) 단계.
한계 인식 및 회피 (Avoid):
- TF-IDF는 단어의 문맥을 전혀 파악하지 못한다. "배를 먹다"와 "배를 타다"를 같은 단어로 취급한다.
- 단어의 철자가 조금만 달라도(예: '노트북', '랩탑') 완전히 다른 축(차원)으로 인식하여 유사도가 0이 되는 희소성(Sparsity) 문제가 발생한다.
- 문맥의 의미론적 유사성(Semantic Similarity)이 중요할 때는 반드시 Word2Vec이나 BERT Embedding을 채택해야 한다.

Ⅴ. 기대효과 및 결론

TF-IDF와 코사인 유사도는 비정형 데이터인 텍스트를 기계가 수학적으로 다룰 수 있도록 길을 열어준 고전이자 핵심 알고리즘이다. 문서의 주제를 수치화하여 군집화(Clustering)하고 분류(Classification)하는 모든 후속 머신러닝 작업의 피처(Feature)로 강력한 성능을 발휘한다.

결론적으로, 딥러닝 모델이 화려한 결과를 내는 현대에도 TF-IDF 기반의 희소 벡터 비교 기법(BM25 등)은 연산 효율성과 직관적 해석력 덕분에 검색 엔진의 최전선을 지키는 필수 기술이다. 이 개념을 명확히 이해해야만 고차원 임베딩 벡터의 본질적인 한계와 성능 트레이드오프를 설계 레벨에서 판단할 수 있다.

📢 섹션 요약 비유: TF-IDF는 요리의 기본이 되는 소금과 후추다. 트러플 오일(딥러닝 임베딩) 같은 고급 재료가 유행하더라도, 맛의 뼈대를 잡는 소금과 후추의 원리는 시대가 지나도 결코 사라지지 않는다.

📌 관련 개념 맵

개념	연결 포인트
BoW (Bag-of-Words)	단어의 순서를 무시하고 빈도만 가방에 담아 측정하는 TF-IDF의 뼈대가 되는 모델
BM25 (Best Matching 25)	TF-IDF를 보완하여 문서 길이가 길어짐에 따라 가중치가 무한정 커지는 것을 방지하는 검색 엔진 표준 알고리즘 (ElasticSearch 기본)
Word Embedding (Word2Vec)	단어의 빈도가 아닌, 주변 단어와의 동시 등장 확률을 학습해 문맥적 의미를 벡터화하는 딥러닝 기법
희소 행렬 (Sparse Matrix)	단어 사전이 커질수록 0이 대부분인 거대한 차원의 행렬이 생성되어 메모리 문제가 발생하는 현상

📈 관련 키워드 및 발전 흐름도

문서 수치화의 초기 접근
    │
    ▼
단순 빈도 기반 모델 (Count Vector / Bag-of-Words)
    │
    ▼
희소성 가중치 결합 (TF-IDF: 흔한 단어 패널티)
    │
    ▼
거리 측정 도입 (Cosine Similarity: 문서 방향성 기반 매칭)
    │
    ▼
길이 정규화 개선 (BM25: ElasticSearch 등 현대 검색의 표준)
    │
    ▼
의미론적 임베딩 결합 (Word2Vec · BERT / Hybrid Search)

이 흐름도는 "단순 카운트 → 희소성 반영 → 방향성 측정 → 길이 정규화 → 의미 기반 융합"으로 텍스트 벡터화 기술이 진화해 온 과정을 한눈에 보여준다.

👶 어린이를 위한 3줄 비유 설명

TF-IDF: 글 속에서 '그리고', '하지만'처럼 흔한 단어는 무시하고, 그 글에서만 유독 반짝이는 '특별한 보석 단어'에 높은 점수를 주는 채점표예요.
코사인 유사도: 두 친구가 '로봇'과 '우주선'을 좋아하는 마음의 방향이 얼마나 일치하는지 각도기로 재서, 마음이 통하는 짝꿍을 찾아주는 방법이에요.
결론: 글의 겉모습이나 길이가 달라도, 그 안에 담긴 진짜 중요한 핵심 단어들의 비율이 똑같으면 "둘은 비슷한 이야기네!"라고 컴퓨터가 알아채게 해주는 마법의 공식이랍니다.