Brain💡 핵심 인사이트 벡터 데이터베이스(Vector Database)는 "텍스트, 이미지, 오디오 등 비정형 데이터를 딥러닝 모델로 변환한 고차원 벡터(임베딩)를 저장하고, 유사도 검색을 수행하는" 특수 목적 데이터베이스입니다. 전통적 데이터베이스가 "정확한 매칭(=WHERE id = 1)"에 특화되었다면, 벡터 DB는 "비슷한 것을 찾기(=이 질문과 유사한 문서를 찾아줘)"에 특화되어 있습니다. ChatGPT, Claude 등 LLM의 RAG(Retrieval-Augmented Generation), 음성 인식, 이미지 검색, 추천 시스템 등에서 핵심적인 역할을 합니다.
Ⅰ. 벡터 데이터베이스의 탄생 배경: AI 시대의 데이터 저장
AI 모델은 텍스트, 이미지, 오디오 등의 비정형 데이터를 **고차원 숫자 배열(벡터)**로 변환합니다.
[임베딩(Embedding)의 개념]
"서울 맛집 추천" 이라는 텍스트
│
│ Embedding Model (예: OpenAI text-embedding-3-small)
│
▼
[ 0.0231, -0.0452, 0.0891, 0.0345, -0.0123, ..., 0.0678 ]
차원: 1536 dimensions (OpenAI embedding 모델 기준)
같은 의미/주제의 문장 → 비슷한 벡터 값
"한식 맛집 추천" → [ 0.0251, -0.0412, 0.0921, ... ] (유사!)
"비 오는 날 집에서食べる" → [ -0.1231, 0.0892, -0.0123, ... ] (상이!)
문제의 출발점:
- **수천만 개**의 벡터가 생성됨
- 각 벡터는 1536차원 (OpenAI 기준)의 부동소수점
- "이 벡터와 가장 비슷한 벡터 Top-K개를 찾아라"라는 查询가必需
전통 DB로 이것을 할 수 있을까?
- SQL의
WHERE는 **정확한 매칭**만 가능 ORDER BY distance로 전체 스캔하면 수십억 번의 거리 계산 → 数十分 소요- 전용 벡터 인덱싱 기술이必需
Ⅱ. 벡터 데이터베이스의 핵심 기능: ANN과 인덱싱
벡터 DB의 핵심은 **ANN(Approximate Nearest Neighbor, 근사 최근접 이웃) 검색**입니다.
[정확한Nearest Neighbor vs ANN]
정확한 Nearest Neighbor (KNN):
- 모든 벡터와 거리를 계산
- 정확하지만 O(N) 시간 복잡도
- 100만 벡터: 100만 번 거리 계산
- 10억 벡터: 10억 번 거리 계산 → 수십 분~수시간
Approximate Nearest Neighbor (ANN):
- 정확하지는 않지만 (99% 정확도) 엄청나게 빠름
- O(log N) 또는 O(1) 에 가까운 시간 복잡도
- 100만 벡터: 수천~수만 번 계산
- 10억 벡터: 수만~수십만 번 계산 → 수 밀리초~수초
대표적 ANN 알고리즘:
1. HNSW (Hierarchical Navigable Small World)
- 그래프 기반 ANN: 계층적 탐색 그래프
- **M, efConstruction 파라미터**로 정확도/속도 조절
- Milvus, Weaviate 등主流 벡터 DB에서使用
# HNSW 예시 (Pseudocode)
index = HNSW(space='cosine', M=16, efConstruction=200)
index.add_items(vectors, ids=range(len(vectors)))
results = index.search(query_vector, k=10) # Top-10 유사 벡터
2. IVF (Inverted File Index)
- 군집 기반 ANN: 벡터 공간을 군집으로 분할
- nprobe 파라미터로 탐색 군집 수 조절
- Faiss (Facebook AI Similarity Search) 에서 지원
[ANN 인덱싱 비교]
HNSW: IVF:
┌───────────────────────┐ ┌───────────────────────┐
│ Level 2 (상위 그래프) │ │ Centroid 0: [v1, v5, v9] │
│ 1 ─────── 2 │ │ Centroid 1: [v2, v3, v7] │
│ / \ / \ │ │ Centroid 2: [v4, v6, v8] │
│ 3 4 5 6 │ │ ... │
│ │ └───────────────────────┘
│ Level 1 (중위 그래프) │ │
│ 1-3-7-2-8-5-9-4-6 │ │
│ │ │
│ Level 0 (하위 그래프) │ │
│ (세밀한 지역 연결) │ │
└───────────────────────┘ │
│
탐색: 상위 → 중위 → 하위 그래프를 순차적으로 탐색하여 │
가까운 노드를 빠르게 발견 │
Ⅲ. 벡터 데이터베이스의 주요 기술 스택
[주요 벡터 데이터베이스 및 특성]
┌─────────────────────────────────────────────────────────────────┐
│ 벡터 DB 기술 스택 │
├─────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────┬──────────────────────────────────────────┐ │
│ │ 벡터 DB │ 특성 및 사용 사례 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ Milvus │ - 오픈소스, 수십억 벡터 지원 │ │
│ │ │ - HNSW, IVF, ANNOY 등 다방인 인덱스 지원 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ Pinecone │ - 완전 관리형 클라우드 서비스 │ │
│ │ │ - AWS, GCP, Azure 통합 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ Qdrant │ - Rust 기반,高性能 │ │
│ │ │ - 필터링 기능强大, On-premise 지원 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ Weaviate │ - GraphQL API, 시맨틱 검색 특화 │ │
│ │ │ - 모듈화된 임베딩 모델 연동 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ Chroma │ - 개발자 친화적, Python 우선 │ │
│ │ │ - LLM/AI 프로토타이핑에 이상적 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ PGVector │ - PostgreSQL 확장 │ │
│ │ │ - 기존 RDBMS와 통합, 트랜잭션 지원 │ │
│ └─────────────┴──────────────────────────────────────────┘ │
│ │
│ ┌─────────────┬──────────────────────────────────────────┐ │
│ │ 임베딩 생성 │ 모델 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ OpenAI │ text-embedding-3-small/large │ │
│ │ │ 1536~3072 차원 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ Sentence │ all-MiniLM-L6-v2 (384차원) │ │
│ │ Transformers│ 다국어 지원, 경량 │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ CLIP │ 텍스트+이미지 통합 임베딩 (Multi-modal) │ │
│ ├─────────────┼──────────────────────────────────────────┤ │
│ │ AWS Titan │ Amazon의 임베딩 모델 │ │
│ └─────────────┴──────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────────┘
Ⅳ. 벡터 데이터베이스의 활용 사례
1. RAG (Retrieval-Augmented Generation)
LLM의 환각(Hallucination)을 줄이기 위해 벡터 DB를 활용합니다.
[RAG 아키텍처]
사용자 질문: "데이터베이스 인덱스의 종류와 특징은?"
│
│ 1. 질문 벡터화
│ OpenAI Embedding API
│ → [0.0231, -0.0452, ...]
▼
┌───────────────────────────┐
│ 벡터 DB (Pinecone) │
│ "인덱스" 관련 문서 벡터들 │
│ - B-Tree 인덱스 설명 벡터 │
│ - 해시 인덱스 설명 벡터 │
│ - 비트맵 인덱스 설명 벡터 │
└───────────────────────────┘
│
│ 2. ANN 검색
│ Top-K 유사 문서 검색
▼
관련 문서Chunk들
(B-Tree, 해시, 비트맵 인덱스 설명)
│
│ 3. LLM에 컨텍스트 제공
▼
┌───────────────────────────┐
│ LLM (GPT-4) │
│ "이 문서들을 참고해서 │
│ 인덱스 종류를 설명해줘" │
└───────────────────────────┘
│
▼
정확한 답변 (환각 최소화)
2. 이미지 검색
[이미지 유사 검색]
"이 신발과 비슷한 제품을 찾아줘"
│
│ CLIP 모델로 이미지 벡터화
▼
┌───────────────────────────┐
│ 벡터 DB (Milvus) │
│ 수천만 개 상품 이미지 벡터 │
└───────────────────────────┘
│
│ ANN 검색 (cosine similarity)
▼
"비슷한 스타일/색상/가격의 상품 Top-10"
Ⅴ. 벡터 데이터베이스의 실제 적용과 📢 비유
성능 최적화 Knobs:
- M / efConstruction: HNSW 그래프 빌드 파라미터. 높을수록 정확도↑, 빌드 시간↑, 메모리↑
- ef / nprobe: 검색 시 탐색 범위. 높을수록 정확도↑, 검색 시간↑
- 정확도 vs 속도 트레이드오프: 95% 정확도로 100배提速 가능
기존 DB와의 통합:
- PGVector: PostgreSQL에서 벡터 검색 가능 → 기존 앱에 간단 통합
- Redis_VSS (Redis Vector Similarity Search): 캐싱 레이어에서 벡터 활용
- Pinecone Serverless: 클라우드 네이티브, 자동 스케일링
📢 섹션 요약 비유: 벡터 데이터베이스는 **"도시의 지도 앱에 비유"**할 수 있습니다. (전통 DB가 "123번地的何在?"를 "도로명 주소로精确検索"한다면,벡터 DB는 "여기와 비슷한 분위기의 맛집 찾아줘"에 (“여기”의 위치에서 떨어져 있지만, 유사한 경험을 줄 수 있는) 결과를 (수 밀리초 만에) 찾아줍니다.) 지도 앱이 (위치, 리뷰, 메뉴) 등 여러 축으로 "비슷한 곳"을 찾는 것처럼, 벡터 DB도 (의미, 감정, 스타일) 등 고차원적인 "닮은 것"을 (수십억 개 데이터에서) 빠르게 찾아냅니다. 다만 "정확한 곳을 찾으려면 전통 DB가 더 낫고, “비슷한 것”을 찾으려면 벡터 DB"라는 (각자의得意 영역)이 존재합니다.