BrainCore Insight
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 파운데이션 모델(LLM)의 환각(Hallucination) 현상을 극복하기 위해 벡터 DB에 저장된 신뢰할 수 있는 외부 데이터를 검색하여 모델의 입력(Prompt)에 포함시키는 기술이며, 이를 통해 모델을 재학습시키지 않고도 최신 정보와 특정 도메인 지식을 정확하게 답변에 반영하는 현대적 AI 아키텍처의 핵심이다.
I. RAG(Retrieval-Augmented Generation)의 개념과 필요성
AI 모델의 지능과 외부 데이터베이스의 지식을 결합하는 전략이다.
- LLM의 한계:
- Knowledge Cut-off: 학습 시점 이후의 최신 정보를 모름.
- Hallucination: 모르는 정보에 대해 그럴듯한 거짓말을 함.
- RAG의 정의: 질문이 들어오면 실시간으로 관련 문서를 '검색(Retrieve)'하고, 검색된 내용을 참고하여 답변을 '생성(Generate)'하는 프로세스.
📢 섹션 요약 비유: 학생(LLM)이 모든 교과서를 외워서 시험을 보는 대신, 시험 시간에 최신 백과사전(Vector DB)을 찾아보며 정답을 쓰는 오픈북 테스트와 같습니다.
II. 벡터 DB와 임베딩(Embedding)의 역할
텍스트를 기계가 이해하는 숫자의 덩어리(Vector)로 변환하여 저장하고 검색한다.
- Embedding: 문장이나 문서를 수백~수천 개의 숫자로 이루어진 벡터로 변환하여 의미적 유사성(Semantic Similarity)을 수학적으로 계산 가능하게 함.
- Vector DB (Pinecone, Milvus, Weaviate):
- 고차원 벡터 데이터를 효율적으로 저장.
- ANN (Approximate Nearest Neighbor): 수조 개의 데이터 중 유사한 벡터를 초고속으로 검색.
📢 섹션 요약 비유: 과일을 '빨간색', '동그란 모양' 같은 숫자로 점수를 매겨(Vector) 지도 위에 표시해두고, 비슷한 점수를 가진 과일들을 한곳에서 모아 찾는 것과 같습니다.
III. RAG 시스템의 작동 프로세스 (Workflow)
데이터 가공부터 최종 답변 생성까지 5단계 과정을 거친다.
- Ingestion (데이터 주입): 문서를 작게 쪼개고(Chunking), 벡터로 변환하여 DB에 저장.
- Retrieval (검색): 사용자의 질문을 벡터로 변환하여 DB에서 가장 유사한 문서 조각(Top-K)을 검색.
- Augmentation (증강): 질문과 검색된 문서 조각들을 합쳐 풍부한 맥락(Context)을 가진 프롬프트 생성.
- Generation (생성): LLM이 프롬프트를 바탕으로 답변 작성.
- Citations (인용): 어떤 문서를 참고했는지 출처를 밝혀 신뢰도 향상.
📢 섹션 요약 비유: 요리사(LLM)에게 손님이 "매운 음식 추천해 줘"라고 하면, 요리사가 레시피 북(Vector DB)에서 매운 음식 페이지만 골라와서(Retrieval) 그 내용을 보고 맛있는 요리(Generation)를 완성하는 과정입니다.
IV. RAG 성능 향상을 위한 아키텍처 최적화 기법
단순 검색을 넘어 정교한 시스템 구축을 위한 기술들이다.
- Hybrid Search: 키워드 기반 검색(BM25)과 의미 기반 벡터 검색을 결합하여 정확도 향상.
- Re-ranking: 검색된 결과물들을 다시 한번 정밀하게 평가하여 가장 관련성 높은 순으로 재정렬.
- Query Transformation: 사용자의 질문이 모호할 경우, 검색에 적합한 형태로 질문을 다시 작성(Rewrite).
- Agentic RAG: 에이전트가 스스로 판단하여 어떤 DB를 뒤질지, 혹은 검색이 더 필요한지 결정하는 고도화된 구조.
📢 섹션 요약 비유: 도서관 사서가 제목으로만 책을 찾는 게 아니라, 책의 내용과 저자의 의도까지 파악해서 가장 완벽한 한 권을 골라주는 것과 같습니다.
V. 파인튜닝(Fine-tuning) vs RAG 비교
| 구분 | 파인튜닝 (Fine-tuning) | RAG (검색 증강 생성) |
|---|---|---|
| 작동 방식 | 모델 자체의 가중치를 업데이트 | 모델은 그대로 두고 외부 지식 참조 |
| 최신성 | 학습 시점에 고정됨 (재학습 필요) | 실시간 데이터 업데이트 반영 가능 |
| 정확도 | 환각 현상 제어 어려움 | 출처(Source) 기반으로 답변하여 환각 감소 |
| 구현 비용 | 높음 (GPU 자원 및 전문 지식 필요) | 상대적으로 낮음 (DB 관리 위주) |
📢 섹션 요약 비유: 뇌 수술(Fine-tuning)을 해서 지식을 직접 넣어주는 것과, 언제든 꺼내볼 수 있는 스마트폰(RAG)을 쥐여주는 것의 차이입니다.
Concept Map
┌──────────────────────────────────────────────────────────┐ │ RAG System Architecture │ └─────────────┬───────────────────────────────┬────────────┘ │ │ ┌────────▼────────┐ ┌─────────▼────────┐ │ Vector DB │ │ Foundation Model │ │ (Source Knowledge) │ (Intelligence) │ └────────┬────────┘ └─────────┬────────┘ │ │ └───────────────┬───────────────┘ │ ┌───────────▼───────────┐ │ RAG Pipeline │ ├───────────────────────┤ │ 1. Encode Question │ │ 2. Retrieve Context │ │ 3. Generate Answer │ └───────────┬───────────┘ │ ┌─────────▼─────────┐ │ Accurate Response │ │ (with Citations) │ └───────────────────┘
Children's Analogy
똑똑하지만 가끔 엉뚱한 말을 하는 '인공지능 로봇'이 있다고 해봐요. 이 로봇에게 "어제 우리 학교 급식 메뉴가 뭐야?"라고 물어보면 잘 모를 수 있어요. 그래서 로봇 옆에 '급식표 게시판(Vector DB)'을 세워주는 거예요. 로봇은 질문을 받으면 얼른 게시판을 보고 정답을 찾아서 우리에게 말해준답니다. 덕분에 로봇은 공부를 매일 새로 하지 않아도 항상 정확한 대답을 할 수 있게 돼요!