RAG란 무엇인가?

RAG(Retrieval-Augmented Generation)는 “검색 기반 생성” 구조로, 대규모 언어 모델(LLM)이 답변을 생성하기 전에 외부 지식을 먼저 검색해서 그 결과를 참고하도록 만든 AI 아키텍처다. 기존 LLM은 학습된 시점까지의 데이터만 알고 있기 때문에 최신 정보나 특정 회사의 내부 문서 같은 데이터에는 한계가 있다. RAG는 이 문제를 해결하기 위해 “검색(Retrieval)”과 “생성(Generation)”을 결합한 방식이다.

RAG가 필요한 이유

LLM의 가장 큰 문제는 “모르는 것을 그럴듯하게 말하는 현상(hallucination)”과 “최신 정보 부족”이다. 모델은 학습 시점 이후의 정보를 알 수 없기 때문에 최신 API 변경, 새로운 기술 문서, 실시간 데이터 같은 정보를 반영하지 못한다. 또한 회사 내부 문서나 개인 데이터처럼 학습 데이터에 포함되지 않은 정보는 정확하게 답하기 어렵다.

이 문제를 해결하는 방법으로 모델을 다시 학습하는 방식이 있지만, 이는 비용이 매우 크고 업데이트 주기도 느리다. 반면 RAG는 모델 자체를 바꾸지 않고 외부 데이터를 연결하는 방식이기 때문에 훨씬 빠르고 유연하게 시스템을 업데이트할 수 있다. 즉 “모델은 그대로 두고, 지식만 계속 확장하는 방식”이다.

RAG의 전체 구조

RAG는 크게 3단계로 동작한다.

첫 번째는 데이터 저장 단계다. 문서, PDF, 웹페이지, DB 데이터 등을 그대로 넣는 것이 아니라 작은 단위로 나누는 chunking 작업을 먼저 수행한다. 이후 embedding 모델을 통해 각 chunk를 벡터로 변환한다. 이 벡터는 텍스트의 의미를 숫자로 표현한 것으로, 의미가 비슷한 문장은 비슷한 벡터 값을 가진다. 이렇게 변환된 데이터는 vector database에 저장된다.

두 번째는 검색 단계다. 사용자가 질문을 입력하면 해당 질문도 embedding으로 변환된다. 그리고 vector DB에서 질문 벡터와 가장 가까운 데이터를 찾는다. 이 과정은 키워드 매칭이 아니라 “의미 유사도 기반 검색”이다. 예를 들어 “환율 상승 이유”라고 질문하면 “달러 강세 원인” 같은 문서도 함께 검색될 수 있다.

세 번째는 생성 단계다. 검색된 문서들을 context로 LLM에 전달하고, LLM은 이 정보를 기반으로 답변을 생성한다. 중요한 점은 LLM이 모든 지식을 기억하고 답하는 것이 아니라 “검색된 자료를 참고해서 답을 만든다”는 구조라는 점이다.

핵심 기술: Embedding

Embedding은 RAG의 가장 중요한 기술이다. 텍스트를 숫자 벡터로 변환하는 과정이며, 의미가 비슷한 문장은 벡터 공간에서도 가까운 위치에 배치된다. 예를 들어 “강아지”와 “반려견”은 단어는 다르지만 의미가 같기 때문에 거의 비슷한 벡터 값을 가진다.

이 구조 덕분에 RAG는 단순 문자열 검색이 아니라 의미 기반 검색을 할 수 있다. 기존 검색 시스템이 “단어가 포함되어 있는가”를 기준으로 동작했다면, RAG는 “의미가 얼마나 비슷한가”를 기준으로 동작한다.

Vector DB의 역할

Vector DB는 embedding으로 변환된 데이터를 저장하고 검색하는 데이터베이스다. 일반적인 RDB는 숫자나 문자열 비교 중심이지만 Vector DB는 거리 계산을 통해 유사도를 판단한다.

대표적인 계산 방식은 cosine similarity와 euclidean distance이다. cosine similarity는 방향의 유사성을 보고, euclidean distance는 실제 거리 차이를 계산한다. PostgreSQL 기반의 pgvector는 기존 DB 환경에서 벡터 검색을 가능하게 해주는 확장 기능이다.

RAG 동작 흐름

RAG의 실제 동작 과정은 다음과 같다.

먼저 문서를 수집한다. PDF, 웹페이지, 내부 문서 등 다양한 데이터가 대상이 된다. 이후 chunking을 통해 문서를 작은 단위로 나눈다. 너무 긴 문서는 검색 정확도가 떨어지기 때문에 적절한 크기로 나누는 것이 중요하다.

다음으로 각 chunk를 embedding 모델을 통해 벡터로 변환한다. 변환된 벡터는 vector DB에 저장된다.

사용자가 질문을 입력하면 질문도 embedding으로 변환된다. 이후 vector DB에서 가장 유사한 문서를 검색한다. 이때 top-k 방식으로 여러 개의 관련 문서를 가져오는 경우가 많다.

검색된 문서는 LLM 입력 프롬프트에 context로 포함된다. 마지막으로 LLM이 이 정보를 기반으로 답변을 생성한다.

전체 흐름은 “문서 저장 → 질문 변환 → 유사 검색 → 생성” 구조다.

RAG의 장점

RAG의 가장 큰 장점은 최신 데이터 반영이 가능하다는 점이다. 모델을 다시 학습하지 않아도 새로운 문서를 추가하면 바로 반영된다.

또한 특정 도메인에 특화된 AI를 쉽게 만들 수 있다. 예를 들어 사내 규정, 기술 문서, 고객 응대 매뉴얼 같은 데이터를 기반으로 정확한 답변을 제공할 수 있다.

hallucination 문제도 줄어든다. LLM이 임의로 답을 생성하는 것이 아니라 실제 문서를 기반으로 답하기 때문이다.

비용 측면에서도 효율적이다. 모델을 재학습할 필요가 없기 때문에 운영 비용이 크게 줄어든다.

RAG의 한계

RAG도 완벽하지는 않다. 가장 큰 문제는 검색 품질이다. 잘못된 문서가 검색되면 LLM도 잘못된 답을 생성할 수 있다.

또 embedding 품질에 따라 성능 차이가 크게 발생한다. 좋은 embedding 모델을 사용하지 않으면 검색 정확도가 떨어진다.

context window 제한도 문제다. 너무 많은 문서를 넣으면 중요한 정보가 희석되거나 LLM이 혼란을 겪을 수 있다. 그래서 chunk 크기, top-k 값, reranking 전략이 매우 중요하다.

RAG 활용 사례

RAG는 실제 서비스에서 매우 널리 사용된다. 대표적으로 기업용 챗봇, 고객센터 자동 응답 시스템, 개발 문서 검색 시스템, 법률 및 의료 정보 검색 시스템, 내부 지식 검색 시스템 등이 있다.

최근에는 단순 챗봇이 아니라 AI Agent 구조에서도 기본 구성 요소로 사용되고 있다.

정리

RAG는 AI가 답을 만들기 전에 외부 지식을 검색해서 정확도를 높이는 구조다. LLM을 단순 대화 모델이 아니라 실제 서비스 시스템으로 확장시키는 핵심 기술이다.

한 줄 요약

RAG = “AI + 검색 엔진”을 결합해 정확도와 신뢰성을 높이는 생성형 AI 구조이다.