RAG란? AI가 최신 정보를 아는 방법

여러 분 혹시 예전에 ChatGPT한테 오늘 뉴스를 물어본 적 있으신가요?

물어보면 대부분 "해당 정보를 알 수 없습니다"라는 답을 받게 됩니다.

그런데 최근 AI 서비스는 최신 뉴스도 알고,  우리 회사 내부 자료도 척척 참고합니다.

AI 서비스 차이

같은 AI인데 왜 이런 차이가 날까요?

AI가 더 똑똑해서가 아닙니다. 답하기 전에 먼저 자료를 찾아보게 만들었기 때문입니다. 

이게 바로 RAG입니다.

---

1. AI는 왜 최신 정보를 모를까

ChatGPT, Claude 같은 AI는 특정 시점까지의 데이터를 한꺼번에 학습합니다. 따라서, 그 이후에 생긴 일은 당연히 모릅니다. 

이는 2023년까지 책으로 공부한 사람에게 2025년 나온 새로운 소식을 물어보는 것과 같습니다.

이건 단순히 업데이트가 안 된 게 아니라 AI 구조 자체의 한계입니다. 

AI는 우리가 생각하는 것처럼 인터넷을 실시간으로 보고 있지 않습니다. 학습할 때 본 내용을 파라미터(parameter)라는 내부 저장소에 압축해서 담아두고, 질문이 들어오면 그 기억만 꺼내서 답합니다.

AI 구조

문제는 이 기억 창고가 고정되어 있다는 점입니다. 새 정보를 넣으려면 처음부터 다시 학습해야 합니다. 비용도 시간도 어마어마하게 듭니다. 또한 애초에 학습에 포함되지 않은 자료는 아예 알 수가 없습니다. 우리 회사 내부 문서, 특정 분야 전문 자료, 개인 메모 같은 것들이 그렇습니다.

결국 기존 AI는 과거 정보만 알고 있고, 외부 자료에는 접근할 수 없는 구조입니다. 

이러한 문제를 해결하기 위해 나온 것이 RAG입니다. RAG는 이 두 가지를 동시에 해결합니다.

---

2. RAG란?

RAG는 Retrieval-Augmented Generation의 줄임말로, 한국어로는 검색 증강 생성이라고 합니다. 이 세 단어에 RAG에 모든 과정이 담겨 있습니다.

RAG

단어 하나씩 풀어보면 이렇습니다.

먼저, Retrieval은 검색입니다. 질문과 관련된 자료를 데이터베이스에서 찾아옵니다.

Retrieval (검색)

다음으로 Augmented는 증강, 즉 찾아온 자료를 AI에게 추가로 건네줍니다.

Augmented (증강)

마지막으로 Generation은 생성으로, AI가 그 자료를 참고해서 답변을 만들어냅니다.

Generation (생성)

정리하면 이렇습니다.

기존 AI는 기억만 보고 답하고, RAG AI는 자료 찾아보고 답합니다. 즉, AI가 더 똑똑해진 게 아닙니다. 답하기 전에 관련 자료를 쥐여준 것입니다.

---

3. RAG 사용 예시

한 번 생각해 볼까요?

RAG 없이 질문하면 이렇게 됩니다.

"우리 회사 2024년 3분기 매출이 얼마야?"
AI: "죄송합니다. 해당 정보를 알 수 없습니다."

당연한 결과입니다. AI가 그 자료를 본 적이 없으니까요.

RAG없이 질문할 때

하지만, RAG를 적용하면 달라집니다.

"우리 회사 2024년 3분기 매출이 얼마야?"
(RAG가 사내 문서에서 관련 보고서를 찾아서 AI에게 전달)
AI: "2024년 3분기 매출은 ○○억 원으로, 전 분기 대비 12% 증가했습니다."

AI가 공부를 새로 한 게 아닙니다. 답하기 직전에 관련 문서를 찾아 읽은 것입니다. 시험에서 오픈북을 허용해 준 것과 같습니다.

RAG를 적용했을 때

---

4. RAG가 동작하는 순서

RAG는 세 단계로 작동합니다.

첫째, 사용자가 질문을 입력합니다. 

둘째, 질문과 관련된 문서를 데이터베이스에서 찾습니다. 

셋째, 찾은 문서를 참고해서 답변을 생성합니다.

RAG 작동방식

여기서 핵심은 두 번째 단계입니다. 단순히 단어를 맞춰서 찾는 게 아니라 의미가 비슷한 문서를 찾는 방식을 씁니다. 이때 사용되는 기술이 임베딩(Embedding)입니다.

임베딩은 텍스트를 숫자로 바꿔서 의미를 좌표처럼 표현하는 기술입니다. 예를 들어 "환불 정책"과 "구매 취소 규정"은 단어는 다르지만 의미가 비슷합니다. 임베딩을 쓰면 이런 문장들이 서로 가까운 위치에 놓여서, 의미 기반으로 관련 문서를 정확하게 찾을 수 있습니다.

임베딩 기법

---

5. RAG가 중요한 이유

지금 기업들이 AI를 도입할 때 RAG는 거의 필수가 됐습니다. 그 이유는 다음과 같습니다.

데이터베이스만 업데이트하면 AI가 바로 최신 정보를 참고할 수 있습니다. 처음부터 다시 학습할 필요가 없으니 비용이 훨씬 적게 듭니다. 회사 내부 자료나 특정 분야 전문 자료를 그대로 활용할 수 있어서, 우리 조직에 맞는 AI를 빠르게 만들 수 있습니다.

또한 할루시네이션 문제도 줄어듭니다. 할루시네이션은 AI가 사실이 아닌 내용을 그럴듯하게 만들어내는 현상입니다. RAG는 실제 문서를 근거로 답하기 때문에 이런 오류가 줄고 어떤 자료를 참고했는지도 보여줄 수 있습니다.

---

6. 정리

RAG를 한 줄로 요약하면 이렇습니다.

"AI가 답하기 전에 먼저 관련 자료를 검색해서 참고하게 만드는 기술"

AI를 더 똑똑하게 만드는 게 아니라, 더 정확하게 말하도록 만드는 방법입니다.

---

관련글

AI가 쓴 글은 왜 다 비슷하게 느껴질까?