2019년, OpenAI가 GPT-2를 공개했습니다.[1]문장을 그럴듯하게 이어 쓰기는 했습니다만, 조금만 길어지면 티가 확 났습니다.했던 말을 또 하는 반복 현상이 자주 나타났고, 주제가 엉뚱한 데로 튀었습니다.심지어 물속에서 불이 나는 장면을 아무렇지 않게 써 놓기도 했습니다.[1]그리고 이듬해인 2020년, GPT-3가 나왔습니다.[2]이번엔 완전히 달랐습니다.번역을 하고, 질문에 답하고, 세 자리 덧셈까지 풀었습니다. 사람이 쓴 것과 구별하기 어려운 뉴스 기사도 만들어냈습니다.[2] 지금 우리가 쓰는 ChatGPT의 출발점이 바로 여기입니다.그런데 자세히 보면 이상한 점이 있습니다.OpenAI는 GPT-3를 만들면서 구조를 새로 짜지 않았습니다.논문에 GPT-2와 같은 모델, 같은 구조를 썼다고 ..
여러 분 혹시 예전에 ChatGPT한테 오늘 뉴스를 물어본 적 있으신가요?물어보면 대부분 "해당 정보를 알 수 없습니다"라는 답을 받게 됩니다.그런데 최근 AI 서비스는 최신 뉴스도 알고, 우리 회사 내부 자료도 척척 참고합니다.같은 AI인데 왜 이런 차이가 날까요?AI가 더 똑똑해서가 아닙니다. 답하기 전에 먼저 자료를 찾아보게 만들었기 때문입니다. 이게 바로 RAG입니다.1. AI는 왜 최신 정보를 모를까ChatGPT, Claude 같은 AI는 특정 시점까지의 데이터를 한꺼번에 학습합니다. 따라서, 그 이후에 생긴 일은 당연히 모릅니다. 이는 2023년까지 책으로 공부한 사람에게 2025년 나온 새로운 소식을 물어보는 것과 같습니다.이건 단순히 업데이트가 안 된 게 아니라 AI 구조 자체의 한계입니..
