글을 쓰다가 AI에게 이렇게 물어본 적 있으실 겁니다."이 주장을 뒷받침하는 논문 좀 알려줘."돌아오는 답은 꽤 그럴듯합니다. 제목, 저자, 연도가 깔끔하게 정리되어 있고 저널 이름까지 붙어 있습니다. 친절하게 DOI를 달아주기도 합니다.그런데 검색해 보면 나오지 않습니다.제목을 그대로 넣어도, 저자 이름으로 찾아도, DOI를 눌러도 없습니다.애초에 그런 논문이 없었기 때문입니다. 모델이 제목과 저자와 연도를 그럴듯한 모양으로 조립해 낸 것이죠. 이전 글에서 다룬 할루시네이션이 학술 자료에서 나타나는 모습입니다.학술 자료에서 이 문제는 세 갈래로 나타납니다.1. 없는 논문을 지어내는 것.2. 출처 없이 기억만으로 틀린 답을 내놓는 것.3. 논문은 제대로 가져왔는데 그 내용을 잘못 읽는 것.그렇다면 이런 ..
2019년, OpenAI가 GPT-2를 공개했습니다.[1]문장을 그럴듯하게 이어 쓰기는 했습니다만, 조금만 길어지면 티가 확 났습니다.했던 말을 또 하는 반복 현상이 자주 나타났고, 주제가 엉뚱한 데로 튀었습니다.심지어 물속에서 불이 나는 장면을 아무렇지 않게 써 놓기도 했습니다.[1]그리고 이듬해인 2020년, GPT-3가 나왔습니다.[2]이번엔 완전히 달랐습니다.번역을 하고, 질문에 답하고, 세 자리 덧셈까지 풀었습니다. 사람이 쓴 것과 구별하기 어려운 뉴스 기사도 만들어냈습니다.[2] 지금 우리가 쓰는 ChatGPT의 출발점이 바로 여기입니다.그런데 자세히 보면 이상한 점이 있습니다.OpenAI는 GPT-3를 만들면서 구조를 새로 짜지 않았습니다.논문에 GPT-2와 같은 모델, 같은 구조를 썼다고 ..
