2019년, OpenAI가 GPT-2를 공개했습니다.[1]문장을 그럴듯하게 이어 쓰기는 했습니다만, 조금만 길어지면 티가 확 났습니다.했던 말을 또 하는 반복 현상이 자주 나타났고, 주제가 엉뚱한 데로 튀었습니다.심지어 물속에서 불이 나는 장면을 아무렇지 않게 써 놓기도 했습니다.[1]그리고 이듬해인 2020년, GPT-3가 나왔습니다.[2]이번엔 완전히 달랐습니다.번역을 하고, 질문에 답하고, 세 자리 덧셈까지 풀었습니다. 사람이 쓴 것과 구별하기 어려운 뉴스 기사도 만들어냈습니다.[2] 지금 우리가 쓰는 ChatGPT의 출발점이 바로 여기입니다.그런데 자세히 보면 이상한 점이 있습니다.OpenAI는 GPT-3를 만들면서 구조를 새로 짜지 않았습니다.논문에 GPT-2와 같은 모델, 같은 구조를 썼다고 ..
