글을 쓰다가 AI에게 이렇게 물어본 적 있으실 겁니다."이 주장을 뒷받침하는 논문 좀 알려줘."돌아오는 답은 꽤 그럴듯합니다. 제목, 저자, 연도가 깔끔하게 정리되어 있고 저널 이름까지 붙어 있습니다. 친절하게 DOI를 달아주기도 합니다.그런데 검색해 보면 나오지 않습니다.제목을 그대로 넣어도, 저자 이름으로 찾아도, DOI를 눌러도 없습니다.애초에 그런 논문이 없었기 때문입니다. 모델이 제목과 저자와 연도를 그럴듯한 모양으로 조립해 낸 것이죠. 이전 글에서 다룬 할루시네이션이 학술 자료에서 나타나는 모습입니다.학술 자료에서 이 문제는 세 갈래로 나타납니다.1. 없는 논문을 지어내는 것.2. 출처 없이 기억만으로 틀린 답을 내놓는 것.3. 논문은 제대로 가져왔는데 그 내용을 잘못 읽는 것.그렇다면 이런 ..
2023년, 미국 뉴욕의 한 변호사가 법원에 제출한 서면 때문에 미국 법조계가 술렁였습니다.자기 주장을 뒷받침하려고 판례 6건을 인용했는데, 그중 단 한 건도 실제로 존재하지 않았기 때문입니다.사건 번호도, 판결 요지도, 그 안에서 또 인용한 다른 판례까지 전부 다 그럴듯하게 만들어진 가짜였습니다.변호사는 ChatGPT가 법률 데이터베이스를 검색해 판례를 찾아줄 수 있다고 믿었습니다. 하지만, 사실 그 당시 ChatGPT는 그런 기능이 없는 그냥 챗봇이었습니다.이 변호사는 심지어 ChatGPT에게 "이거 진짜 판례 맞나요?"라고 두 번이나 물어봤습니다.ChatGPT는 자신 있게 "네, 모두 실제 판례입니다"라고 답했고요.결과는 벌금 5,000달러와 망신을 당했습니다. 이것이 바로 그 유명한 Mata v...
