글을 쓰다가 AI에게 이렇게 물어본 적 있으실 겁니다."이 주장을 뒷받침하는 논문 좀 알려줘."돌아오는 답은 꽤 그럴듯합니다. 제목, 저자, 연도가 깔끔하게 정리되어 있고 저널 이름까지 붙어 있습니다. 친절하게 DOI를 달아주기도 합니다.그런데 검색해 보면 나오지 않습니다.제목을 그대로 넣어도, 저자 이름으로 찾아도, DOI를 눌러도 없습니다.애초에 그런 논문이 없었기 때문입니다. 모델이 제목과 저자와 연도를 그럴듯한 모양으로 조립해 낸 것이죠. 이전 글에서 다룬 할루시네이션이 학술 자료에서 나타나는 모습입니다.학술 자료에서 이 문제는 세 갈래로 나타납니다.1. 없는 논문을 지어내는 것.2. 출처 없이 기억만으로 틀린 답을 내놓는 것.3. 논문은 제대로 가져왔는데 그 내용을 잘못 읽는 것.그렇다면 이런 ..
여러분 혹시 AI가 '사과'라는 단어를 어떻게 알아듣는지 생각해 본 적 있으신가요?모두가 잘 아시다시피 컴퓨터는 글자를 모릅니다.아는 것은 0과 1뿐이며 이것으로 모든 명령어를 처리합니다.그런데 우리는 요즘 AI에게 글을 묻고, AI는 글로 답합니다.그렇다면 AI는 ‘사과’라는 글자를 어떻게 숫자로 바꾸고, 그 숫자에서 의미를 다룰 수 있을까요?AI는 먼저 글자를 토큰이라는 작은 조각으로 나누고, 그 토큰에 번호를 붙입니다. 그리고 그 번호를 의미가 담긴 숫자 묶음으로 바꾸는데, 이 과정이 바로 오늘 다룰 임베딩(Embedding)입니다.이름은 낯설지만, 원리는 생각보다 단순합니다.그냥 간단히 단어를 숫자로 번역하는 작업'이라고 보면 됩니다. 최근에는 그저 단어를 숫자로 변환하는 것 뿐만 아니라 의미까지..
