여러분 혹시 AI가 '사과'라는 단어를 어떻게 알아듣는지 생각해 본 적 있으신가요?모두가 잘 아시다시피 컴퓨터는 글자를 모릅니다.아는 것은 0과 1뿐이며 이것으로 모든 명령어를 처리합니다.그런데 우리는 요즘 AI에게 글을 묻고, AI는 글로 답합니다.그렇다면 AI는 ‘사과’라는 글자를 어떻게 숫자로 바꾸고, 그 숫자에서 의미를 다룰 수 있을까요?AI는 먼저 글자를 토큰이라는 작은 조각으로 나누고, 그 토큰에 번호를 붙입니다. 그리고 그 번호를 의미가 담긴 숫자 묶음으로 바꾸는데, 이 과정이 바로 오늘 다룰 임베딩(Embedding)입니다.이름은 낯설지만, 원리는 생각보다 단순합니다.그냥 간단히 단어를 숫자로 번역하는 작업'이라고 보면 됩니다. 최근에는 그저 단어를 숫자로 변환하는 것 뿐만 아니라 의미까지..
