여러분 혹시 AI가 '사과'라는 단어를 어떻게 알아듣는지 생각해 본 적 있으신가요?모두가 잘 아시다시피 컴퓨터는 글자를 모릅니다.아는 것은 0과 1뿐이며 이것으로 모든 명령어를 처리합니다.그런데 우리는 요즘 AI에게 글을 묻고, AI는 글로 답합니다.그렇다면 AI는 ‘사과’라는 글자를 어떻게 숫자로 바꾸고, 그 숫자에서 의미를 다룰 수 있을까요?AI는 먼저 글자를 토큰이라는 작은 조각으로 나누고, 그 토큰에 번호를 붙입니다. 그리고 그 번호를 의미가 담긴 숫자 묶음으로 바꾸는데, 이 과정이 바로 오늘 다룰 임베딩(Embedding)입니다.이름은 낯설지만, 원리는 생각보다 단순합니다.그냥 간단히 단어를 숫자로 번역하는 작업'이라고 보면 됩니다. 최근에는 그저 단어를 숫자로 변환하는 것 뿐만 아니라 의미까지..
여러분 혹시 AI가 어떻게 본인의 실력을 확인 하는지 생각해 본 적 있으신가요?사람은 시험을 보고 틀린 개수로 실력을 확인합니다.그런데 AI는 사람처럼 시험지를 채점받는 대신, 이미 주어진 정답과 자기 예측을 비교해 실력을 확인합니다.이 방식이 바로 오늘 다룰 크로스 엔트로피(Cross Entropy)입니다.이름은 어렵지만, 내용은 간단합니다.AI의 예측이 정답과 얼마나 다른지를 벌점으로 나타내는 기준이라고 보면 됩니다.1. AI는 정답이 아니라 확률로 답한다AI는 사진을 보고 "고양이!"라고 딱 잘라 답하지 않습니다.실제로는 확률로 답합니다. 예를 들어 고양이 80%, 개 15%, 토끼 5% 처럼 말입니다.정답이 고양이라고 해보겠습니다.고양이에 80%를 준 AI는 정답을 자신 있게 맞혔습니다.반대로 고..
여러분 혹시 ChatGPT한테 같은 질문을 여러 번 했는데 답이 다르게 나온 적 있으신가요?저는 처음에 ChatGPT를 사용할 때, 친구 생일 축하 메시지를 부탁했다가, 똑같은 문장을 다시 넣었는데 전혀 다른 결과가 나와서 당황한 적이 있습니다.버그인가 생각하고 당황했었는데, 버그가 아니라 정상이었습니다.다른 결과가 나온 이유 그 뒤엔 Temperature(템퍼러처, 온도)라는 값이 숨어 있습니다.AI가 다음 단어를 고를 때 얼마나 모험을 할지 정하는 값인데, 이거 하나로 답이 얌전해지기도, 자유분방해지기도 합니다.1. 사실 AI는 매번 확률로 단어를 고른다이걸 알면 Temperature(템퍼러처, 온도)라는 개념이 한 방에 이해가 됩니다.AI는 문장을 쓸 때 다음 단어를 딱 정해놓고 찍는 게 아닙니다...
