[AI][용어] 크로스 엔트로피란? AI가 얼마나 틀렸는지 재는 법

여러분 혹시 AI가 어떻게 본인의 실력을 확인 하는지 생각해 본 적 있으신가요?

사람은 시험을 보고 틀린 개수로 실력을 확인합니다.

그런데 AI는 사람처럼 시험지를 채점받는 대신, 이미 주어진 정답과 자기 예측을 비교해 실력을 확인합니다.

이 방식이 바로 오늘 다룰 크로스 엔트로피(Cross Entropy)입니다.

이름은 어렵지만, 내용은 간단합니다.

AI의 예측이 정답과 얼마나 다른지를 벌점으로 나타내는 기준이라고 보면 됩니다.

그림 1. 크로스 엔트로피

---

1. AI는 정답이 아니라 확률로 답한다

AI는 사진을 보고 "고양이!"라고 딱 잘라 답하지 않습니다.

실제로는 확률로 답합니다. 예를 들어 고양이 80%, 개 15%, 토끼 5% 처럼 말입니다.

정답이 고양이라고 해보겠습니다.

고양이에 80%를 준 AI는 정답을 자신 있게 맞혔습니다.

반대로 고양이에 10%밖에 안 준 AI는, 정답을 놓고도 영 자신이 없었던 겁니다.

크로스 엔트로피는 바로 이 차이를 점수로 잡아냅니다.

그림 2. AI는 확률로 답을 함

이건 사진뿐 아니라 어디서나 똑같습니다.

다른 예시로 스팸 메일 분류기를 들어보겠습니다.

메일 하나를 보고 AI가 스팸일 확률 95%, 정상일 확률 5%라고 답합니다.

영화 리뷰 감정 분석도 마찬가지입니다. 긍정일 확률 70%, 부정일 확률 30%처럼 확률로 답합니다.

AI는 늘 이렇게 확신의 정도로 답을 내놓습니다.

그림 3. AI는 확률로 답을 하는 예시

크로스 엔트로피가 하는 일이 바로 이것입니다.

정답에 얼마나 확신을 줬는지를 보고 점수를 매기는 것입니다.

---

2. 크로스 엔트로피 공식

여러 개의 선택지 중 정답이 하나인 경우에는, 크로스 엔트로피를 아주 간단히 이렇게 볼 수 있습니다.

$$Loss = -\log(p)$$

여기서 p는 AI가 정답에 준 확률입니다.

식을 처음 보면 마이너스(−)도 있고, 고등학교 졸업하고서는 잘 보지 않던 로그(log)도 있기 때문에 당황스러울 수 있습니다.

하지만 차근차근 보면 어렵지 않습니다. 하나씩 보겠습니다.

먼저 로그(log)부터입니다.

기억을 더듬어 살펴볼까요?

로그는 1을 넣으면 0이 나오고, 0에 가까운 작은 수를 넣을수록 값이 점점 더 아래로 내려가는 함수입니다.

예시를 살펴볼까요?

• log(1) = 0 이고,
• log(0.5) ≈ −0.69
• log(0.1) ≈ −2.30
• log(0.01) ≈ −4.61

넣는 숫자가 작아질수록 결과가 천천히가 아니라 점점 가파르게 커집니다.

그림 4. 크로스 엔트로피 log 설명

0.5에서 0.1로, 다시 0.01로 갈 때 값이 뚝뚝 떨어지는 게 보일 겁니다. 이 가파르게 떨어지는 수가 나중에 중요한 역할을 합니다.

다음은 마이너스(−)입니다.

확률은 항상 0과 1 사이의 값입니다.

그래서 확률에 로그를 씌우면 결과가 늘 0 이하, 즉 음수로 나옵니다.

그런데 벌점이 음수면 말이 안 됩니다. 그래서 앞에 마이너스를 붙여 부호를 뒤집어 줍니다.

마이너스는 그저 음수를 양수 벌점으로 바꾸는 스위치인 셈입니다.

한 번 직접 계산해 보겠습니다.

정답에 0.5(50%)의 확신을 줬다고 합시다.

log(0.5)는 약 −0.69입니다. 여기에 마이너스를 붙이면 +0.69.

그래서 이때 벌점은 0.69가 됩니다.

이제 여러 경우를 살펴볼까요?

• p = 1.0 (정답에 100% 확신) → Loss = 0 → 벌점 없음
• p = 0.8 (80%) → Loss ≈ 0.22 → 벌점 조금
• p = 0.5 (50%) → Loss ≈ 0.69 → 벌점 중간
• p = 0.1 (10%) → Loss ≈ 2.30 → 벌점 큼
• p = 0.01 (1%) → Loss ≈ 4.61 → 벌점 매우 큼

확신이 떨어질수록 벌점이 단순히 커지는 게 아니라, 점점 더 가파르게 급속도로 커집니다.

80%에서 50%로 떨어질 때보다, 10%에서 1%로 떨어질 때 벌점이 훨씬 크게 뜁니다.

그림 5. 크로스 엔트로피 특성

바로 아까 본 로그의 가파르게 떨어지는 성질 때문입니다. 덕분에 크로스 엔트로피는 자신 있게 틀릴수록 더 무겁게 벌을 줍니다.

예를 들어 한번 살펴보겠습니다.

같은 고양이 사진을 두고 AI 둘이 답했습니다.

A는 고양이 90%, B는 고양이 30%라고 답했습니다.

정답은 고양이입니다.

이때, A의 벌점은 −log(0.9) ≈ 0.11, B의 벌점은 −log(0.3) ≈ 1.20입니다.

둘 다 정답인 고양이에 확률을 주긴 했습니다. 하지만 정답에 훨씬 낮은 확률을 준 B가 훨씬 큰 벌점을 받습니다.

크로스 엔트로피는 이렇게 맞혔는지뿐 아니라 얼마나 확신했는지까지 점수에 담습니다.

그림 6. 크로스 엔트로피 확신

---

3. 크로스 엔트로피 쉬운 예시: 일기예보

일기예보에 빗대 보면 이해하기가 더 쉽습니다.

친구가 내일 비 올 확률 90%라고 했고 실제로 비가 왔습니다.

이 친구 말은 믿을 만합니다. 벌점이 거의 없습니다.

반대로 비 올 확률 5%라고 자신 있게 말했는데 비가 왔습니다.

확신을 갖고 틀린 것이니 신뢰가 크게 깎입니다. 이게 큰 벌점입니다.

만약에 비 올 확률 50%라고 애매하게 말한 친구는 어떨까요.

맞아도 크게 잘했다고 보기 어렵고, 틀려도 아주 심하게 틀렸다고 보기는 어렵습니다. 그래서 벌점도 중간 정도입니다.

그림 7. 일기예보로 설명한 크로스 엔트로피

---

4. 그래서 AI는 이 벌점으로 공부한다

AI가 학습한다는 게 거창해 보이지만, 핵심은 단순합니다.

이 벌점(Loss)을 조금이라도 줄이는 쪽으로 자기 자신을 조금씩 고쳐 나가는 것입니다.

고양이 사진 한 장으로 한 번 살펴보겠습니다.

먼저 학습 초반, AI는 이 사진을 보고 고양이 20%라고 답합니다. 벌점은 −log(0.2) ≈ 1.61로 큽니다.

데이터를 더 보며 학습을 더 시키면 고양이 60%로 올라갑니다. 벌점은 −log(0.6) ≈ 0.51로 줄어듭니다.

더 많이 봐서 학습이 충분히 되면 고양이 95%까지 갑니다. 벌점은 −log(0.95) ≈ 0.05로 거의 0입니다.

이 벌점이 1.61 → 0.51 → 0.05로 줄어드는 과정, 이것이 바로 AI가 똑똑해진다는 말의 정체입니다.

그림 8. 학습하면서 벌점이 점점 줄어듦

수많은 사진에서 이 과정을 동시에 반복하면서, AI는 어떤 그림에 어느 쪽으로 확신을 줘야 벌점이 줄어드는지를 익혀 갑니다.

자신 있게 틀리면 벌점을 더 많이 받는 규칙 덕분에, AI는 근거 없는 확신을 줄이고 정답에 제대로 확신을 싣는 법을 배웁니다.

---

5. 한 줄 요약

크로스 엔트로피는 AI가 정답에 준 확률을 벌점으로 바꾸고, 그 벌점을 줄이며 학습하게 만드는 기준입니다.