2019년, OpenAI가 GPT-2를 공개했습니다.[1]
문장을 그럴듯하게 이어 쓰기는 했습니다만, 조금만 길어지면 티가 확 났습니다.
했던 말을 또 하는 반복 현상이 자주 나타났고, 주제가 엉뚱한 데로 튀었습니다.
심지어 물속에서 불이 나는 장면을 아무렇지 않게 써 놓기도 했습니다.[1]
그리고 이듬해인 2020년, GPT-3가 나왔습니다.[2]
이번엔 완전히 달랐습니다.
번역을 하고, 질문에 답하고, 세 자리 덧셈까지 풀었습니다. 사람이 쓴 것과 구별하기 어려운 뉴스 기사도 만들어냈습니다.[2]
지금 우리가 쓰는 ChatGPT의 출발점이 바로 여기입니다.
그런데 자세히 보면 이상한 점이 있습니다.
OpenAI는 GPT-3를 만들면서 구조를 새로 짜지 않았습니다.
논문에 GPT-2와 같은 모델, 같은 구조를 썼다고 그대로 적어 놓았습니다.[2]
대신 규모를 키웠습니다.
파라미터가 15억 개에서 1,750억 개가 되었습니다. 100배가 넘게 늘어난 것입니다.
뼈대는 거의 그대로 두고 덩치만 키웠는데, 못 하던 일을 하기 시작한 겁니다.
(엄밀히 말하면 완전히 똑같지는 않습니다. GPT-3는 어텐션 방식을 층마다 조금 바꿨고, 층 수와 한 번에 읽는 문장의 길이도 늘렸습니다. 다만 트랜스포머라는 뼈대 자체는 건드리지 않았습니다.[2] )
사실 이 '1,750억'이라는 숫자, 이미 다른 표현으로 접해 보신 분도 많을 겁니다.
Llama 70B, GPT-3 175B처럼 AI 이름 뒤에 붙는 B가 바로 이 숫자를 가리키는 말입니다. 즉, 파라미터의 개수를 가리키는 말이죠.
그러니까 파라미터가 뭔지 알면, 저 B도 자연스럽게 풀립니다.
그럼 숫자를 이렇게까지 늘린 파라미터라는 게, 대체 무엇일까요?
1. 파라미터는 AI가 곱하는 숫자
파라미터를 알아보기 전에, 먼저 AI가 글을 어떻게 읽는지부터 보겠습니다.
AI는 글을 그대로 읽지 않습니다. 먼저 숫자로 바꿉니다.
그다음 그 숫자에 다른 숫자를 곱하고 더해서 새 숫자를 만듭니다. 이걸 수십 층 반복하면 마지막에 답이 나옵니다.
이때 곱해지는 값, 그게 파라미터(Parameter, 매개변수)입니다.
곱하는 값이 크면 그 정보는 크게 반영되고 작으면 거의 무시됩니다.
이 값이 어디에 얼마나 무게를 둘지 정하기 때문에 가중치(Weight)라고도 부릅니다.
(엄밀히는 파라미터에 가중치 말고 다른 값도 조금 섞여 있습니다. 곱한 뒤에 더해주는 편향(Bias), 층마다 숫자들의 크기를 고르게 맞춰주는 정규화 계층의 스케일 값 같은 것들입니다.)
이 값들이 잘 맞춰지면 다음과 같이 작동합니다.
예를 들어 '비'라는 말이 나오면, 다음에 '우산'이 나올 확률이 올라갑니다.
그런데 같은 문장에 '실내'가 있으면 그 확률은 다시 내려갑니다. 실내에선 우산이 필요 없으니까요.
반대로 '장마'까지 겹치면 '우산'이 나올 확률은 더 확 올라갑니다.
숫자 하나가 이걸 담당하는 것은 아닙니다. 수많은 숫자가 함께 만들어내는 결과입니다.
중요한 건 이 숫자를 사람이 정해주지 않는다는 점입니다.
AI는 글을 읽으면서 다음에 올 말을 계속 맞혀 봅니다. 그리고 틀리면 틀린 만큼, 다음엔 덜 틀리도록 숫자를 아주 조금 고칩니다.
이걸 읽을 글이 떨어질 때까지 반복합니다. 우리가 '학습'이라고 부르는 게 이 과정입니다.
참고로 AI 모델을 인공 신경망이라고 부릅니다. 그림으로 그리면 점과 점을 선으로 잇는데, 파라미터가 그 선의 굵기에 해당합니다. 그래서 연결의 세기라고도 합니다.
학습이 끝난 AI 파일을 열어보면 "이럴 땐 이렇게 답해라" 같은 명령어가 한 줄도 없습니다. 숫자만 줄줄이 적혀 있습니다. 물론 그 숫자를 읽어서 계산하는 프로그램은 따로 있습니다.
결국 AI가 배운 것은 전부 이 숫자 안에 들어 있습니다.
이걸 조절 손잡이(노브)라고 생각하면 편합니다. 손잡이를 어느 방향으로 얼마나 돌려놓았느냐가 그 AI의 실력인 셈입니다.
2. 그래서 B가 무엇인가?
이제 B가 무엇인지 쉽게 알 수 있습니다. B는 Billion, 그러니까 10억입니다.
즉, 8B는 80억 개, 70B는 700억 개, 405B는 4,050억 개죠.
그러니까 '70B 모델'은 돌릴 수 있는 조절 손잡이가 700억 개 달린 AI라는 뜻입니다.
700억이 잘 안 와닿으실 텐데, 우리나라 인구가 약 5천만 명이니 그 1,400배쯤 됩니다.
이 많은 손잡이를 AI가 동시에 맞춰가며 학습하는 겁니다.
3. 손잡이가 많으면 뭐가 좋은가?
손잡이가 많을수록 AI는 더 미묘한 것까지 담을 수 있습니다.
손잡이가 적은 작은 모델은 단순한 규칙 정도만 표현합니다. "이런 단어 뒤엔 보통 저런 단어가 온다" 같은 것이죠.
반대로 손잡이가 많은 큰 모델은 문맥이나 말투, 농담 같은 것까지 잡아냅니다.
예를 들어 "그 영화 진짜 '잘' 만들었더라"라는 문장이 있다고 합시다.
작은 모델은 '잘'을 그냥 칭찬으로만 받아들이기 쉽습니다. 하지만 큰 모델은 앞뒤 맥락을 보고, 이게 진심인지 비꼬는 건지까지 구분하려 합니다.
담을 공간이 넓으니 이런 미묘함을 더 잘 다루는 겁니다.
그래서 보통은 파라미터가 많을수록 더 똑똑한 편입니다. 큰 모델이 글도 더 자연스럽게 쓰고, 어려운 질문에도 더 잘 답하는 이유죠.
4. 그런데 무조건 클수록 좋은 건 아니다
여기서 흔한 오해를 하나 짚고 가겠습니다.
파라미터가 많다고 항상 좋은 건 아닙니다.
조절 손잡이가 많아지면 그만큼 대가가 따릅니다. 학습에 돈과 전기가 엄청나게 들고, 답하는 속도도 느려지고, 돌리는 데 비싼 장비가 필요합니다.
간단한 맞춤법 검사에 700억짜리 모델을 쓰는 건, 계산기면 될 일에 슈퍼컴퓨터를 켜는 셈입니다.
거기다 2022년 친칠라(Chinchilla) 연구는 한 가지를 더 짚었습니다. 그동안의 큰 모델들은 덩치에 비해 학습한 데이터의 양이 너무 적었다는 겁니다.[3]
같은 비용이라면 모델을 더 키우기보다 데이터를 더 많이 학습시키는 편이 낫다는 이야기죠.
그래서 요즘은 무작정 크기만 키우기보다, 작아도 잘 훈련된 모델이 주목받습니다.
조절 손잡이 수는 적어도 좋은 데이터로 잘 맞춰 두면, 큰 모델 못지않게 잘하기도 합니다. 실제로 요즘 나오는 잘 만든 80억짜리 모델이 예전 1,750억짜리보다 나은 경우도 있습니다.
최근 스마트폰 안에서 AI가 돌아가는 것도, 이렇게 작고 효율적인 모델 덕분입니다.
결국 파라미터 수는 성능을 가늠하는 중요한 단서일 뿐, 전부는 아닙니다.
'얼마나 큰가'만큼이나 '얼마나 잘 훈련됐는가'가 중요합니다.
5. 정리
파라미터는 AI가 학습하며 맞춰가는 수많은 손잡이 숫자입니다.
'70B'는 그 손잡이가 700억 개라는 뜻이고요.
많을수록 똑똑한 편이지만, 비용과 속도라는 대가가 있어서 무조건 클수록 좋은 건 아닙니다.
다음에 'AI 70B' 같은 표현을 보시면, 그 안에서 손잡이 700억 개가 돌아가고 있다는 걸 한번 떠올려 보시면 좋겠습니다.
[1] https://openai.com/index/better-language-models/
'IT > Computer Insight' 카테고리의 다른 글
| AI가 '그럴듯하게 틀리는' 진짜 이유 (할루시네이션) (0) | 2026.06.13 |
|---|---|
| AI는 어떻게 그림을 만드는 것일까? (0) | 2026.03.30 |
| AI가 쓴 글은 왜 다 비슷하게 느껴질까? (0) | 2026.01.22 |
| GPU를 지나 TPU로? 최근 TPU가 각광받는 이유 (0) | 2025.12.29 |