[LLM] 스케일링 법칙 — 크게 만들면 좋아진다는 말의 실제 뜻

“모델을 키우면 좋아진다”는 말은 어디서 왔을까요.

감이 아닙니다. 재보니 그랬고, 그 재본 결과가 꽤 정확한 곡선을 그렸습니다. 이 글은 그 곡선 이야기입니다.

그리고 더 흥미로운 건 뒷부분입니다. 2년 뒤에 답이 바뀌었습니다.

무엇을 재는 건가

먼저 용어 하나만 정리하겠습니다. 여기서 말하는 “성능”은 벤치마크 점수가 아니라 손실(loss) 입니다.

손실은 모델이 다음 토큰을 얼마나 못 맞히는지를 재는 값입니다. 낮을수록 좋습니다. 토큰 글에서 봤듯 언어모델은 다음 토큰을 예측하는 기계이고, 학습은 그 예측을 덜 틀리게 만드는 과정입니다.

스케일링 법칙은 이 손실이 무엇에 따라 어떻게 줄어드는지에 대한 이야기입니다.

셋을 키우면 셋 다 줄어듭니다

Scaling Laws for Neural Language Models (Kaplan 외 9인, OpenAI·존스홉킨스, arXiv 2001.08361, 2020-01-23)

이 논문이 세 가지를 각각 키워 보고 손실을 쟀습니다.

무엇을 키우나	관계	지수
N — 모델 파라미터 수	$L(N) = (N_c/N)^{\alpha_N}$	$\alpha_N \approx 0.076$
D — 학습 데이터 토큰 수	$L(D) = (D_c/D)^{\alpha_D}$	$\alpha_D \approx 0.095$
C — 학습에 쓴 연산량	$L(C) = (C_c/C)^{\alpha_C}$	$\alpha_C \approx 0.050$

수식이 낯설면 모양만 보면 됩니다. 전부 거듭제곱 꼴입니다.

거듭제곱 꼴이라는 게 왜 중요한가

세 가지 뜻이 있고, 셋 다 실무에 걸립니다.

1. 예측이 됩니다. 작은 모델 몇 개를 학습시켜 곡선을 그리면, 아직 만들지 않은 큰 모델의 손실을 짐작할 수 있습니다. 수십억을 쓰기 전에 계산기를 두드릴 수 있다는 뜻입니다.

2. 수익이 체감합니다. 지수가 0.076 이라는 건 아주 완만하다는 뜻입니다. 모델을 10배 키워도 손실은 대략 $10^{0.076} \approx 1.19$ 배만큼만 나눠집니다 — 20%도 안 됩니다. 100배를 키워야 40% 남짓입니다.

3. 그래서 벽이 없어 보였습니다. 줄어들긴 계속 줄어듭니다. 이게 “더 키우면 된다”는 시대를 열었습니다.

논문이 이 관계가 연산량 기준 8자릿수, 파라미터 기준 6자릿수에 걸쳐 성립한다고 밝힙니다. 우연한 곡선이 아니라는 뜻입니다.

연산 예산이라는 제약

현실에서는 셋을 마음대로 못 키웁니다. 돈과 시간이 정해져 있습니다.

여기서 이 분야에서 가장 자주 쓰이는 어림셈이 나옵니다.

\[C \approx 6ND\]

파라미터 하나가 토큰 하나를 처리하는 데 대략 6번의 연산이 든다는 뜻입니다(순전파 2 + 역전파 4). 정확한 값이 아니라 어림이지만, 예산을 짤 때는 이걸로 충분합니다.

그래서 질문이 이렇게 바뀝니다.

연산 예산이 정해져 있다. 큰 모델을 조금 학습시킬까, 작은 모델을 많이 학습시킬까?

2020년의 답 — 크게 만들고 일찍 멈춰라

Kaplan 논문의 답은 분명했습니다.

큰 모델이 훨씬 표본 효율적이어서, 연산 효율이 가장 좋은 학습은 아주 큰 모델을 비교적 적은 데이터로 학습시키고 수렴하기 한참 전에 멈추는 것이다.

수식으로는 최적 모델 크기가 $N_{\text{opt}} \propto C^{0.73}$ 입니다. 연산을 늘리면 그 대부분을 모델 크기에 쓰라는 뜻입니다.

이 답이 이후 몇 년의 방향을 정했습니다. 모델 크기 경쟁이 벌어진 배경입니다.

2022년의 답 — 반반으로 나눠라

Training Compute-Optimal Large Language Models (Hoffmann 외 21인, arXiv 2203.15556, 2022-03-29). 흔히 Chinchilla 논문이라 부릅니다.

이 팀은 400개가 넘는 모델을 직접 학습시켰습니다. 7천만~160억 파라미터, 50억~5천억 토큰 범위입니다.

결론이 정반대였습니다.

연산 최적 학습에서는 모델 크기와 학습 토큰 수를 같은 비율로 키워야 한다. 모델 크기를 두 배로 하면 학습 토큰 수도 두 배로 해야 한다.

$N_{\text{opt}} \propto C^{0.50}$ 입니다. 0.73 이 아니라 0.50 입니다.

그리고 이렇게 덧붙입니다 — 현재의 대형 언어모델들은 심각하게 덜 학습되었다(significantly undertrained)고요.

그래서 직접 붙여봤습니다

주장만으로 끝내지 않고, 같은 연산 예산으로 두 모델을 만들어 비교했습니다.

논문이 자기 주장을 증명하려고 직접 학습시킨 두 모델입니다

Gopher 는 파라미터 280B 에 토큰 300B, Chinchilla 는 파라미터 70B 에 토큰 1.4T 입니다. 크기를 4분의 1로 줄이고 데이터를 4배 넘게 먹였습니다.

작은 쪽이 이겼습니다. Chinchilla 가 MMLU 67.5% 로 Gopher 대비 “7% 이상의 개선”이고, GPT-3(175B)·Jurassic-1(178B)·Megatron-Turing NLG(530B)도 함께 앞섰습니다.

덤도 있습니다. 작으니까 쓸 때도 쌉니다. 논문이 추론과 파인튜닝 비용이 크게 준다는 점을 따로 강조합니다.

여기서 가져갈 것

1. “크다 = 좋다”가 아닙니다. 정확히는 “예산을 잘 나눈 쪽이 좋다” 입니다. 2020년에는 그 나눔이 모델 쪽이라고 봤고, 2022년에는 반반이라고 봤습니다.

2. 데이터가 병목이던 시절이 있었습니다. Chinchilla 의 지적은 “모델이 작아야 한다”가 아니라 “그 크기에 비해 데이터를 너무 적게 먹였다” 입니다. 같은 크기라도 더 먹이면 더 좋아졌을 모델들이었다는 뜻입니다.

3. 이건 재서 알아낸 것입니다. 400개가 넘는 모델을 실제로 학습시켜 얻은 답입니다. 평가 글에서 반복한 이야기와 같은 자리입니다 — 재보기 전에는 통념이 맞는지 알 수 없습니다.

4. 그리고 답은 또 바뀔 수 있습니다. 2년 만에 한 번 바뀌었습니다. 다음 글에서 왜 두 논문이 갈렸는지를 파볼 텐데, 이유가 생각보다 사소해서 그게 더 중요합니다.

읽을 때 붙여야 할 단서

손실 이야기지 능력 이야기가 아닙니다. 스케일링 법칙이 예측하는 건 다음 토큰 예측의 손실입니다. 그게 낮아지면 대체로 벤치마크도 좋아지지만, 손실 곡선이 특정 능력의 등장을 예측하지는 않습니다.

2020년·2022년 자료입니다. 이후 세대에서 같은 지수가 성립하는지는 이 논문들이 답하지 않습니다. 구조도 학습 방법도 그 뒤로 많이 바뀌었습니다.

$C \approx 6ND$ 는 어림입니다. 예산 감을 잡는 용도지 정밀한 계산식이 아닙니다.

Chinchilla 의 소속 표기를 제 조회로 깨끗하게 확인하지 못했습니다. 저자 22인의 이름은 확인했지만 소속 줄이 명확히 잡히지 않아 이 글에서는 적지 않았습니다.

“7% 이상 개선”은 논문 표현 그대로입니다. 상대값인지 절대 포인트인지 제가 구분하지 못해, Gopher 의 MMLU 값을 따로 적지 않았습니다.

정리

스케일링 법칙은 손실이 모델 크기·데이터 양·연산량에 따라 거듭제곱 꼴로 줄어든다는 경험적 관찰입니다. 예측이 된다는 게 값어치이고, 지수가 작아서 수익이 빠르게 체감한다는 게 함께 따라오는 사실입니다.

정해진 예산을 어디에 쓸지가 실제 질문이고, 여기에 대해 2020년에는 “모델을 키워라”($C^{0.73}$), 2022년에는 “반반씩”($C^{0.50}$) 이라는 다른 답이 나왔습니다.

그리고 뒤의 답이 파라미터를 4분의 1로 줄인 모델로 4배 큰 모델을 이기는 것으로 증명됐습니다.

“크게 만들면 좋아진다”는 반쪽입니다. 나머지 반쪽은 “그만큼 먹여야 한다” 입니다.

참고

• Scaling Laws for Neural Language Models — Kaplan 외 9인 (OpenAI · 존스홉킨스대), 2020-01-23 (2026-09-04 초록·본문 원문 확인). 세 거듭제곱 관계와 지수 0.076·0.095·0.050, $C \approx 6ND$ 의 근거, $N_{\text{opt}} \propto C^{0.73}$, “크게 만들고 일찍 멈춰라” 인용, 성립 범위(연산 8자릿수·파라미터 6자릿수)의 출처입니다. 2020년 자료입니다
• Training Compute-Optimal Large Language Models — Hoffmann 외 21인, 2022-03-29 (2026-09-04 초록·본문 원문 확인). 400개 넘는 모델, 동일 비율 확장 주장, Chinchilla 70B/1.4T 대 Gopher 280B/300B, MMLU 67.5%, “심각하게 덜 학습되었다”의 출처입니다. 2022년 자료입니다
• Scaling Laws, Carefully — Lilian Weng, 2026-06-24. 이 글의 출발점이 된 정리입니다. 수치는 위 원 논문에서 직접 확인했고 이 글에서 옮기지 않았습니다
• 토큰이란 무엇인가 — 손실이 무엇을 재는지 이해하는 데 필요한 앞 글
• 평가 주도 개발 — 재보기 전에는 모른다는 이야기