[LLM] 스케일링 법칙은 왜 갈렸나 — 파라미터를 어떻게 세느냐로 답이 바뀝니다

앞 글에서 두 답이 갈렸다는 데까지 봤습니다. 2020년의 $C^{0.73}$ 과 2022년의 $C^{0.50}$ 입니다.

같은 현상을 재는데 답이 다르면 셋 중 하나입니다. 한쪽이 틀렸거나, 잰 대상이 다르거나, 재는 방법이 결과를 만들었거나.

이 경우는 셋째에 가까웠습니다. 그리고 그 이유가 허무할 만큼 단순합니다.

두 논문은 같은 N 을 쓰고 있지 않았습니다

$N$ 은 “모델 파라미터 수”입니다. 그런데 무엇을 파라미터로 셀지가 정해져 있지 않습니다.

Kaplan 논문은 임베딩을 뺐습니다.

$N$ — 모델 파라미터 수, 모든 어휘 임베딩과 위치 임베딩을 제외한 것

그리고 왜 뺐는지도 적어뒀습니다 — “모델 크기 $N$ 을 이야기할 때 이것들을 포함하지 않는다. 그렇게 하면 훨씬 깨끗한 스케일링 법칙이 나온다는 것을 보게 될 것이다.”

Chinchilla 논문은 넣었습니다.

참고로 우리는 임베딩 행렬도 전체 파라미터 수에 포함해 센다. 큰 모델에서는 임베딩 행렬의 연산·파라미터 기여가 작다.

둘 다 숨기지 않았습니다. 각자 본문에 명시했습니다. 그런데 이 규약 차이가 결론을 갈랐습니다.

왜 그게 결과를 바꾸나

임베딩은 어휘 크기 × 차원 이라 모델이 작을수록 전체에서 차지하는 비중이 큽니다. 작은 모델에서는 파라미터의 상당 부분이 임베딩일 수 있고, 큰 모델에서는 거의 무시할 만해집니다.

그러니 임베딩을 빼고 세면 작은 모델의 $N$ 이 실제보다 더 많이 깎입니다. 작은 모델 쪽 점들이 왼쪽으로 밀리고, 그 점들에 맞춘 직선의 기울기가 달라집니다.

여기에 Kaplan 논문이 주로 작은 모델에서 쟀다는 점이 겹칩니다. 그리고 그 기울기로 훨씬 큰 규모를 외삽했습니다.

그게 진짜 원인이었나 — 확인한 논문이 있습니다

Reconciling Kaplan and Chinchilla Scaling Laws (Pearce & Song, TMLR 2024, arXiv 2406.12907, 2024-06-12 제출 · 2024-11-21 최종본)

제목 그대로 이 불일치를 화해시키는 논문입니다. 결론이 명확합니다.

이 불일치의 상당 부분은 Kaplan 이 전체 파라미터가 아니라 임베딩을 제외한 파라미터를 센 것과, 그들의 분석이 작은 규모에서 수행된 것에 기인한다고 볼 수 있다.

그리고 이걸 말로만 주장하지 않았습니다.

이 조건에서 Chinchilla 연구를 시뮬레이션하면 Kaplan 의 것에 가까운 편향된 계수가 나온다.

즉 Chinchilla 의 데이터를 가져다가 Kaplan 의 규약과 규모로 다시 재면 Kaplan 의 답이 나옵니다. 원인 규명으로 이보다 깔끔하기 어렵습니다.

논문의 결론은 Chinchilla 쪽 손을 들어줍니다 — “Kaplan 의 원래 과대추정의 주된 원인을 설명함으로써 Chinchilla 의 스케일링 계수를 재확인한다.”

그리고 권고를 하나 남깁니다. 앞으로의 스케일링 연구는 전체 파라미터와 전체 연산량을 쓸 것.

그런데 Chinchilla 안에서도 셋이 안 맞습니다

여기서 한 겹 더 들어갑니다.

Chinchilla 논문은 최적 지점을 세 가지 방법으로 추정했습니다.

방법	무엇	$N_{\text{opt}}$ 지수	$D_{\text{opt}}$ 지수
1	모델 크기를 고정하고 토큰 수를 바꿔 봄	0.50	0.50
2	IsoFLOP 프로파일	0.49	0.51
3	손실 함수를 수식으로 놓고 적합	0.46	0.54

큰 간격은 방법론에서, 작은 간격은 적합 방식에서 옵니다

0.50 · 0.49 · 0.46. 같은 데이터, 같은 팀, 같은 논문인데 방법을 바꾸니 조금씩 다릅니다.

큰 차이는 아닙니다. 다만 “법칙”이라 부르는 것의 소수 둘째 자리가 적합 방식에 따라 움직인다는 사실은 기억해둘 만합니다.

그리고 세 번째 방법은 재현되지 않았습니다

Chinchilla Scaling: A replication attempt (Besiroglu · Erdil · Barnett · You, arXiv 2404.10102, 2024-04-15 제출 · 2024-05-15 개정)

세 번째 방법만 골라 재현을 시도한 논문입니다. 세 가지를 찾았습니다.

1. 보고된 추정치가 자기네 첫 두 방법과 일관되지 않는다
2. 추출한 데이터에 제대로 적합되지 않는다
3. 신뢰구간이 있을 수 없을 만큼 좁다

셋째가 특히 구체적입니다.

이 정도로 좁은 구간이 나오려면 60만 번이 넘는 실험이 필요한데, 그들은 아마 500번도 채 돌리지 않았을 것이다.

수치 자체가 틀렸다는 것보다, 불확실성을 실제보다 훨씬 작게 보고했다는 지적입니다. 결과를 얼마나 믿어도 되는지에 대한 이야기라 더 무겁습니다.

다만 이 논문의 결말은 파괴적이지 않습니다. 저자들이 세 번째 방법을 다시 적합해 보니 첫 두 방법과 들어맞는 결과가 나왔습니다. 방법 3의 실행이 잘못됐던 것이지 Chinchilla 의 결론이 뒤집힌 게 아닙니다.

그래서 무엇을 배우나

1. “법칙”이라는 이름에 속지 않기. 스케일링 법칙은 물리 법칙이 아니라 관찰에 맞춘 곡선입니다. 무엇을 세느냐, 어느 범위에서 쟀느냐, 어떤 방법으로 적합했느냐가 전부 지수에 들어갑니다.

2. 정의를 먼저 확인하기. 두 논문의 $N$ 이 다른 물건이었습니다. 논문의 수치를 가져다 쓸 때 그 기호가 무엇을 세는지를 보지 않으면 다른 물건을 비교하게 됩니다.

3. 재는 범위 밖으로 나가면 조심하기. Kaplan 논문은 데이터 크기 $D$ 를 2자릿수 남짓밖에 못 움직였습니다(연산량은 8자릿수, 파라미터는 6자릿수였습니다). 논쟁의 대상이 된 축이 가장 덜 탐색된 축이었던 셈입니다.

4. 신뢰구간도 결과입니다. Besiroglu 논문이 문제 삼은 건 점추정이 아니라 구간이었습니다. 얼마나 확실한지를 과장하는 것도 틀리는 방법의 하나입니다.

5. 그래도 이건 잘 굴러간 사례입니다. 두 논문이 규약을 각자 밝혀뒀기에 나중에 원인을 짚을 수 있었고, 데이터가 남아 있었기에 재현 시도가 가능했습니다. 잘못을 찾을 수 있는 상태로 공개한 것이 이 이야기의 밝은 쪽입니다.

읽을 때 붙여야 할 단서

Chinchilla 의 결론이 뒤집힌 게 아닙니다. Pearce & Song 은 Chinchilla 를 재확인했고, Besiroglu 의 재적합도 첫 두 방법과 들어맞았습니다. 이 글은 “누가 틀렸나”가 아니라 “숫자가 어디서 흔들리나” 에 대한 글입니다.

Besiroglu 논문은 플롯에서 데이터를 복원해 분석했습니다. 원 데이터를 받은 게 아니라 그림에서 추출한 것이라, 그 과정의 오차는 별개로 남습니다.

“60만 번 대 500번”은 저자들의 추정입니다. Chinchilla 팀이 실제로 몇 번 돌렸는지 공개된 값이 아니라 “아마 그럴 것”이라는 표현입니다.

Pearce & Song 의 한계 절을 확인하지 못했습니다. 초록과 결론 수준까지 봤습니다.

전부 2020~2024년 자료입니다. 이후 세대의 학습 방식에서 같은 지수가 성립하는지는 이 논문들이 답하지 않습니다.

정리

Kaplan 의 $C^{0.73}$ 과 Chinchilla 의 $C^{0.50}$ 이 갈린 주된 이유는 파라미터를 세는 규약이었습니다. Kaplan 은 임베딩을 뺐고(“그래야 깨끗한 법칙이 나온다”), Chinchilla 는 넣었습니다.

Pearce & Song 이 이걸 확인했습니다 — Chinchilla 의 데이터를 Kaplan 의 조건으로 다시 재면 Kaplan 에 가까운 계수가 나옵니다.

Chinchilla 안에서도 방법에 따라 0.50 · 0.49 · 0.46 으로 갈렸고, 그중 세 번째 방법은 재현 시도에서 첫 두 방법과 일관되지 않고 신뢰구간이 비현실적으로 좁다는 지적을 받았습니다.

법칙처럼 보이는 것의 소수 둘째 자리는, 무엇을 세느냐로 움직입니다.

숫자를 인용하기 전에 그 숫자가 무엇을 세고, 어느 범위에서 재고, 어떻게 맞춘 값인지를 보는 것 — 앞 글부터 이 글까지의 결론은 그것입니다.

참고

• Reconciling Kaplan and Chinchilla Scaling Laws — Tim Pearce · Jinyeop Song, TMLR 2024, arXiv 2406.12907 (2026-09-04 초록 원문 확인). 불일치의 원인 규명, “Chinchilla 를 이 조건에서 시뮬레이션하면 Kaplan 에 가까운 편향된 계수가 나온다”, 전체 파라미터를 쓰라는 권고의 출처입니다. 한계 절은 확인하지 못했습니다
• Chinchilla Scaling: A replication attempt — Besiroglu · Erdil · Barnett · You, arXiv 2404.10102, 2024-04-15 (2026-09-04 초록 원문 확인). 세 번째 방법의 세 가지 문제와 “60만 번 대 500번”, 재적합 결과의 출처입니다. 플롯에서 복원한 데이터로 한 분석입니다
• Scaling Laws for Neural Language Models — Kaplan 외 9인, 2020-01-23 (2026-09-04 본문 원문 확인). 임베딩 제외 규약과 그 이유, 성립 범위(연산 8자릿수·파라미터 6자릿수·데이터 2자릿수 남짓)의 출처입니다
• Training Compute-Optimal Large Language Models — Hoffmann 외 21인, 2022-03-29 (2026-09-04 본문 원문 확인). 임베딩 포함 규약과 세 가지 적합 방법의 지수(0.50·0.49·0.46)의 출처입니다
• Scaling Laws, Carefully — Lilian Weng, 2026-06-24. 이 두 편의 출발점입니다. 수치는 전부 위 원 논문에서 직접 확인했습니다
• 스케일링 법칙 — 크게 만들면 좋아진다는 말의 실제 뜻 — 이 글의 앞 편