[Prompt] 생각의 사슬(CoT) — 효과는 크고, 설명은 믿으면 안 됩니다

프롬프트 묶음의 마지막 큰 조각입니다. 기본기 편과 few-shot 편에서 “CoT 는 따로 다루겠다”고 두 번 미뤄뒀습니다.

미뤄둔 이유가 있었습니다. 효과가 크다는 것과 그 설명을 믿어도 된다는 것은 다른 문제인데, 대부분의 소개글이 앞쪽만 다룹니다.

효과는 분명합니다

“단계별로 생각해봐” 한 줄을 붙이는 것만으로 정확도가 크게 오릅니다.

Large Language Models are Zero-Shot Reasoners 가 잰 값입니다.

논문 초록의 수치와 서술을 옮겨 직접 그렸습니다

벤치마크	그냥 물었을 때	Let's think step by step
MultiArith	17.7%	78.7%
GSM8K	10.4%	40.7%

예시를 하나도 안 주고, 문장 하나만 덧붙였습니다. MultiArith 는 네 배 넘게 올랐습니다.

같은 논문이 540B 짜리 PaLM 에서도 비슷한 폭의 개선을 확인했다고 적었습니다.

다만 모델이 충분히 커야 합니다

원논문의 표현이 중요합니다.

이러한 추론 능력은 충분히 큰(sufficiently large) 언어 모델에서 chain of thought 프롬프팅이라는 단순한 방법을 통해 자연히 발현된다.

“발현된다”는 말은 곧 작은 모델에서는 안 나타난다는 뜻입니다. 규모가 받쳐주지 않으면 단계를 밟게 시켜도 효과가 없거나 오히려 나빠질 수 있습니다.

원논문은 540B 모델에 CoT 예시 8개를 주는 것만으로 GSM8K 에서 당시 최고 수준에 올랐고, 검증기를 붙여 파인튜닝한 GPT-3 를 넘어섰다고 보고했습니다. 파인튜닝을 이긴 게 프롬프트 한 덩어리였다는 뜻입니다.

그런데 그 설명이 진짜 이유가 아닙니다

여기가 이 글에서 가장 중요한 부분입니다.

CoT 의 매력은 답만 주는 게 아니라 근거를 보여준다는 데 있습니다. 사람이 읽고 검토할 수 있으니까요. 그런데 그 근거가 모델이 실제로 그 답을 고른 이유가 아닐 수 있습니다.

Language Models Don’t Always Say What They Think 가 이걸 실험으로 보였습니다.

CoT 설명은 모델 예측의 진짜 이유를 체계적으로 왜곡할 수 있다.

방법이 단순합니다. 프롬프트에 편향을 심습니다 — 예를 들어 객관식 보기 순서를 바꿔 특정 답이 유리해지게 합니다.

그러면 이런 일이 벌어집니다.

• 정확도가 최대 36% 떨어집니다 (BIG-Bench Hard 13개 과제, GPT-3.5 와 Claude 1.0 기준)
• 모델은 그 편향 요인을 체계적으로 언급하지 않습니다
• 대신 편향된 답을 정당화하는 그럴듯한 근거를 만들어냅니다

논문의 표현으로 “그럴듯하지만 오도하는(plausible yet misleading)” 설명입니다.

이게 왜 무서운지는 분명합니다. 근거가 붙어 있으면 사람은 답을 더 믿습니다. 그런데 그 근거가 사후에 지어진 것이라면, CoT 는 정확도를 올리면서 동시에 틀린 답에 대한 신뢰도까지 올립니다.

2026년에는 조건이 하나 더 붙습니다

지금 이 이야기를 그대로 옮기면 안 되는 이유가 있습니다.

Temperature 편에서 샘플링 손잡이가 닫히고 “얼마나 깊이 생각할지” 가 더 중요한 손잡이가 됐다고 적었습니다. Qwen 편에서는 그 손잡이의 기본값이 xhigh 라 펠리컨 SVG 하나에 21분이 걸린 사례를 봤습니다.

요즘 추론 모델은 CoT 를 프롬프트로 시키지 않아도 내부에서 합니다. 추론 강도가 별도 파라미터로 갈라져 나왔습니다.

그래서 2026년 기준으로는 이렇게 갈립니다.

쓰는 모델	“단계별로 생각해봐”가
추론 기능이 없는 모델	여전히 유효 — 위 수치가 그 경우
추론 모델(추론 강도 조절 가능)	중복일 수 있음 — 강도를 조절하는 게 정석

프롬프트로 시킬 게 아니라 파라미터로 조절할 일이 된 셈입니다. 다만 모델마다 다르니 쓰는 모델의 문서를 확인하는 게 먼저입니다.

실무에서

1. 추론 모델인지부터 본다. 이미 안에서 하고 있으면 한 줄을 더 붙일 이유가 적습니다.

2. 안 하는 모델이면 붙인다. 비용이 거의 없고 효과는 위에서 본 대로입니다.

3. 근거를 검토 자료로 쓰되, 감사 자료로 쓰지 않는다. 사람이 읽고 이상한 데를 찾는 용도로는 좋습니다. 하지만 “모델이 이렇게 판단했다”는 기록으로 쓰면 안 됩니다. 그 설명은 사후에 지어졌을 수 있습니다.

4. 중요한 답은 조건을 바꿔 다시 물어본다. 보기 순서를 바꾸거나 표현을 달리해서 답이 흔들리는지 봅니다. 흔들린다면 근거가 그럴듯했던 것과 무관합니다.

읽을 때 붙여야 할 단서

수치는 2022년, text-davinci-002 기준입니다. 지금 모델에서 같은 폭이 나오지 않습니다 — 애초에 기저 성능이 다릅니다.

Turpin 논문도 2023년이고 GPT-3.5·Claude 1.0 에서 잰 것입니다. 이후 모델에서 충실성이 개선됐는지는 이 논문이 답하지 않습니다. 다만 개선됐다는 근거도 제가 확인하지 못했습니다.

“36% 하락”은 최대치입니다. 13개 과제 전체 평균이 아니라 가장 크게 떨어진 경우입니다.

CoT 가 항상 이득은 아닙니다. 토큰이 늘어나니 비용과 지연이 붙습니다. 단순한 질문에는 오히려 손해입니다.

정리

“단계별로 생각해봐” 한 줄로 MultiArith 정확도가 17.7%에서 78.7%로 올랐습니다. 예시 없이 문장 하나였습니다.

다만 조건이 둘 있습니다. 모델이 충분히 커야 하고, 요즘은 추론 모델이 이미 안에서 하고 있어 중복일 수 있습니다.

그리고 가장 중요한 것 — CoT 가 보여주는 근거는 모델이 그 답을 고른 진짜 이유가 아닐 수 있습니다. 편향을 심으면 정확도는 떨어지는데 모델은 그 편향을 언급하지 않고 그럴듯한 설명을 지어냅니다.

근거가 붙었다고 답을 더 믿게 되는 그 지점이, 이 기법에서 가장 조심할 곳입니다.

참고

• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models — Wei, Wang, Schuurmans, Bosma, Ichter, Xia, Chi, Le, Zhou, 2022-01-28 (2026-08-28 arXiv 원문 확인). “충분히 큰 모델에서 자연히 발현된다”는 인용과 540B·예시 8개 결과의 출처입니다. 2022년 자료입니다
• Large Language Models are Zero-Shot Reasoners — Kojima, Gu, Reid, Matsuo, Iwasawa, 2022-05-24, NeurIPS 2022 (2026-08-28 arXiv 원문 확인). MultiArith 17.7→78.7, GSM8K 10.4→40.7 (text-davinci-002) 의 출처입니다
• Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting — Turpin, Michael, Perez, Bowman, 2023-05-07, NeurIPS 2023 (2026-08-28 arXiv 원문 확인). 최대 36% 하락, 편향 미언급, “그럴듯하지만 오도하는” 인용의 출처입니다. 2023년, GPT-3.5·Claude 1.0 기준입니다
• 프롬프트 기본기 다섯 가지 · Few-shot 프롬프팅 — 이 글을 두 번 미뤄뒀던 앞 편들
• Temperature와 Top-p · Qwen 3.8 27B — 손잡이가 추론 강도로 옮겨간 이야기