Junhyun
포스트

[Model] 27B가 1.7T를 1점 차로 따라붙었습니다 — Qwen 3.8 27B

Qwen 3.8 27B가 제3자 벤치마크에서 1.7T 모델을 1점 차로 따라붙었습니다. 점수와 함께, 맥북에서 돌릴 때 문제가 되는 추론 강도 기본값을 실측 근거로 정리합니다.

게시 업데이트
By Junhyun
10 분읽는 시간
[Model] 27B가 1.7T를 1점 차로 따라붙었습니다 — Qwen 3.8 27B

어제 글에서 DeepSeek 이 1.7T 짜리 가중치를 MIT 로 공개했다고 적었습니다.

그 다음 날, 27B 모델이 1점 차로 따라붙었습니다.

점수부터

Artificial Analysis 의 Intelligence Index 기준입니다.

모델파라미터점수
Qwen 3.8 27B27B52
GPT-5.6 Luna (max)—52
GLM-5.2 (max)753B53
DeepSeek V4 Pro 0813 (max)1.7T53

파라미터가 63배 차이인데 점수는 1점 차입니다. 같은 지표에서 오픈 웨이트 동급 135개 중 1위이고, 그 동급의 중앙값은 9점 입니다.

여기서 중요한 단서 하나. 이 수치는 벤더 자체 발표가 아닙니다. Artificial Analysis 라는 제3자가 GDPval-AA v2, Terminal-Bench v2.1, SciCode, Humanity’s Last Exam, GPQA Diamond 등을 묶어 독립적으로 잰 값입니다.

최근 두 편에서 다룬 수치는 전부 발표 주체가 낸 것이었습니다. 이번 건은 성격이 다릅니다.

무엇인가

공식 모델 카드 기준입니다.

항목값
출시2026-08-16 (Alibaba Qwen)
파라미터27B
라이선스Apache 2.0
컨텍스트262,144 (최대 1M 확장)
입력네이티브 비전-언어 — 이미지와 영상 이해

Apache 2.0 이라 상업적 사용에 제약이 거의 없습니다. 그리고 Simon Willison 이 4비트로 양자화한 파일 크기를 적어뒀는데 17GB 입니다.

어제 글의 DeepSeek V4 Pro 가중치가 893GB 였습니다. 17GB 는 노트북에 들어갑니다. 실제로 그는 맥북 프로와 DGX Spark 두 대에서 돌렸습니다.

그런데 기본값이 문제입니다

여기서부터가 이 소식의 실질입니다.

이 모델은 추론 강도 기본값이 xhigh 입니다. Willison 이 같은 요청을 두 조건으로 돌려 쟀습니다.

img_fileWillison 이 공개한 실측값으로 직접 그렸습니다

펠리컨 SVG 하나를 그리게 했더니 21분이 걸렸고, 추론 토큰 22,276개를 써서 출력 3,223개를 만들었습니다. 생성한 토큰의 87%가 추론입니다.

같은 요청을 추론 끄고 하면 137초입니다. 약 9배 차이입니다.

그가 든 다른 예도 비슷합니다. “원을 그리는 SVG를 그려줘”라는 요청에 몇 분을 숙고한 끝에, 그라디언트와 모션 효과가 들어간 애니메이션 원을 내놨습니다. 요청은 그냥 원이었습니다.

이 기본값을 무시하십시오. Qwen 3.8 27B 는 처음에 low 나 아예 추론 없이 돌리시기 바랍니다.

그는 이 기본값을 “우스운 설정”이라 부르고, “특히 소비자 하드웨어에서는 절대 좋은 방법이 아니다” 라고 적었습니다.

Qwen 은 그 기본값을 옹호합니다

그런데 공식 모델 카드를 열어보면 반대 이야기가 적혀 있습니다.

멀티턴 에이전트 작업에서는 추론 강도를 낮춘다고 전체 완료 시간이 항상 줄지 않습니다. 턴당 응답은 빨라져도 분석이 부족해져 실패와 재시도가 늘고, 총 지연과 토큰 소비가 오히려 커질 수 있습니다.

둘 다 맞을 수 있습니다. 모순이 아닙니다.

Qwen 이 말하는 건 여러 턴에 걸친 에이전트 작업입니다. 거기서는 대충 생각하고 틀려서 다시 하는 비용이 처음부터 깊이 생각하는 비용보다 클 수 있습니다.

Willison 이 잰 건 노트북에서의 단발 요청입니다. 원 하나 그려달라는 데 22,000 토큰을 쓸 이유는 없습니다.

즉 이 기본값은 서버에서 도는 에이전트를 상정하고 잡힌 것이고, 17GB 파일을 받아 맥북에서 돌리는 사람은 그 상정 밖에 있습니다. 그 간극이 이번 사례의 핵심입니다.

손잡이가 바뀌었다는 신호

어제 글에서 샘플링 파라미터가 최신 모델에서 닫히고 있고, 대신 “얼마나 깊이 생각할지” 가 더 중요한 손잡이가 됐다고 적었습니다.

이번 건이 그 이야기의 실물입니다. Temperature 를 잘못 잡으면 답이 조금 이상해지는 정도였지만, 추론 강도를 잘못 잡으면 137초짜리 일이 21분이 됩니다.

새 모델을 받았을 때 확인할 것이 바뀌었다는 뜻이기도 합니다. 예전에는 컨텍스트 길이와 가격을 봤다면, 이제는 추론 강도의 기본값이 무엇이고 내 용도에 맞는지를 같이 봐야 합니다.

읽을 때 붙여야 할 단서

Intelligence Index 는 여러 벤치마크를 묶은 합성 지표입니다. 52 와 53 의 1점 차가 실제 작업에서 체감되는 차이인지는 이 숫자만으로 알 수 없습니다. 지표 구성이 바뀌면 순위도 바뀝니다.

파라미터 수만으로 모델을 비교할 수 없습니다. GLM-5.2 나 DeepSeek V4 Pro 는 MoE 구조라 전체 파라미터 중 일부만 토큰마다 활성화됩니다. “63배”는 전체 파라미터 기준이고, 실제 연산량 차이는 그보다 작습니다.

Willison 의 측정은 한 사람의 실측입니다. 하드웨어와 양자화 설정이 다르면 숫자도 달라집니다. 21분과 137초는 그의 환경에서 나온 값입니다.

17GB 가 들어간다고 쾌적하다는 뜻은 아닙니다. 그는 128GB 맥북 프로에서 돌렸습니다. 일반적인 사양에서 같은 속도가 나오지는 않습니다.

정리

Qwen 3.8 27B 가 제3자 벤치마크에서 1.7T 모델을 1점 차로 따라붙었습니다. Apache 2.0 이고, 4비트 양자화하면 17GB 라 노트북에 들어갑니다.

다만 추론 강도 기본값이 xhigh 라, 받아서 그대로 돌리면 원 하나 그리는 데 몇 분을 씁니다. 실측으로 21분 대 137초였습니다.

Qwen 은 멀티턴 에이전트 작업을 상정해 그 기본값을 골랐다고 문서에 적어뒀습니다. 노트북에서 단발로 쓰는 사람은 다른 값이 필요합니다.

모델을 받았으면 기본값부터 확인하십시오. 이제 이게 컨텍스트 길이나 가격만큼 중요한 항목이 됐습니다.

참고

Trend
Model Qwen open weights reasoning
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.