[Model] 99.9%는 모델의 점수가 아닙니다 — 같은 모델이 62.7%이기도 합니다

새 모델이 나왔고, 숫자 하나가 돌아다닙니다.

“ARC-AGI-3 에서 99.9%.”

맞는 숫자입니다. 그런데 같은 모델이 같은 벤치마크에서 62.7% 이기도 합니다.

둘 다 사실이고, 둘을 가른 것은 모델이 아닙니다.

표를 낸 쪽이 벤더가 아닙니다

이번엔 운이 좋습니다. 벤치마크를 만든 쪽이 직접 전체 표를 공개했습니다.

ARC Prize 의 Greg Kamradt 가 2026-09-03 에 OpenAI’s GPT-6 Astra on ARC-AGI-3 를 올렸고, 거기에 조건별 결과가 다 들어 있습니다. 벤더 발표문만 있는 경우와 달리 고르지 않은 행까지 볼 수 있습니다.

두 개의 곡선

ARC Prize 가 공개한 표를 그대로 옮겼습니다

가로축은 모델에게 얼마나 생각하게 했는지(reasoning effort)입니다. 두 선은 하네스가 다릅니다.

위 선이 거의 평평합니다. 생각을 많이 시키든 적게 시키든 96~99%대에 붙어 있습니다.

아래 선은 낮고 들쭉날쭉합니다. 가장 잘 나와도 62.7%입니다.

그리고 여기가 이 표에서 가장 센 대목입니다.

좋은 하네스는 추론을 완전히 끈 상태(none)에서도 96.7% 입니다. 다른 하네스가 최대로 생각해서 얻은 62.7% 보다 훨씬 높습니다.

하네스가 무엇을 다르게 하나

ARC Prize 의 설명은 짧습니다.

하네스	하는 일
기본(Standard)	모델이 스스로 남기기로 한 메모를 들고 다니게 한다
Provider Adapter	요청 사이에 불투명한 추론 상태를 보존하고, 대화가 길어지면 압축해서 이전 작업을 재사용하게 한다

차이는 모델이 자기 생각을 다음 턴으로 넘길 수 있느냐입니다. 기본 하네스에서는 매 요청마다 생각이 끊기고, 모델이 글로 적어 남긴 것만 넘어갑니다.

컨텍스트 윈도우 글에서 본 문제가 그대로 나옵니다 — 모델은 요청 사이에 아무것도 기억하지 못합니다. 그 사이를 무엇으로 이어주느냐가 여기서 37포인트를 만들었습니다.

더 잘하는 쪽이 더 쌉니다

보통은 점수를 올리려면 돈을 더 씁니다. 여기서는 반대입니다.

	점수 범위	비용 범위
Provider Adapter	96.7 ~ 99.9%	$17,332 ~ $23,457
기본	17.5 ~ 62.7%	$26,098 ~ $49,791

싼 쪽이 잘합니다. ARC Prize 가 이유도 적어뒀습니다 — 양쪽이 모두 푼 167개 짝을 기준으로 Provider Adapter 쪽이 약 3.66배 빨랐고 총 토큰을 49% 적게 썼습니다.

이전 작업을 재사용하니 같은 자리를 다시 헤매지 않는 것입니다.

기본 하네스는 순서도 뒤집힙니다

아래 선을 자세히 보면 이상한 데가 있습니다.

생각을 조금 하게 한 low 가 17.5%로, 아예 안 하게 한 none(35.2%)보다 낮습니다.

그리고 비용도 뒤집힙니다. 가장 잘한 max 가 $26,098 로 가장 싸고, 성적이 나쁜 medium 이 $48,090 입니다.

못 푸는 조건일수록 돈을 더 씁니다. 답을 못 찾고 맴도는 데 토큰이 나가기 때문입니다. 점수가 낮은 실행이 싸리라는 짐작은 여기서 틀립니다.

이 블로그가 계속 보던 자리입니다

Prime Agent 논문 글에서 같은 벤치마크의 30% → 95.5% 를 다뤘습니다. 그때 아쉬웠던 건 어느 구성요소가 올렸는지 가르는 실험이 없다는 점이었습니다.

이번엔 그게 있습니다. 모델·벤치마크·데이터셋을 고정하고 하네스만 바꾼 표입니다. 그것도 벤더가 아니라 채점하는 쪽이 냈습니다.

EvoHarness-RL 글과도 이어집니다. 거기서는 8B 모델이 하네스만 얹어선 56.4%, 쓰는 법을 훈련시키니 96.9% 였습니다. 하네스를 주는 것과 하네스를 쓸 줄 아는 것이 다르다는 이야기였는데, 여기서는 하네스가 대신 기억해주면 훈련 없이도 된다는 그림이 됩니다.

그 밖의 수치

같은 발표에서 나온 것들입니다. 전부 OpenAI 자체 보고이고, 저는 ARC-AGI-3 을 뺀 나머지를 1차 출처에서 확인하지 못했습니다.

• ExploitBench 100% (GPT-5.6 Sol 78.5%)
• ExploitGym 42.4% (Sol 30.3%) — Hugging Face 사건 글에 나온 그 벤치마크입니다
• SRE-Bench 이진 역공학 4회 내 99.2% (Sol 68.7%)
• 8-needle 장문맥: 256K~512K 100%, 512K~1M 96.3%
• 가격: 입력 100만 토큰당 $10, 출력 $50

제3자 평가는 순위를 다르게 냅니다. Artificial Analysis 지능 지수에서 Astra 는 61 로 GPT-5.6 Sol 과 같고, Claude Fable 5.1 보다 5점 낮습니다. 코딩 에이전트 지수에서는 Sol 보다 2점 높습니다.

“어느 지표로 1등인가” 를 묻지 않으면 이 숫자들은 비교가 안 됩니다.

사람과 비교하려면

ARC Prize 가 사람 기준선도 적어뒀는데, 여기에 단서가 붙습니다.

사람 참가자에게는 90분 세션당 $115 를 지급했습니다. 뇌가 쓰는 에너지만 따지면 게임당 약 $0.067 이라는 계산도 함께 적어뒀습니다.

그리고 중요한 단서가 있습니다.

우리 테스트 참가자들에게는 코드 인터프리터도 스크래치패드도 없었다. 따라서 결과는 모델과 그 도구의 결합 성능으로 이해해야 한다.

사람은 맨손으로, 모델은 도구를 들고 쟀습니다. 이 비교를 “모델이 사람을 넘었다”로 옮기면 그 조건이 사라집니다.

읽을 때 붙여야 할 단서

OpenAI 공식 발표문을 열지 못했습니다. 이 환경에서 openai.com 이 403 입니다. ARC-AGI-3 수치는 ARC Prize 원문에서 직접 확인했고, 나머지 벤치마크는 Simon Willison 의 정리를 거친 것입니다.

Semi-Private 세트 기준입니다. 공개 세트나 다른 분할에서 같은 값이 나오는지는 이 표가 답하지 않습니다.

“99.9%”가 조작이라는 뜻이 아닙니다. Provider Adapter 는 실제로 쓸 수 있는 구성이고, ARC Prize 도 두 값을 나란히 실었습니다. 문제는 한 값만 옮겨질 때 생깁니다.

Provider Adapter 가 누구나 쓸 수 있는 것인지 확인하지 못했습니다. 이름으로 보아 제공자 측 어댑터인데, 일반 API 사용자가 같은 조건을 만들 수 있는지는 제가 확인하지 못했습니다. 이게 확인되면 이 글의 실무적 의미가 꽤 달라집니다.

비용은 벤치마크 전체를 도는 비용입니다. 과제 하나당 비용이 아닙니다.

제가 직접 돌려보지 않았습니다.

정리

GPT-6 Astra 는 ARC-AGI-3 에서 99.9% 를 받았습니다. 같은 모델이 같은 벤치마크에서 62.7% 이기도 합니다. 가른 것은 하네스입니다.

좋은 하네스는 추론을 완전히 끈 상태에서도 96.7% 로, 다른 하네스가 최대로 생각해 얻은 점수를 크게 웃돕니다. 생각을 얼마나 시키느냐보다 생각을 이어주느냐가 컸습니다.

그리고 잘하는 쪽이 더 쌉니다. 3.66배 빠르고 토큰을 49% 적게 썼습니다. 반대로 기본 하네스는 못 푸는 조건일수록 비용이 올라갑니다.

모델 점수라고 불리는 것 상당 부분은 모델과 그것을 감싼 것의 합산 점수입니다. 이 표는 그 사실을 벤치마크 관리자가 직접 보여준 드문 사례입니다.

숫자 하나를 볼 때 물어야 할 것은 “무엇으로 감싸고 잰 값인가” 입니다.

참고

• OpenAI’s GPT-6 Astra on ARC-AGI-3 — Greg Kamradt, ARC Prize, 2026-09-03 (2026-09-08 원문 확인). 두 하네스 12개 조건의 점수와 비용, 하네스 설명, 3.66배·49% 수치, 사람 기준선과 도구 관련 단서의 출처입니다. Semi-Private 세트 기준입니다
• GPT‑6 Astra — Simon Willison, 2026-09-03 (2026-09-08 확인). ExploitBench·ExploitGym·SRE-Bench·장문맥 수치, 가격, Artificial Analysis 지수의 출처입니다. 전부 OpenAI 자체 보고를 옮긴 것이고, Willison 본인도 아직 써보지 않았다고 밝혔습니다
• OpenAI 공식 발표문 — 열지 못했습니다 (이 환경에서 403)
• Prime Agent 논문 — 같은 벤치마크에서 하네스가 30%→95.5% 를 만들었다는 앞 글
• EvoHarness-RL — 하네스를 쓰는 법을 훈련시킨 이야기
• 컨텍스트 윈도우 — 요청 사이에 기억이 끊긴다는 앞 글