[Agent] EvoHarness-RL — 8B가 Opus를 따라잡았다는 표, 직접 열어봤습니다
메타·UIUC의 EvoHarness-RL 논문 표를 직접 열어 확인합니다. 8B가 Claude Opus 4.5 성능을 냈다는 기사가 표의 어느 행을 골랐고, 고르지 않은 행은 무엇을 말하는지 정리합니다.
이런 제목의 기사를 봤습니다.
메타, 8B 모델로 ‘클로드 오퍼스 4.5’ 성능 구현한 ‘에보하네스-RL’ 공개
논문은 실재하고, 숫자도 실재합니다. 그런데 논문의 표를 열어보면 기사가 고르지 않은 행이 있습니다.
이 글은 그 표를 같이 보는 이야기입니다. 논문 내용도 정리하지만, 더 쓸모 있는 건 뒷부분입니다 — “작은 모델이 큰 모델을 이겼다”는 문장을 볼 때 무엇을 확인해야 하는가.
논문이 무엇을 했나
EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents (arXiv 2608.05446, 2026-08-05). 저자 16인이고 Meta AI 와 UIUC 가 섞여 있습니다.
문제의식은 이 블로그의 하네스 글들과 같은 자리입니다. 에이전트가 긴 작업을 하려면 모델 밖에 상태를 들고 있어야 합니다 — 지금 뭘 아는지, 어디까지 했는지, 전에 뭘 배웠는지. 보통은 이걸 사람이 규칙으로 짭니다. “이럴 땐 메모리에 저장해라” 같은 것을요.
이 논문은 그 규칙을 학습시킵니다.
상태를 셋으로, 행동을 넷으로
먼저 하네스가 들고 있는 상태를 셋으로 추립니다. 머리글자를 따 BPE 라고 부릅니다.
| 상태 | 무엇 |
|---|---|
| Belief | 지금 환경을 어떻게 이해하고 있는가 |
| Progress | 하위 과제를 어디까지 끝냈는가 |
| Experience | 다시 쓸 수 있는 지식 |
그리고 에이전트가 이 상태를 건드리는 방법을 네 가지 메타 액션으로 줄입니다. 논문 표기로 $\mathcal{A}_{bpe} = {\text{track},\ \text{commit},\ \text{recall},\ \text{note}}$ 입니다.
깔끔하게 2×2로 떨어집니다.
| 읽기 | 쓰기 | |
|---|---|---|
| Belief · Progress (지금 상황) | track | commit |
| Experience (재사용 지식) | recall | note |
에이전트는 이제 “메모리를 어떻게 관리할까”를 자유롭게 고민하는 대신, 매 순간 이 넷 중 무엇을 할지만 고릅니다. 행동 공간을 좁혀놓고 그 선택을 강화학습으로 훈련시킨 게 이 논문의 핵심입니다.
훈련 규모는 이렇습니다. ALFWorld 학습 게임 500개를 돌려 성공한 궤적 87개를 건졌고, 거기서 뽑은 1,153쌍으로 먼저 SFT 를 한 뒤 GRPO 를 150 에포크 돌렸습니다.
이제 표를 봅니다
논문 표 1에서 다섯 행을 옮겼습니다
기사가 쓴 숫자는 전부 맞습니다. Qwen3-8B 가 ReAct 로 47.9% 였고 EvoHarness-RL 로 96.9% 가 됐습니다. Claude Opus 4.5 는 96.4% 입니다. 8B 가 0.5포인트 앞섭니다.
같은 표 바로 윗줄에 98.5% 가 있습니다.
Claude Opus 4.5 에 이 논문 자신의 하네스(EvoHarness-Base)를 얹은 행입니다. 기사에는 이 행이 없습니다.
어긋나는 곳 세 군데
1. 비교가 짝이 안 맞습니다.
8B 쪽은 이 논문이 만들 수 있는 가장 센 설정(RL 까지 다 한 것)이고, Opus 쪽은 가장 약한 설정(맨 ReAct)입니다. 둘 다 EvoHarness 를 쓴 상태로 맞춰 놓으면 98.5% 대 56.4% 로 벌어집니다.
2. 8B 만 이 환경에서 훈련했습니다.
Qwen3-8B 는 ALFWorld 에서 직접 훈련한 모델입니다. Claude 와 GPT 는 그대로 가져다 썼습니다. “8B가 Opus 성능을 냈다”가 아니라 한 환경에 맞춰 훈련한 8B가 그 환경에서 따라붙었다입니다. 다른 환경으로 옮기면 어떻게 되는지는 이 표가 답하지 않습니다.
여기서 논문을 탓하긴 어렵습니다. 닫힌 모델에는 RL 을 걸 수 없습니다. Claude·GPT 행에 EvoHarness-Base 까지만 있는 건 저자들이 감춰서가 아니라 물리적으로 못 하기 때문입니다. 표는 그 사실을 그대로 보여줍니다. 표를 요약하는 쪽에서 사라진 겁니다.
3. 벤치마크가 하나입니다.
ALFWorld 하나입니다. ALFRED 기반의 텍스트 게임으로, 방을 돌아다니며 물건을 집고 데우고 식히는 가사 과제 6종(Pick·Look·Clean·Heat·Cool·Pick2)입니다. 코딩도, 웹 브라우징도, 문서 작업도 아닙니다.
“Claude Opus 4.5 성능 구현”은 일반적인 능력처럼 읽히지만, 잰 것은 텍스트 가사 시뮬레이터 하나입니다.
개선 폭도 기준에 따라 다릅니다
기사의 “47.9% → 96.9%” 는 ReAct 대비입니다. 그런데 표에는 기존 방법들이 줄줄이 있습니다.
| 기존 방법 (전부 Qwen3-8B) | 성공률 |
|---|---|
| ReAct | 47.9% |
| ExpeL | 49.3% |
| MemP | 49.7% |
| ACE | 51.4% |
| Dynamic Cheatsheet | 52.1% |
| SkillOS-base | 53.1% |
| ReasoningBank | 55.7% |
| GRPO | 65.6% |
| SkillOS | 80.2% |
기존 최강은 SkillOS 80.2% 입니다. 여기 대비로는 +16.7 포인트입니다.
+49.0 과 +16.7 은 자릿수가 다른 이야기입니다. 둘 다 사실이지만, 어느 쪽이 이 논문의 기여인지는 후자입니다. 새 방법의 값어치는 아무것도 안 한 것 대비가 아니라 직전까지 최선이던 것 대비로 재야 하기 때문입니다.
그래도 이 논문이 보여준 것
표를 뜯었다고 논문이 시시해지는 건 아닙니다. 같은 표에 이 논문의 진짜 주장이 있습니다.
| Qwen3-8B | 성공률 |
|---|---|
| EvoHarness-Base (하네스만) | 56.4% |
| EvoHarness-SFT (모방학습까지) | 68.6% |
| EvoHarness-RL (강화학습까지) | 96.9% |
하네스 구조만 얹어서는 56.4% 입니다. SkillOS 80.2% 에도 한참 못 미칩니다. 68.6% 까지 올려도 아직입니다.
96.9% 를 만든 건 구조가 아니라 RL 로 훈련한 부분입니다. 그리고 큰 모델들은 EvoHarness-Base 만으로도 크게 올랐습니다 — GPT-4.1 47.9 → 70.0, GPT-5 60.7 → 85.0.
읽어보면 이런 그림입니다. 큰 모델은 좋은 하네스를 쥐여주면 알아서 쓴다. 작은 모델은 하네스를 쥐여주는 것만으로는 못 쓰고, 쓰는 법을 훈련시켜야 한다. 이건 헤드라인보다 훨씬 쓸모 있는 결론입니다.
하네스 시리즈에서 봤던 흐름과도 이어집니다. 지금까지는 하네스를 탐색으로 고쳤습니다(AutoDesign, DarwinX). 이 논문은 하네스 쓰는 법 자체를 모델 가중치에 넣습니다. 같은 문제의 다른 손잡이입니다.
이런 제목을 볼 때 확인할 것
이 글에서 한 일을 그대로 옮기면 체크리스트가 됩니다.
1. 진 쪽이 어떤 설정이었나. 큰 모델이 논문이 제안한 방법을 안 쓴 상태라면 비교가 아닙니다.
2. 이긴 쪽만 훈련했나. 한쪽만 그 환경에서 학습했다면 “따라잡았다”가 아니라 “맞춰 넣었다”입니다.
3. 벤치마크가 몇 개인가. 하나면 그 하나에 대한 이야기입니다.
4. 개선 폭의 기준선이 무엇인가. 아무것도 안 한 것 대비인지, 기존 최선 대비인지.
5. 격차가 얼마나 되나. 0.5포인트를 “따라잡았다”로 쓸 수 있고 “사실상 같다”로도 쓸 수 있습니다.
다섯 개 다 논문 표 한 장 안에 있습니다. 초록만 봐도 안 나오고, 기사만 봐도 안 나옵니다.
읽을 때 붙여야 할 단서
0.5포인트 차이의 통계적 의미는 확인하지 못했습니다. 평가는 seen 스플릿 140과제이고 6개 과제군 평균입니다. 시드를 몇 개 돌렸는지, 표준편차가 얼마인지는 제가 확인하지 못했습니다. 96.9 와 96.4 를 우열로 읽을 근거가 없다는 뜻입니다 — 어느 쪽으로든.
저자 소속은 표기 기준입니다. Meta AI 9인, UIUC 7인으로 나뉘는데, 이건 논문에 적힌 소속을 옮긴 것입니다. 이 연구가 메타의 공식 제품 방향인지는 별개입니다.
arXiv v1 입니다. 2026-08-05 등록본이고 동료 심사를 거치지 않았습니다.
기사가 틀린 게 아닙니다. 기사에 적힌 숫자는 전부 논문에 있습니다. 다만 표에서 고른 행이 다르고, 고르지 않은 행이 결론을 바꿉니다. 이건 요약이 늘 안고 있는 문제입니다 — 제 글도 예외가 아닙니다.
제가 본 것도 표 1과 본문 일부입니다. ablation 과 unseen 스플릿(표 3)까지 다 확인하지는 않았습니다.
정리
EvoHarness-RL 은 에이전트의 외부 상태를 Belief·Progress·Experience 셋으로, 그걸 다루는 행동을 track·commit·recall·note 넷으로 줄이고, 그 선택을 강화학습으로 훈련시킨 논문입니다.
“8B 가 Claude Opus 4.5 성능을 냈다”는 제목은 표에서 Opus 의 가장 약한 행을 골랐을 때 성립합니다. 같은 표에서 Opus 에 이 논문의 하네스를 얹으면 98.5% 로 다시 앞섭니다.
그리고 8B 만 그 환경에서 훈련했고, 벤치마크는 ALFWorld 하나이며, 기존 최강 대비 개선은 +49 가 아니라 +16.7 포인트입니다.
그런데 표를 끝까지 보면 더 나은 결론이 나옵니다. 하네스 구조만으로 8B 는 56.4% 에 그쳤고, 96.9% 는 쓰는 법을 훈련시켜서 나온 값입니다. 큰 모델은 좋은 하네스를 주면 알아서 쓰고, 작은 모델은 훈련시켜야 씁니다.
앞 글에서 칸 이름만 세면 안 보이고 칸 안을 읽어야 보인다고 썼습니다. 표도 같습니다. 헤드라인은 표에서 한 행을 고른 결과이고, 나머지 행은 대개 같은 페이지에 있습니다.
참고
- EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents — Ning 외 15인 (Meta AI · UIUC), arXiv 2608.05446v1, 2026-08-05 (2026-08-29 본문·표 1 원문 확인). BPE 상태, 네 가지 메타 액션, 표 1의 모든 수치, 훈련 규모(500 게임 · 87 궤적 · 1,153쌍 · GRPO 150 에포크), ALFWorld 설명의 출처입니다. 동료 심사 전 v1 입니다
- 메타, 8B 모델로 ‘클로드 오퍼스 4.5’ 성능 구현한 ‘에보하네스-RL’ 공개 — 박찬, AI타임스, 2026-08-29. 이 글이 출발점으로 삼은 기사입니다. 기사에 적힌 수치는 논문과 일치하며, 이 글이 다룬 것은 표에서 고른 행의 문제입니다
- 하네스 엔지니어링 · Continual Harness · AutoDesign과 DarwinX — 같은 문제를 다른 손잡이로 잡은 글들
- AI 엔지니어링 역량 지도 — 남이 만든 표를 그대로 받지 않고 열어보는 이야기
- 평가 주도 개발 — 벤치마크 숫자를 어디까지 믿을 것인가