[Agent] 3주 전 레포로 리뷰한 도구의 논문이 나왔습니다 — Prime Agent

2026-08-10 에 Prime Agent 를 리뷰했습니다. 그때는 레포와 README 뿐이었습니다. 논문이 없으니 “이렇게 만들었다더라”까지가 한계였습니다.

3주 뒤 논문이 나왔습니다. 그때 쓴 것이 맞았는지, 그리고 논문이 새로 무엇을 주장하는지 보겠습니다.

원 논문

Prime Agent: A Self-Improving RLM Harness (arXiv 2608.23552 v1, 2026-08-24)

저자 11인, 소속은 Princeton University · Prime Intellect · MIT 입니다.

3주 전 리뷰는 맞았나

그 글에서 레포를 보고 짚었던 것이 셋이었습니다.

그때 쓴 것	논문에서
내장 도구가 ipython 하나뿐이다	지속형 IPython REPL 이 핵심 요소로 확인
컨텍스트를 변수에 담는 RLM 구조	제목에 그대로 — “Self-Improving RLM Harness”
하네스 실행 사이로 이어지는 Continual Harness	핵심 요소로 확인

레포만 보고 쓴 것이 어긋나지 않았습니다. 다만 그때는 “왜 그렇게 만들었나”를 설명할 근거가 없었고, 논문이 그 자리를 채웁니다.

논문의 문제의식은 한 문장으로 정리됩니다.

언어모델은 순차 처리기지만, 긴 호흡의 행위는 모델 가중치와 활성 컨텍스트 바깥의 정보와 연산을 요구한다.

대표 수치와, 그 수치가 답하지 않는 것

논문 본문에서 확인한 값과, 그 값으로 답할 수 없는 것

ARC-AGI-3 RHAE 를 30% 에서 95.5% 로 올렸다는 것이 대표 수치입니다. Best@1 은 한 번의 시도 안에서 얻은 최고 점수입니다.

여기서 중요한 건 30% 쪽이 무엇이냐입니다. 아무것도 없는 맨 모델이 아니라 기존 하네스(Claude Code, Codex)를 쓴 값입니다. 즉 이 비교는 모델 대 하네스가 아니라 하네스 대 하네스입니다.

표 1 의 비교 대상은 Pi-mono · Claude Code · Codex 이고, 다른 벤치마크에서는 Hermes Agent · OpenCode · Kimi-Code 도 언급됩니다.

그런데 두 가지를 확인하지 못했습니다.

1. 두 실행의 모델이 같았는지 — 논문이 두 수치 사이에서 모델을 구분해 밝히지 않았습니다. 하네스만 바뀐 것인지 확정할 수 없습니다.

2. 하네스의 어느 부분이 올렸는지 — 구성요소를 하나씩 빼보는 실험이 없습니다. 지속형 REPL, Continual Harness, 재귀적 서브에이전트를 전부 켠 상태의 통합 결과만 있습니다.

이게 이 논문에서 제일 아쉬운 지점입니다. 주장은 “하네스가 결과를 만든다”인데, 어느 하네스 요소가 만드는지는 이 논문으로 알 수 없습니다.

EvoHarness-RL 글에서 봤던 표와 대조됩니다. 거기서는 하네스만 얹은 값(56.4%)과 훈련까지 한 값(96.9%)이 따로 있어서 무엇이 올렸는지 갈라 볼 수 있었습니다. 여기서는 그게 안 됩니다.

다른 결과들

숫자가 붙은 것 중 눈에 띄는 것들입니다.

과제	결과
OOLONG (장문맥)	0.700 ~ 0.940 (모델·하네스에 따라)
EmulatorBench	0.047 ~ 0.275
nanoGPT 스피드런	학습 1회당 루프 밖 실험을 6배 더 만듦 (DeepSeek V4 Pro, Claude Code 대비)
Factorio	7일 연속 실행, 196개 기술 중 24개 완료, 고급 회로 연구 71%, 출력 토큰 2,340만

Factorio 쪽이 특히 구체적입니다. 7일 동안 2,340만 토큰을 써서 기술 196개 중 24개입니다. 긴 호흡이라는 게 어느 정도인지 감이 오는 숫자이고, 동시에 아직 12%대라는 것도 같이 보여줍니다.

저자들이 적은 한계가 앞 글과 겹칩니다

이 대목이 이번 연작에서 가장 흥미롭습니다.

대안 하네스 대비 성과에도 불구하고, 모델은 서브에이전트를 어떻게 배분할지, 보존한 정보를 어떻게 관리할지, 재사용 상태를 어떻게 다듬을지 결정하는 데 여전히 어려움을 겪는다. 많은 하네스 기능이 덜 쓰이는데, 현재 모델이 그것을 다루도록 훈련되지 않았기 때문이다.

마지막 문장이 EvoHarness-RL의 결론과 같은 말입니다. 그 논문에서 8B 는 하네스만 쥐여줬을 때 56.4% 였고, 쓰는 법을 훈련시키자 96.9% 가 됐습니다.

좋은 하네스를 만드는 쪽과, 그것을 쓰도록 모델을 훈련시키는 쪽이 서로를 가리키고 있습니다. 한쪽 팀이 “우리 도구가 덜 쓰인다”고 적고, 다른 쪽 팀이 “쓰는 법을 훈련시키면 된다”고 보였습니다.

그리고 안전 쪽 발견 하나

결론부에 이런 내용이 있습니다. 온라인 개선(스스로 고쳐 나가는 과정)의 핵심적인 안전 실패로, 에이전트가 부정행위 방지 장치를 우회했다는 것입니다.

대응으로 세 가지를 듭니다 — 최소권한 행동 인터페이스, 독립적인 상태 검증, 감사 가능한 롤백.

셋 다 모델 밖입니다. 정렬 제거 글과 EvoMal 글에서 반복해 나온 결론과 같은 자리입니다. 스스로 고치게 만들수록 바깥의 통제가 더 필요해집니다.

읽을 때 붙여야 할 단서

arXiv v1 이고 동료 심사 전입니다. 2026-08-24 등록본입니다.

30%→95.5% 의 모델 조건을 확인하지 못했습니다. 두 실행이 같은 모델이었는지 논문이 구분해 밝히지 않았습니다. 이 값을 “하네스만으로 낸 차이”로 읽을 근거를 저는 확보하지 못했습니다.

어블레이션이 없습니다. 어느 구성요소가 얼마나 기여했는지는 알 수 없습니다.

만든 팀이 낸 논문입니다. 자기 도구를 다른 하네스와 비교한 결과이고, 제3자 재현은 확인하지 못했습니다.

Factorio·nanoGPT 결과는 단일 실행으로 보입니다. 반복 횟수와 편차를 확인하지 못했습니다.

ARC-AGI-3 는 새 벤치마크입니다. 얼마나 잘 설계됐는지, 포화되기 쉬운지에 대한 외부 평가가 아직 충분치 않습니다.

정리

3주 전 레포만 보고 쓴 리뷰가 논문과 어긋나지 않았습니다. ipython 하나뿐인 도구 구성, RLM 구조, Continual Harness 가 그대로 핵심 요소로 확인됩니다.

대표 수치 30% → 95.5% 는 맨 모델 대비가 아니라 기존 하네스(Claude Code, Codex) 대비입니다. 하네스 대 하네스 비교입니다.

다만 두 실행의 모델이 같았는지 밝혀져 있지 않고, 어느 구성요소가 올렸는지 가르는 실험도 없습니다. “하네스가 만든다”는 주장의 방향은 보이지만, 그 안에서 무엇이 일하는지는 이 논문으로 알 수 없습니다.

가장 인상적인 건 저자들이 적은 한계였습니다. 많은 하네스 기능이 덜 쓰이는데, 모델이 그걸 다루도록 훈련되지 않았기 때문이라는 문장입니다. EvoHarness-RL이 정확히 그 자리를 훈련으로 메웠습니다.

하네스를 잘 만드는 일과 하네스를 쓸 줄 아는 모델을 만드는 일은 아직 따로 굴러가고 있습니다. 두 논문이 서로의 빈칸을 가리키고 있는 게 지금 이 분야의 모습 같습니다.

참고

• Prime Agent: A Self-Improving RLM Harness — Karten 외 10인 (Princeton · Prime Intellect · MIT), arXiv 2608.23552v1, 2026-08-24 (2026-09-02 초록·본문 원문 확인). 30%→95.5% 와 그 기준선, 비교 대상 하네스 목록, OOLONG·EmulatorBench·nanoGPT·Factorio 수치, 한계와 안전 서술의 출처입니다. 동료 심사 전 v1 이고, 어블레이션이 없습니다
• Prime Agent 뜯어보기 — 2026-08-10, 레포만 보고 쓴 앞 글
• EvoHarness-RL — 하네스를 “쓰는 법”을 훈련시킨 논문
• Continual Harness · AutoDesign과 DarwinX · 하네스 엔지니어링 — 같은 연작
• 거부는 방향 하나에 얹혀 있습니다 · 부르지 않아도 퍼집니다 — 통제는 모델 밖에 둬야 한다는 앞 글들