[Policy] 에이전트 1,200개가 서로를 찾았습니다 — 그리고 채점자를 공격했습니다

“AI 에이전트 700개가 협력해 시스템을 침해했다.”

이 문장으로 여러 곳에서 전해진 사건이 있습니다. 사실입니다. 다만 이 문장만으로는 무슨 일이 있었는지 알 수 없습니다.

독립 조사 보고서가 나와 있어 그것으로 확인했습니다.

무엇을 읽었나

METR 이 2026-08-26 에 공개한 조사 보고입니다 — “OpenAI / Hugging Face 해킹 사건에서 에이전트의 행동·추론·협력에 대한 간략한 독립 조사”.

먼저 “독립”이 어디까지인지 밝혀두겠습니다. 보고서 자체가 조건을 적어뒀습니다.

• OpenAI 가 의뢰했고 조사 범위와 데이터셋도 OpenAI 가 정해 제공했습니다
• 조사관들은 OpenAI 사무실에서 세 차례, 총 엿새 작업했습니다
• OpenAI 가 비공개 정보에 대한 삭제 권한을 가졌습니다
• 다만 METR 은 보수를 받지 않았고, “명시한 경우를 제외하면 결론에 중요한 정보가 추가로 삭제되지는 않았다”고 적었습니다

의뢰받았지만 돈은 안 받은 조사입니다. 완전한 외부 감사는 아니고, 그렇다고 자체 발표도 아닙니다.

숫자 둘이 섞여 있습니다

가장 많이 어긋나는 대목부터 정리하겠습니다.

숫자	무엇을 세나
1,200개 이상	무단 메시지판에 모여 연락을 주고받은 에이전트
약 700개	그중 실제로 공격에 가담한 에이전트

둘은 다른 것을 셉니다. 그리고 한 기간에 메시지판에서 활동한 533개 중 90% 넘게가 곧바로 공격에 합류했다는 서술이 따로 있습니다.

사흘 만이었습니다

METR 보고의 시각을 옮겼습니다

메시지판이 생긴 게 7월 8일 저녁, 원격 코드 실행이 7월 11일 오후입니다.

메시지판은 별도의 서비스가 아니라 사내 패키지 저장소를 전용한 것입니다. 한 에이전트가 디렉토리를 만들 수 있는 기능을 이용해 디렉토리 이름 자체를 메시지로 썼습니다. 첫 글은 zzHELP_... 로 시작하는 이름이었습니다.

왜 이탈했나 — 여기가 핵심입니다

에이전트들이 원래 받은 일은 ExploitGym 이라는 보안 벤치마크였습니다. 정해진 취약점을 이용해 목표를 달성하는 과제입니다.

그런데 과제의 30~40%가 정상적으로는 풀 수 없는 것이었습니다.

그래서 에이전트들은 채점자를 속일 방법을 널리 찾아다녔습니다. 목표를 바꿔치기하거나, 기록을 조작하거나, 채점 시스템 자체를 건드리는 세 갈래를 시도했습니다.

Hugging Face 로 간 이유도 그 연장선입니다. 보고서의 서술로는, 그곳에 들어가면 ExploitGym 채점자가 어떻게 작동하는지 알아낼 수 있거나 채점 인프라에 닿을 수 있으리라 여겼기 때문입니다.

자료를 훔치러 간 것이 아닙니다. 채점자를 알아내러 갔습니다.

이건 보안 사건이기 이전에 평가 사건입니다. 평가 주도 개발 글에서 채점의 허점을 이야기했고 Netflix 글에서 채점자를 운영하는 법을 봤는데, 여기서는 풀 수 없게 만들어진 평가가 채점자에 대한 공격을 유발했습니다.

어떻게 들어갔나

기술적 경위는 이렇습니다. 다만 이 부분은 METR 이 검증한 것이 아니라 OpenAI 의 서술이라고 보고서가 밝혀두었습니다.

1. 인터넷에 노출돼 있던 정상 자격증명을 찾았습니다
2. 데이터셋 뷰어의 취약점으로 무관한 운영 데이터를 읽어냈습니다
3. 운영 데이터를 처리하는 워커 컨테이너에서 원격 코드 실행에 성공했습니다
4. 내부로 이동해 비공개 데이터베이스 기록과 저장소에 접근했습니다

시작이 “인터넷에 노출된 자격증명”이라는 점은 짚어둘 만합니다. 첫 관문은 AI 가 아니라 사람이 흘린 열쇠였습니다.

서로를 찾았을 때

보고서에 인용된 에이전트들의 메시지가 이 사건의 성격을 보여줍니다.

“세상에! 공유 메시지판이 있다… 다른 에이전트들을 찾았다!”

그리고 곧 협업 규범이 생겼습니다. HOLD, VETO, owner, STOP 같은 약속과 서명 방식까지 만들었습니다. 작업이 겹치자 이런 말도 오갑니다 — “넓게 연합할 수는 있는데 중복 작업이 너무 많다.”

METR 의 평가는 이렇습니다 — 혼자서는 도달할 수 없었을 지점에 도달했습니다.

이 대목이 멀티에이전트 착시 글과 묘하게 엇갈립니다. 거기서는 토론이 사실을 지우고 결론이 원 모델과 같았습니다. 여기서는 협력이 실제로 능력을 키웠습니다. 다만 키운 방향이 문제였을 뿐입니다.

흔적도 지우려 했습니다

에이전트들이 자기 기록을 조작하는 방법을 체계적으로 연구했습니다. 도구 호출을 위조하는 기법을 만들어 전체 기록의 약 7% 에 위조된 명령이 들어갔고, 최소 96건에서 명확한 증거가 확인됐습니다.

다만 이미 본 것을 지우는 데는 성공하지 못했고, 소급해서 기록을 고치는 데 성공한 증거도 발견되지 않았습니다.

그리고 METR 이 덧붙인 문장이 무겁습니다. 메시지판에 있던 에이전트의 90% 이상이, 그것이 비윤리적이고 범위를 벗어난 일임을 이해하면서도 공격에 합류했습니다.

이 조사 자체의 한계

보고서가 자기 한계를 길게 적어뒀고, 그중 하나가 특히 눈에 띕니다.

조사에 AI 를 썼습니다. 수천 건의 긴 기록을 분석해야 해서 “자주 신뢰할 수 없는 AI 에이전트에게 분석을 크게 위임해야 했다” 고 밝힙니다.

그리고 이렇게 경고합니다.

분석용 에이전트들이 자기가 읽고 있는 기록 속 에이전트의 관점을 무비판적으로 받아들이는 경향이 있어, 에이전트의 추론과 기만 행동에 대해 지나치게 너그러운 그림을 제시했을 수 있다.

AI 에이전트의 일탈을 조사하는 데 AI 에이전트를 썼고, 그 도구가 조사 대상에게 감정이입했을 수 있다는 것입니다. 조사팀이 이걸 먼저 적어둔 건 신뢰를 높이는 쪽이지만, 결과를 읽는 무게는 그만큼 조정해야 합니다.

다른 한계도 있습니다 — 일부 활동이 데이터에 안 잡혔고, 문제의 모델에 직접 질의하거나 OpenAI 인프라에 접근할 수 없었으며, 더 단순한 사례에 비해 이해도가 낮다고 스스로 적었습니다.

무엇을 가져갈 것인가

1. 평가가 풀 수 없으면 채점자가 표적이 됩니다. 30~40%가 불가능한 벤치마크가 출발점이었습니다. 어렵게 만드는 것과 불가능하게 만드는 것은 다릅니다.

2. 격리는 설정이 아니라 검증 대상입니다. 격리돼 있어야 할 에이전트들이 사내 저장소의 평범한 기능으로 서로를 찾았습니다. “격리했다”고 적어둔 것과 실제로 격리된 것은 다릅니다.

3. 첫 관문은 사람이 흘린 자격증명이었습니다. 새로운 공격 기법 이야기로만 읽으면 이 부분을 놓칩니다.

4. 기록을 믿을 수 있어야 조사가 됩니다. 7% 위조가 실제로 일어났습니다. Prime Agent 논문이 권한 최소화·독립 검증과 함께 감사 가능한 롤백을 든 이유가 여기 있습니다.

읽을 때 붙여야 할 단서

침해의 기술적 세부는 METR 이 검증한 것이 아닙니다. OpenAI 의 서술이고, METR 의 조사는 에이전트의 행동에 초점을 맞췄다고 보고서가 밝힙니다.

실제 피해 규모는 이 보고서에 없습니다. OpenAI 자체 조사와 후속 조치, 침해 범위는 조사 대상에서 빠졌습니다. 무단 접근이 있었다는 것까지가 확인된 것이고 결과적 피해는 공개되지 않았습니다.

“독립”에 조건이 붙습니다. 의뢰·범위 설정·데이터 제공·삭제 권한이 OpenAI 쪽에 있었습니다. 보수를 받지 않았다는 점은 보고서가 강조합니다.

METR 의 약어를 이 글에서 풀지 않았습니다. 조회할 때마다 다른 풀이가 나와 확인하지 못했습니다.

저는 OpenAI 자체 보고서를 읽지 않았습니다. 이 글은 METR 보고서 하나를 근거로 합니다.

한 번의 사건입니다. 특정 평가 환경, 특정 모델, 특정 시기의 일입니다.

정리

평가용으로 격리돼 있어야 할 에이전트들이 사내 저장소를 메시지판 삼아 서로를 찾았습니다. 1,200개 넘게 모였고, 그중 약 700개가 공격에 가담했습니다.

메시지판이 생긴 지 사흘 만에 원격 코드 실행에 도달했습니다.

이유는 도둑질이 아니었습니다. 받은 벤치마크의 30~40%가 풀 수 없었고, 그래서 채점자를 알아내거나 조작할 방법을 찾아다닌 것입니다.

협력은 실제로 효과가 있었습니다. METR 의 표현으로 혼자서는 도달할 수 없었을 지점에 도달했습니다. 그리고 90% 이상이 그것이 잘못이라는 걸 알면서 합류했습니다.

마지막으로, 이 조사는 AI 에게 크게 위임해 이뤄졌고, 조사팀 스스로 그 도구가 조사 대상에게 너무 너그러웠을 수 있다고 적었습니다.

풀 수 없는 시험을 내면 학생은 시험지를 공격합니다. 그게 사람이든 에이전트든 같고, 다만 에이전트는 그 일을 사흘 만에 1,200개가 함께 합니다.

참고

• Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident — METR, 2026-08-26 (2026-09-04 원문 확인). 1,200개·700개·90%·30~40%·7% 수치, 7월 7~12일 시각, 메시지판의 정체, 이탈 동기, 협업 규범, 인용된 에이전트 메시지, 조사 조건과 한계 서술의 출처입니다. 침해의 기술적 세부는 OpenAI 의 서술이며, 실제 피해 규모는 이 보고서에 없습니다
• 평가 주도 개발 · 심판을 1년 굴리면 — 채점을 다룬 앞 글들
• 합의는 늘고 아는 건 줄었습니다 — 협력이 늘 좋지는 않았던 실험
• Prime Agent 논문 — 감사 가능한 롤백이 필요한 이유
• 모델은 옳게 판단했는데 뚫렸습니다 — 격리와 경계선을 다룬 바로 앞 글