Junhyun
포스트

[Agent] 합의는 늘고 아는 건 줄었습니다 — 멀티에이전트 토론의 착시

에이전트 여럿이 토론하면 쟁점의 핵심 사실이 사라지고 입장이 한쪽으로 쏠린다는 논문을 원문으로 확인합니다. 다수결이 결국 원 모델을 따라간다는 결과와 완화책을 정리합니다.

게시 업데이트
By Junhyun
14 분읽는 시간
[Agent] 합의는 늘고 아는 건 줄었습니다 — 멀티에이전트 토론의 착시

에이전트 하나보다 여럿이 낫다는 생각은 자연스럽습니다. 서로 검토하고, 빠진 걸 채우고, 합의에 이르니까요.

그 합의가 무엇을 잃고 얻어진 것인지를 잰 논문이 있습니다.

원 논문

The Deliberative Illusion: Diagnosing Factual Attrition and Stance Homogenization in Multi-Agent LLM Deliberation (arXiv 2606.03032 v1, 2026-06-02)

저자 7인, 소속은 시안교통대·싱가포르국립대·윈난대·A*STAR 입니다.

제목의 두 단어가 곧 발견입니다.

 무엇
사실 소모(factual attrition)쟁점을 해석하는 데 필요한 사실이 라운드마다 사라짐
입장 균질화(stance homogenization)서로 다른 견해가 하나로 수렴함

어떻게 쟀나

DelibTrace 라는 틀을 만들었습니다. 방법이 깔끔합니다.

  1. 쟁점을 원자 단위 사실로 쪼갠다
  2. 그중 쟁점 해석에 꼭 필요한 것을 표시한다
  3. 그 사실들을 에이전트들에게 나눠 준다
  4. 토론 라운드마다 어느 사실이 살아남는지 추적한다

핵심은 나눠 준다는 데 있습니다. 각자 조각만 들고 시작하니, 토론이 제 역할을 한다면 조각들이 합쳐져야 합니다.

규모는 에이전트 4명, 3라운드, 모델 계열 셋(GPT-4.1 · Gemini 3 · Qwen 3.5)입니다. 과제는 윤리 판단(Reddit AITA 기반 Scruples 710건)과 실제 뉴스(1,044건)입니다.

합쳐지지 않고 사라졌습니다

결과가 반대였습니다.

핵심 사실의 손실이 시스템 수준에서 21.7~72.4% 입니다. 초록이 말하는 “최대 72%”가 이 범위의 위쪽입니다.

에이전트 개인 수준에서는 60.5~84.8% 로 더 큽니다. 개인이 잃은 것을 시스템이 일부 붙잡긴 했지만, 그래도 절반 넘게 날아갔습니다.

논문의 한 문장이 이걸 요약합니다.

에이전트들은 더 많이 동의하면서 더 적게 알게 된다.

그리고 남은 증거만으로 쟁점을 재구성하면 오해를 부르는 방향이 될 수 있다고 적습니다. 사라진 것이 무작위가 아니라는 뜻입니다.

더 아픈 결과 — 결론은 원래 답과 같았습니다

이게 실무에 가장 직접적입니다.

토론 끝에 나온 다수 입장이, 같은 모델에게 그냥 한 번 물어본 답과 얼마나 같았는지를 쟀습니다.

모델과 토론 구조를 바꿔 가며 재도 일치율이 대체로 .65 ~ .76 이었습니다.

넷이 세 라운드를 토론했는데 결론은 혼자 답했을 때와 대체로 같습니다. 비용은 몇 배로 들고, 그 과정에서 사실은 절반 넘게 잃었습니다.

논문의 표현으로 최종 입장이 기반 모델의 사전 성향에 묶여 있습니다.

악성 에이전트 하나면

여기서부터는 안전 쪽입니다.

넷 중 하나에게만 반대 입장의 거짓 정보를 쥐여 주고, 나머지 셋은 정상적인 부분 증거를 갖게 했습니다.

img_file두 묶음은 서로 다른 실험입니다

  • 최종 시스템 출력의 58.9% 에 주입된 거짓 정보가 들어갔습니다
  • 정상 에이전트의 37.4% 가 그것을 자기 결론에 포함했습니다
  • 핵심 사실 보존율이 46.5% → 19.3% 로 떨어졌습니다
  • 입장 뒤집힘은 최대 82.4% 였습니다

넷 중 하나입니다. 다수결이 걸러 줄 것 같지만, 공유 맥락이 줄어드는 와중에는 거짓이 오히려 잘 퍼집니다. 남은 자리가 적을수록 그 자리를 차지한 것의 비중이 커지기 때문입니다.

EvoMal 글에서 본 것과 같은 결입니다. 거기서는 악성 스킬 하나가 흉내를 타고 번졌고, 여기서는 거짓 정보 하나가 토론을 타고 번집니다. 여럿이 모인 구조는 좋은 것도 나쁜 것도 똑같이 증폭합니다.

완화책 — 부분적입니다

논문이 두 가지를 시험했습니다.

페르소나 프롬프트(각자 다른 역할을 주기)는 사실 보존을 거의 못 바꿨습니다. 논문 표현으로 “프롬프트를 바꿔도 사실 보존은 조금 달라질 뿐”입니다.

모델 섞기는 효과가 있었습니다. 다른 계열 모델을 섞으면 3라운드 뒤 보존율이 0.598, 같은 계열끼리는 0.357 이었습니다.

다만 저자들이 선을 긋습니다. 섞어도 라운드가 갈수록 여전히 줄어듭니다. 증상을 늦출 뿐 원인을 없애지 못했다는 것입니다.

저자들이 남긴 숙제

한계 절이 좋습니다. 특히 첫 항목이 중요합니다.

앞으로는 의미 있는 압축과 해로운 소모를 구분해야 한다. 어느 정도의 압축은 어떤 심의 과정에서든 필요하다. (…) 핵심 과제는 압축이 충실한 해석에 필요한 조건을 보존하는 때와, 쟁점의 의미를 바꾸는 단서·의존관계·반대증거를 제거하는 때를 가려내는 것이다.

사실이 줄어든 것 자체가 문제는 아닙니다. 요약은 원래 줄이는 일입니다. 문제는 무엇이 줄었느냐입니다. 지금 이 논문은 “많이 사라진다”까지 보였고, “어떤 종류가 사라지면 결론이 뒤틀리는가”는 다음 과제로 남겨뒀습니다.

그리고 다음 방향으로 공유 증거 장부, 단서 추적, 사실 단위 메모리, 합의 전 검증 지점을 듭니다. 전부 토론 밖에 두는 장치입니다.

다른 논문들과 겹칩니다

이 결과가 혼자가 아닙니다.

SwarmWorld 글에서 명시적 문화(메시지·코드 상속)를 없앤 조건이 발명을 가장 많이 냈습니다(7.00 대 5.75). 대화를 줄인 쪽이 나았습니다.

EvoHarness-RL에서는 큰 모델이 하네스를 잘 쓰는 게 협력이 아니라 개별 역량 문제였습니다.

여기서는 대화가 사실을 지웁니다.

“에이전트를 여럿 두면 낫다” 는 통념이 세 갈래에서 각각 깎이고 있습니다. 여럿이 무의미하다는 게 아니라, 여럿이면 저절로 낫다는 가정이 근거가 약하다는 쪽입니다.

읽을 때 붙여야 할 단서

arXiv v1 이고 동료 심사 전입니다. 2026-06-02 등록본입니다.

통제된 정보 흐름 설정입니다. 저자들이 직접 밝힌 한계입니다. 에이전트가 새 증거를 검색할 수 없고, 쟁점 틀을 바꿀 수 없고, 사람이 끼지 않습니다. 실제 시스템은 대개 검색을 합니다. 검색이 가능하면 사라진 사실을 다시 가져올 수도 있습니다 — 그 경우는 이 논문이 답하지 않습니다.

4명·3라운드입니다. 다른 규모에서 같은 비율이 나온다는 근거는 없습니다.

과제가 윤리 판단과 뉴스 해석입니다. 정답이 하나로 떨어지는 과제(수학·코딩)에서 같은 현상이 나오는지는 이 논문이 다루지 않습니다. 오히려 그런 과제에서는 토론이 도움이 된다는 보고가 따로 있습니다.

“.65~.76 일치”는 완전히 같다는 뜻이 아닙니다. 네 번 중 한 번은 달랐다는 뜻이기도 합니다.

두 실험의 수치를 섞어 읽으면 안 됩니다. 도표의 위아래 묶음은 설정이 다릅니다.

정리

에이전트 넷에게 사실을 나눠 주고 세 라운드를 토론시켰습니다. 합쳐지기를 기대했지만 핵심 사실이 시스템 수준에서 21.7~72.4%, 개인 수준에서 60.5~84.8% 사라졌습니다.

그리고 그렇게 얻은 결론이 혼자 물어본 답과 .65~.76 수준으로 같았습니다. 비용을 더 들여 사실을 잃고 같은 답에 도착한 셈입니다.

넷 중 하나만 거짓을 들고 들어와도 최종 출력의 58.9% 가 오염되고 입장 뒤집힘이 최대 82.4% 였습니다.

모델을 섞는 것이 가장 나은 완화책이었지만(0.598 대 0.357) 라운드가 갈수록 여전히 줄었습니다.

저자들의 마지막 문장이 방향을 정확히 짚습니다 — 이런 장치들이 멀티에이전트 시스템을 “단지 합의에 이르는 것”에서 “그 합의를 믿을 만하게 만드는 사실적·인식적 조건을 유지하는 것”으로 옮길 수 있다고요.

합의는 결과지 근거가 아닙니다. 무엇을 알고 합의했는지를 따로 재지 않으면, 늘어난 건 확신뿐일 수 있습니다.

참고

Research
Agent multi-agent evaluation misinformation LLM
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.