[LLM] 심판을 1년 굴리면 — Netflix가 LLM 채점자를 운영한 방식

평가 주도 개발 글은 이렇게 끝났습니다. LLM 에게 채점을 맡기는 건 통하지만 심판도 순서에 흔들리니 두 번 재라고요.

거기서 안 다룬 게 있습니다. 그 심판을 1년 동안 굴리면 어떻게 되나.

만들어 놓은 평가는 가만히 두면 낡습니다. 서비스가 바뀌고, 콘텐츠가 바뀌고, 사람들이 좋다고 여기는 기준도 바뀝니다. Netflix 가 그걸 실제로 겪고 정리한 논문이 나왔습니다.

원 논문

The Lifecycle of LLM-as-a-Judge for Large-Scale Recommendation Explanations (arXiv 2608.18300 v1, 2026-08-18)

저자 11인, 전원 Netflix(Los Gatos, California) 소속입니다. 한 명은 재직 중 수행이라고 표기돼 있습니다.

대상은 “이 작품을 왜 추천하는가”를 설명하는 문장입니다. 주별로 수십만 건이 만들어지고 수천만 명에게 나갑니다. 사람이 다 볼 수 없는 양이라 심판이 필요했습니다.

네 단계로 굴립니다

논문의 4단계를 각 단계의 산출물과 규모로 옮겼습니다

핵심은 평가를 한 번 만들고 끝내는 물건이 아니라 계속 도는 것으로 봤다는 점입니다.

걸린 것 1 — 고치는 게 모델이 아닙니다

훈련 단계(RART)에서 무엇이 바뀌는지가 이 논문에서 제일 실용적인 대목입니다.

바뀌는 것은 채점 기준표(루브릭)의 텍스트뿐입니다. 모델 가중치도, 그 주변 프롬프트 틀도 고정입니다.

“심판을 개선한다”고 하면 파인튜닝을 떠올리기 쉽습니다. 여기서는 기준을 글로 다시 쓰는 것이 개선입니다. 훨씬 싸고, 되돌리기 쉽고, 사람이 읽고 검토할 수 있습니다.

고치는 방법도 눈여겨볼 만합니다. 두 종류의 어긋남만 골라 집중합니다.

1. 라벨 자체가 틀린 것
2. 심판과 사람이 둘 다 “떨어뜨린다”고 했는데 이유가 서로 다른 것

두 번째가 이 논문의 초점입니다. 결론은 맞았지만 맞은 이유가 다르면 다음번엔 틀립니다. 우연히 맞은 것이니까요.

이걸 재려고 메타 심판을 하나 더 둡니다. 심판이 적은 거부 사유와 사람이 적은 거부 사유를 비교해 “같은 이유냐 아니냐”만 판정합니다. 그 결과로 모아진 사례를 반성용 LLM 이 읽고 루브릭 수정안을 제안합니다.

걸린 것 2 — “밀렸다”를 사람의 불일치로 잽니다

모니터링 단계가 가장 배울 게 많습니다.

매주 300건 정도를 뽑아 3명 이상이 다시 채점합니다. 그리고 심판이 밀렸는지를 이 기준으로 봅니다.

\[\text{하한} = \overline{M(H)} - 2 \cdot \mathrm{sd}(M(H))\]

여기서 $M(H)$ 는 사람 채점자들끼리의 일치도입니다. 즉 기준선이 “정답”이 아니라 사람들끼리도 안 맞는 정도입니다.

이게 왜 옳은 설계인지가 앞 글과 정확히 이어집니다. 평가 글에서 인용한 2023년 논문이 “심판이 사람과 80% 이상 일치했고 그건 사람들끼리의 일치 수준“이라고 했습니다. 사람끼리도 안 맞는데 심판에게 사람보다 잘하라고 요구하면 영원히 실패입니다.

그래서 사람들의 편차만큼을 허용 폭으로 내주고, 거기서 더 내려가면 밀린 것으로 봅니다. 표본이 어려운 주에는 사람들끼리도 더 갈리므로 폭이 자동으로 넓어집니다.

절대 점수로 문턱을 박지 않은 것이 요점입니다.

걸린 것 3 — 한 심판이 두 역할을 겸합니다

배포 단계에서 심판이 하는 일이 둘입니다.

역할	하는 일
품질 게이트	필수 기준에 걸리면 그 설명을 막는다
고쳐쓰기 비평	막은 이유를 생성기에 돌려줘 다시 쓰게 한다

재시도는 3회까지고, 그래도 통과 못 하면 그 설명은 아예 내보내지 않습니다. 실제로 75% 이상이 이 예산 안에서 통과합니다.

논문은 이걸 장점으로 적습니다.

잘 튜닝된 심판 하나가 여러 역할을 할 수 있다. 게이팅과 생성 비평에 같은 심판을 재사용하면 정렬 비용을 줄이고 프로덕션 동작을 일관되게 유지할 수 있다.

그런데 여기에 순환성이 있습니다. 채점하는 쪽과 고치라고 지시하는 쪽이 같은 모델이면, 생성기는 그 심판이 좋아하는 방향으로 수렴합니다. 통과율이 오르는 게 설명이 좋아져서인지 심판의 취향에 맞춰져서인지 구별되지 않습니다.

제가 확인한 범위에서 논문은 이 순환성을 정면으로 다루지 않습니다. 비용과 일관성이라는 이점만 적혀 있습니다.

다만 저자들이 인접한 문제 하나는 스스로 적어뒀습니다 — 주 심판과 메타 심판이 같은 기반 모델 계열이라 오류가 상관될 수 있다고요. 문제를 아는 팀이라는 뜻이라, 겸직 쪽도 의도적으로 감수한 것에 가까워 보입니다. 다만 그건 제 추측이고 논문에 적힌 말은 아닙니다.

효과는 얼마나 났나

5주간 수천만 명 대상 A/B 테스트입니다.

지표	결과
새로운 콘텐츠로의 이동	+0.2% (상대값, p<0.05)
재생까지 이어진 세션	+0.3% (상대값, p<0.05)
품질 문제로 내린 건	0건

0.3% 입니다. 작아 보이는 게 맞고, 논문도 부풀리지 않습니다. 수천만 명 규모에서는 의미 있는 값이지만, 이 숫자를 개인 프로젝트에 그대로 기대하면 안 됩니다.

비용도 적어뒀습니다. 재시도 3회 기준 주당 수천 달러입니다. 평가가 공짜가 아니라는 걸 숫자로 보여준 셈입니다.

저자들이 스스로 적은 한계 일곱 가지

이 논문의 가장 좋은 부분입니다. 그중 셋이 특히 중요합니다.

1. 98.6% 를 오해하지 말라고 못박습니다. 메타 심판이 사람과 98.6% 일치했다는 값이 나오는데, 저자들이 직접 이렇게 씁니다.

우리의 메타 심판 검증은 근거 일치 여부 분류에 대한 일치도를 잰 것이다. 이는 설명 전체를 판정하는 것보다 좁고 단순한 과제이므로, 주 심판이 사람 판단과 비슷한 수준으로 맞는다는 증거로 읽어서는 안 된다.

높은 숫자가 어디에 붙는 숫자인지 스스로 갈라놓은 겁니다.

2. 드리프트 대응은 아직 한 번도 안 돌았습니다. 모니터링은 실제로 돌고 있지만, 밀렸을 때 자동으로 재튜닝하는 경로는 프로덕션에서 발동한 적이 없습니다. 지금까지 매주 표본에서 심판이 허용 폭 안에 있었기 때문입니다. 오프라인 검증까지만 된 상태라고 적혀 있습니다.

3. 범위가 좁습니다. A/B 테스트는 모바일 한 화면, 유사도 기반 설명 한 종류입니다. 다른 설명 방식이나 다른 화면에서도 같은 크기의 효과가 나는지는 모른다고 밝힙니다.

나머지 넷도 같은 결입니다 — 필수 기준의 구체적 정의와 모델 세부는 기밀로 뺐고, RART 를 GEPA·TextGrad 같은 다른 텍스트 최적화 기법과 비교하지 않았으며, 측정한 지표 밖의 이용자 행동 변화는 특성화하지 않았다고 적었습니다.

그래서 가져갈 것

1. 평가는 만들고 끝나는 게 아닙니다. 낳고, 다듬고, 배포하고, 지켜봅니다. 지켜보는 단계가 빠지면 언제 낡았는지 알 수 없습니다.

2. 심판을 고친다는 건 대개 기준을 다시 쓰는 일입니다. 모델을 다시 학습시키는 일이 아닙니다. 훨씬 싸고 사람이 검토할 수 있습니다.

3. 문턱을 절대 점수로 박지 마십시오. 사람들끼리도 얼마나 갈리는지를 먼저 재고, 그 폭을 기준으로 삼는 편이 낫습니다.

4. 결론이 같아도 이유가 다르면 고칠 거리입니다. 우연히 맞은 것은 다음에 틀립니다.

5. 채점하는 쪽과 고치라고 시키는 쪽을 같은 모델로 두면, 좋아진 것과 맞춰진 것을 구별하기 어려워집니다. 감수하더라도 알고 감수해야 합니다.

읽을 때 붙여야 할 단서

arXiv v1 이고 동료 심사 전입니다. 2026-08-18 등록본입니다.

핵심 세부가 기밀로 빠져 있습니다. 필수 기준의 정의도, 생성기와 심판의 모델도 공개되지 않았습니다. 그대로 재현할 수 없는 논문입니다.

한 회사의 한 사례입니다. 추천 설명이라는 특정 과제이고, 이 팀의 규모와 예산이 전제입니다.

+0.3% 는 수천만 명 위에서 나온 값입니다. 규모가 다르면 이 크기를 기대할 근거가 없습니다.

순환성에 대한 제 서술은 논문의 주장이 아닙니다. 제가 확인한 범위에서 논문이 다루지 않았다는 것이고, 그것이 왜 문제가 되는지는 제 판단입니다.

정리

Netflix 는 추천 설명을 채점하는 LLM 심판을 탄생·훈련·배포·모니터링 네 단계로 굴렸습니다.

고치는 것은 채점 기준표의 텍스트뿐이고 모델과 프롬프트는 고정입니다. 어긋남 중에서도 결론은 같은데 이유가 다른 사례를 골라 고칩니다.

밀렸는지는 절대 점수가 아니라 사람 채점자들끼리의 불일치 폭으로 판단합니다. 사람끼리도 안 맞는데 심판에게 그 이상을 요구할 수는 없기 때문입니다.

효과는 5주 A/B 에서 재생 세션 +0.3%, 품질 문제 0건, 비용 주당 수천 달러였습니다.

그리고 저자들이 한계를 일곱 개 적어뒀습니다. 98.6% 를 주 심판의 정확도로 읽지 말라고 스스로 못박았고, 드리프트 대응 경로는 아직 한 번도 발동하지 않았다고 밝혔습니다.

평가를 잘 만든 팀의 문서가 자기 평가의 구멍을 가장 정확히 적어놓았다는 게, 이 논문에서 가장 배울 점 같습니다.

참고

• The Lifecycle of LLM-as-a-Judge for Large-Scale Recommendation Explanations — Kong 외 10인 (Netflix), arXiv 2608.18300v1, 2026-08-18 (2026-09-02 초록·본문 원문 확인). 4단계 구조, RART 의 동작과 메타 심판, 드리프트 판정식, 배포 시 두 역할과 재시도 3회, A/B 수치, 비용, 한계 일곱 항목의 출처입니다. 동료 심사 전 v1 이고, 기준 정의와 모델 세부는 기밀로 공개되지 않았습니다
• 평가 주도 개발 — 이 글의 앞 편. 심판이 순서에 흔들린다는 이야기
• AI 엔지니어링 역량 지도 — 이 글이 메우는 “프로덕션 운영” 칸을 세어둔 글