2016년, 이선 몰릭(Ethan Mollick)이 참여한 한 연구가 경제학계에 불편한 진실을 제출했습니다.

146개 팀에게 동일한 데이터셋을 주고 동일한 분석 과제를 맡겼습니다. 결과는 처참했습니다. 팀마다 도출한 결론이 달랐고, 극단적으로 틀린 분석이 반드시 하나둘씩 나왔습니다. 인간 전문가 집단은 같은 데이터에서 다른 진실을 보고 있었습니다.

올해 몰릭은 그 실험을 다시 돌렸습니다. 이번에는 Claude Code와 Codex로.

결과는 달랐습니다. 두 모델 모두 인간 중간값에 근접했고, 결정적으로 극단값이 없었습니다. 형편없는 분석을 내놓은 팀이 없었습니다. 분포가 좁았습니다.

‘최고 모델’을 찾고 있다면, 질문이 잘못된 겁니다

한국 AI 도입 현장에서 PM들이 가장 자주 묻는 질문은 하나입니다.

“어떤 모델이 가장 잘합니까?”

벤치마크를 비교하고, 최신 모델 출시 뉴스를 추적하고, “GPT-4o vs Claude 3.7”을 두고 긴 슬랙 스레드를 이어갑니다. 이 질문이 자연스러운 이유가 있습니다. 인간 전문가를 고용할 때 우리는 ‘가장 뛰어난 사람’을 찾습니다. AI도 그 연장선에서 생각하는 겁니다.

그런데 몰릭의 재현 실험은 이 직관을 정면으로 반박합니다.

에이전트 AI가 주는 실제 가치는 ‘최고 성능’이 아닙니다. ‘편차 제거’입니다.

인간 전문가 팀은 실력 차이가 있습니다. 좋은 날과 나쁜 날이 있습니다. 컨디션, 해석 프레임, 경험의 편향. 146개 팀이 다른 결론을 낸 것은 능력의 문제가 아니었습니다. 변동성의 문제였습니다.

Claude Code는 146번 돌려도 같은 중간값 근방에 도달합니다. 극단적으로 틀리지 않습니다. 이것이 스케일 가능한 연구(scalable research)가 가능한 이유입니다.

편차가 크면 오케스트레이션이 무너집니다

이 차이가 운영 설계에 어떤 함의를 갖는지 생각해봅시다.

에이전트 오케스트레이션은 여러 에이전트가 연쇄로 작동합니다. 에이전트 A의 출력이 에이전트 B의 입력이 됩니다. B의 출력이 C로 넘어갑니다. 이 체인에서 하나의 에이전트가 극단적으로 나쁜 결과를 내면, 그 오류는 증폭됩니다.

인간 팀으로 같은 구조를 만든다면? 운이 나쁜 날 실력이 부진한 사람 하나가 체인 초반에 들어가면 전체 결과가 오염됩니다. 그래서 인간 조직은 검토 레이어, 승인 게이트, QA 단계를 별도로 쌓습니다.

에이전트 AI가 ‘좁은 편차’를 보장한다면 설계가 바뀝니다. 매 단계마다 전수 검토가 필요하지 않습니다. 통계적으로 안정적이라는 것을 알기 때문에, 샘플링 검증으로 충분해집니다. 오케스트레이션의 신뢰 기반이 달라집니다.

저는 100 Agents 설계를 진행하면서 이 문제를 직접 마주쳤습니다. 에이전트 체인에서 어디에 검증 루프를 삽입할지 결정할 때, 핵심 변수는 “이 에이전트가 얼마나 일관된 결과를 내는가”였습니다. 최고 성능 모델을 고르는 것이 아니라, 편차가 예측 가능한 모델을 고르는 것이 실제 설계 문제였습니다.

AI PM의 질문을 바꿔야 합니다

“어떤 모델이 가장 잘합니까?”는 잘못된 질문입니다.

올바른 질문은 이겁니다.

“이 모델의 출력 편차를 측정하고 있습니까?”

이 질문을 실천하는 방법이 있습니다.

첫째, 동일 프롬프트를 반복 실행해서 편차를 측정합니다. 평균 성능이 아니라 분산(variance)을 지표로 씁니다. 벤치마크는 평균을 보여주지만, 운영에서 중요한 것은 최솟값입니다. 가장 나쁜 출력이 허용 기준 안에 들어오는가.

둘째, 검증 루프를 성능 기반이 아닌 편차 기반으로 설계합니다. 에이전트가 “잘할 때”를 가정하는 게 아니라, “편차가 커질 때” 어떤 신호가 나오는지를 먼저 정의합니다. 이상 탐지가 핵심입니다.

셋째, ‘최고 모델’을 교체하려는 충동을 경계합니다. 새 모델이 출시될 때마다 벤치마크가 좋아도 편차 특성이 달라질 수 있습니다. 검증 없이 교체하면 오케스트레이션 전체 안정성이 흔들립니다. 모델 버전 고정과 점진적 교체 전략이 필요한 이유입니다.

‘일관된 양질’은 전략입니다

몰릭의 실험이 보여준 것은 기술적 사실이 아닙니다. 설계 원칙입니다.

에이전트 AI를 스케일하려는 조직이 추구해야 하는 것은 천재가 아니라 신뢰할 수 있는 중간값입니다. 극단적으로 뛰어난 순간보다 극단적으로 나쁜 순간이 없는 시스템. 좋은 날과 나쁜 날의 간격이 좁은 운영 체계.

이것이 PM이 “AI 성과”를 측정하는 방식을 바꿔야 하는 이유입니다. 최고 점수를 스크린샷 찍는 것이 아니라, 분포를 보고 하한선을 관리하는 것.

당신의 팀은 지금 AI 성과를 어떤 지표로 측정하고 있습니까? 평균 성능입니까, 편차입니까?

#AI_PM #에이전트설계