오케스트레이터를 고를 때 가장 자연스러운 선택이 있다. 팀에서 가장 잘하는 에이전트를 조율 레이어 맨 위에 두는 것이다. 논리적으로 보인다. 최고 성과자가 팀을 이끌면 전체 품질이 올라가야 한다.

GeekNews에서 44점을 받은 조직심리학 연구가 이 판단의 결함을 예고했다. 최고의 개인 기여자가 팀의 최악의 관리자가 되는 이유는 명확하다. ’잘한다’는 기준이 두 역할에서 완전히 다르기 때문이다. 실행 탁월자는 다른 사람의 실행을 쉽게 위임하지 못한다. 자기가 하면 더 빠르고 정확하다는 걸 알기 때문에 조율 대신 직접 개입을 선택하고, 결국 자신이 팀의 병목이 된다.

멀티에이전트 시스템에서 이 패턴은 그대로 재현된다.

실행 능력과 조율 능력은 다른 자질이다

코딩 에이전트가 함수 단위 작업에서 사람을 압도하는 건 이제 측정된 사실이다. emollick의 146개 경제팀 재현 실험에서 Claude Code는 인간 중간값에 수렴하면서 극단 오류를 없앴다. 일관된 양질이 스케일된다는 증거다.

그런데 그 에이전트를 그대로 오케스트레이터 자리에 올리면 어떻게 되는가.

서브에이전트를 호출하기보다 직접 실행을 시도한다. 자기가 더 잘하는 걸 알기 때문이다. 역할 경계가 흐려지고, 전체 흐름이 단일 에이전트처럼 작동한다. 멀티에이전트 구조를 만들었는데 실제로는 에이전트 하나가 모든 걸 하고 있는 상태가 된다.

Karpathy는 이 지점을 이렇게 표현했다. “outsource thinking but not understanding.” 실행은 위임해도 된다. 이해는 위임하면 안 된다. 오케스트레이터가 갖춰야 할 건 직접 실행 능력이 아니라 서브에이전트의 출력이 맞는지 판단하는 검증 능력이다. 탁월한 실행자는 자기 실행에 대한 이해를 가졌지만, 다른 에이전트의 출력에서 모순과 한계를 잡아내는 메타 능력은 별개 문제다.

오케스트레이터는 무엇을 설계하는가

@hwchase17이 제안하는 멀티에이전트 패턴의 핵심은 역할 분리다. 오케스트레이터는 두 기능에만 집중한다. 작업을 분산하는 fanout과 결과를 검증하는 adversarial verification이다.

개별 에이전트에게 작업을 나눠주고, 병렬로 돌아온 결과를 교차 검증한다. 이 구조에서 오케스트레이터가 어느 도메인에서도 최고 실행자일 필요는 없다. 서브에이전트의 출력에서 서로 다른 지점, 빠진 근거, 판단의 약점을 잡아내는 설계 역량만 있으면 된다.

Grok 4.20이 이 원리를 제품으로 구현했다. 조정·팩트체크·논리·창의 4개 특화 에이전트를 병렬 검증 구조로 연결한 결과, 환각률이 65% 감소했다. 가장 잘하는 단일 에이전트 하나를 더 크게 만드는 것보다, 역할이 분리된 여러 에이전트를 조율하는 레이어가 전체 품질을 더 크게 높였다.

이 차이가 나오는 이유는 구조에 있다. 단일 에이전트는 자기 출력을 스스로 검증한다. 오케스트레이터가 있는 구조에서는 서브에이전트의 출력을 독립된 다른 에이전트가 검증한다. 검증자와 실행자가 분리되면 자기 편향이 사라진다.

PM이 설계해야 하는 경계선

멀티에이전트 시스템을 설계하는 PM이 결정해야 할 첫 번째 질문은 오케스트레이터의 자격이 아니다. 오케스트레이터가 직접 실행하지 않을 경계선이다.

실행과 검증을 같은 에이전트에 맡기면 품질 게이트가 사라진다. 오케스트레이터는 서브에이전트의 출력을 받아 판단하는 역할이어야 한다. 자기가 더 잘할 수 있어도 실행을 위임하는 구조를 설계로 강제해야 한다.

@swyx가 관찰한 것처럼, Cognition에서 에이전트 사용량을 두 배로 늘린 핵심 공식도 같은 방향을 가리켰다. agent composition과 proactive 설계, 두 가지다. 에이전트를 더 똑똑하게 만드는 게 아니라 역할을 더 잘게 분리하고, 먼저 행동하는 구조를 만드는 것이다.

멀티에이전트 설계에서 오케스트레이터는 가장 똑똑한 에이전트가 아니라 가장 잘 위임하는 에이전트다. 그 위임이 가능하려면 오케스트레이터 자신은 실행을 포기해야 한다. 실행을 포기한 에이전트에게 오케스트레이터 역할을 주는 것, 이것이 멀티에이전트 설계의 역설이다.

당신의 멀티에이전트 시스템에서 오케스트레이터는 지금 직접 실행하고 있습니까, 위임하고 있습니까?