4개 모델에게 똑같은 앱을 만들게 했다. 과제마다 승자가 달랐다.

실험 결과를 처음 봤을 때 놀라지 않은 사람이 많았을 것이다. 이미 감지하고 있던 사실이었기 때문이다. 코딩에서 이기는 모델이 장문 추론에서 지고, 추론이 강한 모델이 속도에서 밀린다. “단일 최고 모델”은 신화다.

그런데도 팀들은 여전히 “어떤 모델을 써야 하나요?”를 1번 질문으로 들고 온다. 그 질문 자체가 틀렸다.

예산이 모델보다 먼저다

최근 Anthropic이 방향 전환을 시사했다. “예산만 제시하면 AI가 모델 선택과 추론 전략을 스스로 조정한다”는 접근이다. 복잡한 판단이 필요한 작업에는 고가 모델을, 반복 실행 작업에는 경량 모델을 — 하지만 그 결정을 사람이 직접 내리지 않아도 된다.

이건 단순한 기능 추가가 아니다. 라우팅 패러다임이 바뀐다는 신호다.

“어떤 모델이 제일 똑똑한가”보다 “이 작업에 얼마를 쓸 것인가”가 더 먼저 정해져야 한다. 예산이 정해지면 모델 선택은 자동으로 따라온다. 이 순서가 뒤집히면 팀은 벤치마크 표를 비교하느라 반나절을 쓰고도 결론을 못 낸다.

Anthropic의 Advisor 전략도 이 철학의 연장선이다. 복잡한 판단은 Opus에, 일반 실행은 저비용 모델에 맡긴다. 명시적 라우팅 규칙이 아니라 비용 목표를 시스템에 주고, 시스템이 경로를 결정하게 한다. 이게 에이전트 오케스트레이션에서 다음 단계다.

모델 종속이 출시 리스크가 된다

Gemini 3.5 Pro가 출시 예정일을 넘겼을 때 여러 팀이 당혹스러웠다. 특정 모델의 출시 일정에 자기 제품 타임라인을 맞춰뒀던 팀들이었다. 출시 캘린더 자체가 라우팅 리스크가 된다는 걸 그 주에 실감했다.

LangChain의 Harrison Chase는 일찍부터 이 개념을 구분해왔다. “라우팅”과 “카운슬”은 다른 의사결정이다. 라우팅은 비용 최적화를 위해 단일 경로로 최적 모델을 보내는 것. 카운슬은 여러 모델을 동시에 돌려 결과를 합산해 성능을 극대화하는 것. 이 둘을 같은 문제로 뭉뚱그리면 설계가 복잡해지고 단가 통제가 어려워진다.

Kimi K3가 세계 3위 모델 성능으로 등장하고, 공급 선택지가 빠르게 늘어나고 있다는 것도 같은 흐름의 신호다. 그러나 단일 벤더에 기댄 팀은 선택지가 생겨도 쓸 수 없다. 라우팅 레이어가 없으면 새 모델이 나와도 마이그레이션 비용이 전환을 막는다.

지금 팀에 필요한 세 가지 질문

모델을 고르기 전에 이 세 질문에 먼저 답해야 한다.

“이 작업은 어떤 유형인가?” 고난도 추론 작업인지, 반복 실행인지, 실시간 응답이 필요한지를 먼저 분류해야 한다. 유형이 다르면 최적 모델도, 최적 예산도 달라진다. 이 분류 없이 모델을 고르면 성능이 아니라 습관으로 고르게 된다.

“작업당 단가 한도를 팀이 합의했는가?” 모델 성능 비교보다 이 논의가 선행돼야 한다. 단가 한도가 없으면 비싼 모델이 반복 작업에 투입되는 일이 생긴다. 메타가 사내 AI 비용 폭증으로 직원별 토큰 제한을 걸기 시작한 것도 이 논의가 없던 결과다. AI를 가장 강하게 밀던 회사가 가장 먼저 비용 통제로 선회했다.

“fallback 경로가 있는가?” 특정 모델이 응답 불능이거나 비용이 예산 한도를 초과할 때 다음 경로가 설계돼 있어야 한다. fallback은 비상용 백업이 아니라 운영의 기본 구조다. Anthropic의 예산 기반 라우팅이든, 직접 구현이든 이 경로가 없으면 장애 한 번에 시스템 전체가 멈춘다. 공급망 리스크가 어느 날 갑자기 접근 차단으로 이어진다는 걸 지난 1년이 여러 번 보여줬다.

라우팅이 곧 제품 경쟁력이다

4개 모델 빌드오프 실험이 알려준 건 벤치마크 순위가 의미 없다는 게 아니다. 순위보다 배치가 중요하다는 것이다.

단일 최고 모델은 없다. 있는 건 작업에 맞는 모델의 배치다. 예산을 기준으로 라우팅을 자동화하는 방향은 필연적이다 — Anthropic이 그 방향을 공식화하기 시작한 것이다.

모델 성능표를 비교하는 시간에, 지금 우리 에이전트가 어떤 작업에 어떤 경로로 요청을 보내는지 한 번 더 보는 게 낫다. 그게 단가를 가르고, 안정성을 가르고, 결국 제품의 생존을 가른다.

당신의 팀은 지금 어떤 기준으로 모델을 고르고 있는가?