“벤치마크 1위 모델을 사면 된다.” 작년까지는 이 말이 틀리지 않았습니다.

2026년 7월, 상황이 달라졌습니다. Kimi K3가 프런티어 모델의 60~70% 가격으로 동급 성능을 들고 들어왔습니다. 같은 달 Geek News에서는 “500달러 9B 파인튜닝 모델이 카탈로그 검수 태스크에서 GPT-5급 프런티어를 능가했다”는 실험 결과가 주목받았습니다. 지멘스와 도어대시는 이미 일부 워크로드를 중국 오픈웨이트 모델로 이전했습니다. 이념이 아니라 원가 때문에.

모델 선택의 기준이 “벤치마크 1위”에서 “1달러당 성능”으로 이동하고 있습니다.

왜 지금인가 — 에이전트가 방정식을 바꿨다

채팅 시대에는 벤치마크가 합리적인 선택 기준이었습니다. 한 번 묻고 한 번 답하는 구조에서는 응답 품질이 거의 전부였으니까요.

에이전트는 다릅니다. 하나의 작업을 처리하면서 수십 번의 도구 호출, 수십만 토큰의 컨텍스트 유지, 서브에이전트 위임이 반복됩니다. 비용이 선형으로 쌓이는 게 아니라 기하급수적으로 증가합니다. 100개 에이전트를 하루 종일 운영하는 환경에서 “1달러당 성능”은 기업의 생존 변수가 됩니다.

Google이 이 방정식을 먼저 간파했습니다. Gemini 3.1 Pro는 13개 주요 벤치마크에서 1위를 기록하면서 입력 토큰 단가를 $2/M — GPT-5.4의 3분의 2 수준 — 으로 책정했습니다. 같은 품질을 더 싸게 제공하겠다는 선언이었습니다. Google의 TurboQuant 기술은 KV-Cache 압축으로 추론 메모리를 6배 절감해 “같은 품질에 비용 1/6”을 실증했고, Anthropic도 Claude Code 사용 한도를 2배로 올리면서 비용 구조 최적화를 제품 전략의 중심에 놓았습니다.

중국발 가격 압력도 현실입니다. Kimi K3는 상반기에 이미 프런티어 수준의 성능을 대폭 낮은 단가에 제시했고, Qwen 계열 모델은 반복 업데이트로 오픈웨이트 라우팅 옵션을 계속 넓히고 있습니다. 이것은 일시적 덤핑이 아니라 구조적 가격 재설정입니다.

왜 지금까지는 몰랐나 — 도입 1라운드와 2라운드의 차이

작년까지 기업들의 핵심 질문은 “기술적으로 가능한가”였습니다. 이 질문 앞에서 벤치마크 1위 모델을 선택하는 건 합리적이었습니다. 리스크를 최소화하는 방법이었으니까요.

지금은 2라운드입니다. 기술적 가능성은 증명됐고, 상위 프런티어 모델들의 주요 벤치마크 점수 차이는 5% 내외로 좁혀졌습니다. 그 5% 차이에 2배 비용을 지불하는 게 합리적인지 다시 물어야 합니다.

더 결정적인 변화는 태스크의 세분화입니다. 에이전트는 단일 모델이 아니라 모델의 조합입니다. 복잡한 추론과 판단이 필요한 태스크와, 반복적인 형식 변환·요약·라우팅 판단은 전혀 다른 모델을 씁니다.

500달러짜리 9B 파인튜닝 모델이 카탈로그 검수에서 프런티어를 이긴 것은 우연이 아닙니다. 태스크 범위가 좁고 패턴이 명확할수록, 도메인 특화 소형 모델이 범용 거대 모델을 이깁니다. 이 사실은 에이전트 설계자에게 중요한 함의를 줍니다. 모든 태스크에 최고 성능 모델을 쓰는 건 과설계(over-engineering)입니다.

실전 라우팅 설계 3원칙

Anthropic은 이미 이 원리를 제품 전략으로 명시화했습니다. “Advisor 전략”이라 불리는 접근법은 복잡한 판단은 Opus급 고가 모델에, 반복 실행은 저비용 모델에 할당합니다. 동일한 에이전트 워크플로우 안에서도 단계에 따라 모델을 달리 씁니다.

SambaNova는 이를 인프라 수준까지 내렸습니다. 프리필(prefill) 단계는 B200에, 디코드(decode) 단계는 SN40에 분리해 처리하면서 2배의 속도 이점을 얻었습니다. “어느 모델이 좋은가”가 아니라 “어떤 단계에 어떤 인프라를 쓰는가”로 라우팅 질문이 이동한 겁니다.

이를 바탕으로 실전 에이전트 라우팅을 위한 세 가지 원칙을 정리할 수 있습니다.

첫째, 모델을 선택하기 전에 태스크를 먼저 분류한다.

판단 복잡도(높음/낮음), 반복 빈도(일회성/반복), 정확도 임계(높음/낮음), 지연 허용도(실시간/비동기) — 이 4개 축에서 태스크를 매핑하면 적합 모델 티어가 자연스럽게 결정됩니다. 태스크 프로파일링 없이 모델을 선택하는 건 무기를 먼저 고르고 전술을 나중에 짜는 것과 같습니다.

둘째, 비용은 콜 단가가 아닌 작업 완료 단가로 계산한다.

“입력 $2/M”이라는 숫자는 토큰 소비량이 예측 가능할 때만 의미가 있습니다. 에이전트는 재시도, 컨텍스트 누적, 오류 복구 과정에서 예상보다 훨씬 많은 토큰을 소비합니다. 진짜 단위 비용은 “작업 1건 완료당 얼마”로 측정해야 합니다. 이 수치를 모르는 상태에서 모델을 선택하면 라우팅이 아니라 도박입니다.

셋째, 벤더 다변화를 기술 선택이 아닌 리스크 헤지로 접근한다.

지멘스와 도어대시가 오픈웨이트로 일부 이전한 건 성능 우위 때문이 아닙니다. 단일 벤더 의존은 가격 협상력을 잃고, 서비스 중단 위험을 안고, 규제 환경 변화에 무방비 상태가 됩니다. 실제로 2026년 상반기, 미국 정부의 수출 통제 결정으로 일부 프런티어 모델의 접근 권한이 하루아침에 변경된 사례가 있었습니다. 오픈웨이트와 프런티어 혼합 운영은 비용 최적화이자 공급망 전략입니다.

이 변화가 PM에게 의미하는 것

모델 선택이 기술팀의 단독 의사결정에서 제품 전략의 일부로 올라오고 있습니다. 단가 구조를 이해하지 못하면 어떤 태스크를 자동화하는 게 의미 있는지, 어디서 비용이 폭발하는지 진단할 수 없습니다.

에이전트 PM의 역할이 “어떤 모델을 쓸까”를 결정하는 것이 아니라, “어떤 태스크에 어떤 모델 티어를 배치해 단위 경제를 맞출까”를 설계하는 것으로 이동하고 있습니다.

지금 당신 팀의 에이전트는 어떤 기준으로 모델을 선택하고 있나요? 벤치마크 1위 모델을 그대로 쓰고 있다면, 한 번은 물어봐야 할 질문이 있습니다.

이 태스크에 프런티어 모델이 필요한가, 아니면 500달러 파인튜닝으로도 충분한가.