주제별 글 / 모델 선택과 비용

모델 선택과 비용

벤치마크 순위 대신 1달러당 성능과 라우팅 설계로 모델을 고르는 기준.

11편, 최신순

모델 이름을 코드에 박지 마라 — 플래시가 3주 만에 교체됐다

모델 하드코딩이란 서비스 코드에 특정 LLM 이름을 직접 삽입하는 관행으로, zdnet이 보도한 Gemini 3.7 Flash의 3주 만에 교체 사례는 이 방식이 운영 리스크임을 실증한다. 라우팅 정책을 이름 목록이 아닌 선택 기준으로 설계하면 교체 비용을 크게 줄일 수 있다.

1달러당 성능: 모델 선택의 새 기준

1달러당 성능 점수란 AI 에이전트 라우팅 설계의 핵심 의사결정 기준이다. Anthropic의 Advisor 전략은 Claude Opus 4.7을 복잡한 판단에만 배치하고, Gemini 3.1 Pro는 GPT-5.4 대비 3분의 2 가격으로 동급 성능을 낸다.

모델 이름을 코드에 박지 마라

모델 라우팅이란 태스크 유형과 비용 목표에 따라 적합한 AI 모델을 자동 배정하는 운영 전략이다. Gemini 3.7 Flash가 출시 3주 만에 교체됐고, Anthropic의 Advisor 구조는 복잡한 판단과 일반 실행에 서로 다른 모델 계층을 배정해 비용을 통제한다.

모델 이름을 코드에 박지 마라

제미나이 3.7 플래시가 출시 3주 만에 교체됐습니다. 코드에 모델 이름을 하드코딩하면 매번 이 교체 주기를 직접 추적해야 합니다. 라우팅 정책은 모델 이름이 아니라 선택 기준으로 작성해야 하는 이유를 정리했습니다.

1달러당 성능이 새 모델 선택 기준이다

벤치마크 1위 모델이 최선이라는 가정은 프로덕션 에이전트에서 통하지 않는다. AI PM이 라우팅 설계 없이 단일 모델에 올인할 때 발생하는 비용과 리스크, 그리고 달러당 성능 기반의 3단계 라우팅 설계를 정리했다.

모델 라우팅의 두 통념이 같은 날 반박됐다

같은 날 swyx는 컴파운드 모델이 절반 비용에 같은 성능을 낸다고 했고, emollick은 비핵심 업무에도 큰 모델이 보완재라고 했다. 라우팅은 제일 싼 모델 고르기가 아니라 조합·effort·공급분산 설계다.

1달러당 성능이 모델 선택의 새 기준이다

벤치마크 순위로 모델을 고르던 시대가 끝나고 있습니다. 에이전트 시스템을 실제로 운영하면 모든 호출이 비용이 되고, 비용이 설계 변수가 됩니다. '1달러당 성능'과 라우팅 설계가 AI PM의 새 레버리지입니다.