로민은 올해 자사 에이전트 서비스의 핵심 KPI를 바꿨다.

정답률에서 검수 절감률로.

셀렉트스타가 NH농협에 납품했을 때 계약서에 들어간 숫자도 정답률이 아니었다. 검수 시간이 60일에서 50분으로 줄었다는 실측값이었다. 제조 현장 42개 기업에 에이전트를 도입한 결과는 생산성 30.1% 향상, 불량률 15.5% 감소였다.

정답률은 세 사례 모두에서 계약서에 등장하지 않는다.

왜 정답률은 계약서에 들어가지 않는가

정답률은 기술 지표다. 모델이 주어진 입력에 얼마나 정확하게 응답하는지를 측정한다. 엔지니어에게는 직관적이고, 벤치마크를 비교하기도 쉽다.

그런데 예산을 결정하는 사람은 다른 질문을 한다. “이 에이전트를 도입하면 우리 팀의 무엇이 바뀝니까?” 실무 팀장이 CFO 앞에 예산 요청서를 올릴 때 쓸 수 있는 숫자가 필요하다.

SAS가 2026년 기업 AI 도입 현황 조사에서 내린 결론이 이것이었다. 기술 지표만으로는 AI 예산을 확보하지 못한다. 경영진은 업무 결과 단위의 수치를 요구한다. 도입률은 올라가는데 예산 승인이 막히는 팀의 공통점이 여기에 있다. 정답률 98% 슬라이드는 있는데, 도입 전후 업무 시간 비교가 없다.

로민이 KPI를 바꾼 이유도 같다. 검수 절감률은 예산 요청서에 그대로 들어간다. “기존에는 이 작업에 X시간이 걸렸는데, 도입 후 Y분으로 줄었습니다”라는 문장은 CFO가 읽을 수 있는 언어다.

지표가 달라지면 설계가 달라진다

KPI가 바뀌면 에이전트의 구조 자체가 달라진다.

정답률을 최적화하는 에이전트는 벤치마크 데이터셋 기준으로 설계된다. 모델 선택, 프롬프트 엔지니어링, 파인튜닝이 이 방향으로 집중된다. 벤치마크 성능이 개선되면 개발팀이 성공했다고 느낀다.

검수 절감률을 최적화하는 에이전트는 워크플로우 기준으로 설계된다. 검토자가 확인해야 하는 항목 수, 오류를 발견하는 데 걸리는 시간, 최종 승인까지의 단계 수가 측정 대상이 된다. 이 숫자들이 줄어들어야 개발팀이 성공했다고 말할 수 있다.

Circles는 에이전트 도입 후 고객 이탈률을 9% 낮추고 고객 1인당 평균 매출을 22% 높였다. 이 수치는 모델 정확도에서 나온 게 아니다. 어떤 고객에게, 언제, 어떤 대화를 시작하는가의 워크플로우 설계에서 나왔다. 에이전트가 해지 시도를 감지하는 시점과 대응 방식이 결과를 결정했다.

같은 모델을 써도 KPI 정의에 따라 설계 방향이 달라지고, 달라진 설계가 결과를 만든다.

PM이 먼저 정의해야 하는 세 가지

에이전트의 KPI는 기술 팀이 자동으로 도출하지 않는다. PM이 업무 단위로 먼저 정의해야 한다.

세 가지를 순서대로 묻는다.

첫째, 이 에이전트가 대체하는 인간의 작업은 무엇인가. 검수, 승인, 분류, 보고서 초안. 대체 작업이 명확해야 KPI 후보가 나온다. “전반적인 업무 효율 향상”은 KPI가 아니다. “월 300건 검수 작업에서 사람이 직접 확인하는 항목 수”가 KPI다.

둘째, 그 작업에 지금 얼마나 시간이 걸리는가. 이 숫자가 기준선이다. 기준선 없이는 절감률을 측정할 수 없다. 도입 전 측정을 생략하면 도입 후 효과를 증명할 방법이 없다.

셋째, 허용 오류율은 얼마인가. 정답률이 중요한 업무는 허용 오류율이 낮은 업무다. 의료 판독이나 법률 문서 검토는 정답률이 KPI가 될 수 있다. 하지만 1차 분류나 초안 생성처럼 사람이 결국 검토하는 업무라면, 속도와 처리량이 더 중요한 지표가 된다. 허용 오류율에 따라 요구하는 모델 등급이 달라지고, 비용 구조가 달라진다.

이 세 가지가 정해지면 벤치마크는 이 기준에 맞게 설계된다. 범용 벤치마크를 돌리고 거기서 KPI를 끌어내는 순서는 뒤집혀야 한다.

착지

로민이 KPI를 바꿨을 때, 에이전트 모델 자체는 바뀌지 않았다. 바뀐 것은 무엇을 측정하는가였다. 그리고 그 변화가 고객 설득 방식을 바꾸고, 납품 계약의 조건을 바꾸고, 개발팀의 우선순위를 바꿨다.

정답률 슬라이드를 만드는 데 시간을 쓰는 팀과 검수 절감률 기준선을 먼저 측정하는 팀이 만드는 에이전트는 구조부터 다르다.

당신 팀의 에이전트 KPI는 기술 지표입니까, 업무 지표입니까?