오늘 서로 다른 세 곳에서 같은 신호를 봤습니다.

원티드랩 PO, LangChain CEO, 그리고 아마존 내부 엔지니어링 팀. 세 곳이 2026년 5월에 같은 결론을 가리키고 있었습니다.

AI 시대 PM의 핵심 역할은 정답을 쓰는 게 아니라 시험지를 설계하는 것이다.

세 신호가 수렴하는 지점

원티드랩의 장수지 PO는 AI타임스 인터뷰에서 이렇게 말했습니다.

“AI 시대의 PO/PM은 정답을 제시하는 게 아니라 어떤 문제를 풀지, 무엇을 성공으로 볼지를 정의해야 합니다.”

같은 주, LangChain CEO hwchase17이 X(구 트위터)에서 선언했습니다.

“2026 is the year of evals.”

자율성보다 평가가 먼저라는 뜻입니다. 에이전트를 잘 만드는 것보다 에이전트를 올바르게 평가하는 것이 2026년 PM의 핵심 역량이라고.

세 번째는 아마존에서 왔습니다. 사내 AI 코딩 도구를 도입했지만, 외부 데모에서 화려하게 작동하는 그 도구가 실제 내부 직원의 업무 통과율에서 기준에 미달한다고 스스로 인정했습니다. 기술이 문제가 아니었습니다. 무엇을 어떻게 평가할지 설계가 없었던 것이 문제였습니다.

세 사례는 서로 다른 맥락에서 나왔지만 같은 구조적 현실을 드러냅니다. AI가 실행을 담당하게 된 순간, PM에게 남은 가장 중요한 일은 그 실행이 옳은지 판단하는 기준을 만드는 것이 됐습니다.

왜 지금 이 변화가 일어나는가

Karpathy는 Sequoia Ascent 2026 키노트에서 이렇게 말했습니다.

“Vibe coding raises the floor. Agentic engineering raises the ceiling.”

바이브 코딩이 기준선을 끌어올렸다면, 에이전틱 엔지니어링은 상한선을 높인다는 뜻입니다. 이 두 문장 사이에 PM의 역할 변화가 압축되어 있습니다.

코딩 속도가 10배 빨라지면 무엇이 병목이 됩니까. Andrew Ng은 정확히 짚었습니다. “AI가 코딩 속도를 높일수록 무엇을 만들지 결정하는 역할이 진짜 병목이다.” 코드를 만드는 속도가 올라갈수록, 방향을 결정하고 결과를 판단하는 레이어가 전체 프로세스의 새 병목이 됩니다.

이것은 추상적인 주장이 아닙니다. 데이터로 확인됩니다.

두 개의 CLAUDE.md 연구 논문이 같은 시기에 서로 반대되는 결론을 냈습니다. 하나는 작업 시간이 28% 단축됐다고 보고했고, 다른 하나는 비용이 20% 증가하고 정확도가 떨어졌다고 보고했습니다. 같은 도구, 같은 방법, 전혀 다른 결과. 이 모순이 PM에게 말하는 것은 단순합니다. “AI 도구가 좋다/나쁘다”는 범주가 더 이상 의미 없다. 어떤 작업에, 어떤 기준으로 평가하느냐가 전부다.

arXiv 논문 “Why Global LLM Leaderboards Are Misleading”도 같은 결론을 학술적으로 뒷받침합니다. 단일 글로벌 랭킹은 실제 업무 성과를 예측하지 못합니다. 언어, 과제 유형, 도메인에 따라 모델 성능은 완전히 달라집니다. SAS의 조사도 동일한 현실을 말합니다. “기술 지표만으로는 AI 예산을 확보할 수 없다. 시간·비용 절감이라는 비즈니스 성과로 말해야 한다.”

정확도, 벤치마크 점수, 토큰 단가—이것들은 PM이 만들어야 할 평가 기준이 아닙니다. 이것은 공급업체가 내미는 숫자입니다. PM이 설계해야 할 것은 우리 팀의 실제 업무에서 이 도구가 얼마나 통과하는가입니다.

삼성SDS의 에이전트 실제 도입률이 5%에 머문 이유도 여기 있습니다. 기술은 있었습니다. 평가 기준과 실행 설계가 없었습니다.

PM이 평가 설계자로 전환하는 3가지 실천

1. 에이전트 evals 체계를 팀 표준으로 만든다

Salesforce는 에이전트 성과 측정에 P0/P1/P2 분류 체계와 11개 휴리스틱을 사용합니다. 이 중 하나가 LLM-as-judge 평가 루프입니다. 에이전트가 산출한 결과를 다른 LLM이 자동으로 채점하는 방식입니다.

그런데 함정이 있습니다. Salesforce 내부 데이터에 따르면 92% 정확도로 평가된 작업 중 상당수가 사용자 가치 기준으로는 실패였습니다. 92점이 진짜 성공처럼 보이지만 실제로는 아닌 경우가 있다는 뜻입니다.

PM이 이 함정을 피하는 방법은 하나입니다. P0 작업(핵심 업무 흐름)에 대해서는 LLM 자동 평가만으로 통과시키지 않고, 사람이 직접 검토하는 게이트를 유지하는 것. 자동화와 인간 검증의 경계를 PM이 명시적으로 정의해야 합니다.

# 평가 게이트 설계 예시
P0 (결제·인증·데이터 삭제): 에이전트 95점 + 사람 리뷰 필수
P1 (콘텐츠 생성·분석): 에이전트 90점 자동 통과
P2 (내부 보조 작업): 에이전트 85점 자동 통과

이 기준이 없으면 에이전트가 자율적으로 처리한 작업이 조용히 프로덕션에서 문제를 만듭니다. 실제로 AI 결제 시스템 18개를 테스트한 연구에서 10개가 사용자 확인 단계를 건너뛰었습니다.

2. 범용 벤치마크가 아닌 팀별 스코어카드를 만든다

“GPT-5.5가 벤치마크에서 1위다”, “Claude가 코딩 에이전트 평가에서 앞섰다”—이 정보는 당신 팀의 모델 선택 기준이 되어서는 안 됩니다.

PM이 만들어야 할 것은 우리 팀이 실제로 하는 작업 5가지에서 각 모델이 몇 점을 받는가입니다. 고객 문의 분류, 내부 보고서 요약, 코드 리뷰, 법무 검토 초안, 데이터 정합성 확인—이 5가지가 팀의 P0 작업이라면, 이 5가지에서 측정한 숫자가 모델 선택 기준이 됩니다.

이것이 장수지 PO가 말하는 “시험지를 설계한다”의 실체입니다. 공급업체가 주는 시험지(벤치마크)가 아니라, 우리 팀의 실제 업무로 만든 시험지.

이 과정에서 PM이 쓸 수 있는 실용적인 툴킷이 있습니다:

# AGENTS.md에 팀별 evals 기준 명시
## P0 작업 평가 기준
- 작업명: 고객 문의 분류
- 기준: 카테고리 정확도 95% 이상
- 측정 방법: 100건 샘플 주 1회 사람 검토
- 자동 통과 조건: 없음 (P0이므로 매번 사람 확인)

3. 에이전트 자율성의 경계를 먼저 설정한다

GeekNews에서 압도적 1위를 차지한 글이 있습니다. “최고의 직원이 최악의 관리자가 되는 이유.” 44포인트를 받은 이 글의 핵심은 단순합니다. 개별 기량이 뛰어나다고 해서 그 사람이 팀을 잘 이끄는 것은 아니다.

에이전트 운영에 그대로 적용됩니다. 코드를 잘 짜는 에이전트가 좋은 오케스트레이터는 아닙니다. 에이전트가 잘 실행하면 할수록, PM이 설정해야 하는 경계가 더 중요해집니다.

Karpathy의 표현으로는 이렇습니다. “You can outsource your thinking, but you cannot outsource your understanding.” 판단은 위임할 수 있지만, 이해는 위임할 수 없습니다. PM이 에이전트에게 맡길 수 있는 것과 맡겨서는 안 되는 것을 구분하는 기준이 바로 이 이해의 영역입니다.

실제로 “Agentic Coding은 함정이다”라는 GeekNews 10포인트 글이 있습니다. 에이전트가 요구사항 생성·계획·구현을 모두 스스로 처리하도록 두면, 검증 단계 없이 오류가 쌓입니다. PM이 사전에 **“에이전트가 스스로 결정할 수 있는 범위”와 “반드시 사람이 개입해야 하는 지점”**을 명시하지 않으면, 자율성은 생산성이 아니라 기술 부채가 됩니다.

PM의 역할이 진짜로 바뀐 것이 무엇인가

정리하면 이렇습니다.

기존 PM의 핵심 산출물은 기능 명세(Spec)였습니다. 무엇을 만들지 정의하는 사람.

AI 시대 PM의 핵심 산출물은 평가 기준(Eval)입니다. 무엇이 잘 된 것인지 판단하는 기준을 만드는 사람.

이 전환이 쉽지 않은 이유가 있습니다. Spec은 눈에 보이는 산출물입니다. 기획서, 와이어프레임, PRD. 평가 기준은 눈에 잘 안 보입니다. 어떤 작업을 어떤 기준으로 얼마나 자주 검토하는가—이것은 문서 한 장이 아니라 팀의 운영 방식 전체에 녹아 있어야 합니다.

그렇기 때문에 더 중요합니다.

에이전트가 실행을 담당하는 세상에서 기술 지표는 공급자가 줍니다. 판단 기준은 PM이 만들어야 합니다. 그 판단 기준이 없으면, 아마존처럼 데모는 훌륭하고 내부 통과율은 기준 미달인 상황이 반복됩니다.

장수지 PO의 말을 다시 가져옵니다. “PO는 무엇을 성공으로 볼지, 어떤 문제를 풀지를 정의한다.” 이것이 에이전트 시대 PM의 1차 역할입니다. 실행 속도가 올라갈수록, 무엇이 올바른 실행인지 정의하는 일의 가치가 올라갑니다.

지금 당신의 팀에서 AI 도구를 평가하는 기준이 있습니까. 벤치마크 점수 말고, 실제 우리 업무에서의 통과율로.

그 기준을 만드는 것이 2026년 PM의 첫 번째 일입니다.