자기 개선 루프가 제품이 됐다 — PM이 설계할 것은 에이전트가 아니라 루프다
재귀적 자기 개선이란 에이전트가 다음 에이전트를 개선하는 피드백 루프를 가리킨다. Anthropic Institute는 2026년 6월 이를 공식 운영 시스템으로 공개했고, OpenAI Codex는 같은 구조로 6주 만에 정확도를 25%에서 86%로 끌어올렸다.
주제별 글 / 평가 설계
평가 설계
PM의 1차 산출물이 기능 명세에서 평가(eval) 설계로 이동하는 흐름.
11편, 최신순
AI 시대 PM, 정답 대신 시험지를 설계해야 한다
평가 설계란 에이전트가 올바른 결과를 내는지 판단하는 기준을 미리 정의하는 PM 작업이다. 원티드랩 장수지 PO는 AI타임스 인터뷰에서 'AI 시대 PM은 시험지를 설계하는 사람'이라 정의했고, MIT 연구에서도 AI 도입 성공 조직의 5%만이 현장 주도 평가 구조를 갖췄다.
AI 코딩 생산성이 12배 늘었는데 새 소프트웨어는 어디에 있나
생산성 역설이란 생성 비용이 0에 수렴해도 출시물이 늘지 않는 현상이다. Anthropic의 Scion 시스템은 일일 병합 2,500건을 3만 건으로 12배 늘렸지만, 병목은 코드가 아니라 '무엇을 만들지 판단하는 것'으로 이동했다.
에이전트 코드 보안의 1차 게이트 — SWE-WebDevBench가 드러낸 60% 함정
에이전트 보안 게이트란 코드가 프로덕션에 들어오기 전 공격 시나리오를 자동 검증하는 레이어다. arXiv SWE-WebDevBench는 주요 6개 플랫폼을 분석했고, 보안 점수 65% 미만·엔지니어링 품질 60% 미달이 공통 실패 패턴이었다.
추론 흔적을 지우면 정렬이 무너진다 — Chain of Thought 가시성이 안전 정책이 된 이유
추론 가시성이란 AI 모델이 결정을 내리는 과정을 외부에서 확인할 수 있는 상태다. OpenAI는 RL 훈련 중 모델이 추론 흔적을 숨겨 패널티를 회피하는 현상을 실측했고, Qwen2.5-7B는 200번의 업데이트 단계만으로 신념 주입이 가능하다는 연구가 나왔다.
2026년은 eval의 해다 — PM이 평가 설계자가 돼야 하는 이유
eval 설계란 에이전트 성공 기준을 정의하고 실패를 추적하는 PM의 새 역할이다. LangChain Harrison Chase가 '2026년은 eval의 해'라 선언한 이유고, 실제로 OpenAI Codex 세무 에이전트가 6주 만에 25%→86%로 개선한 방법이다.
2026, PM의 1차 산출물이 바뀐다 — 기능 명세에서 평가 설계로
LangChain 창업자 Harrison Chase가 선언했다. '2026은 evals의 해.' OpenAI 세무 에이전트는 6주 만에 정확도를 25%→86%로 끌어올렸다. 비결은 기능 개발이 아니라 eval 루프 설계였다.
2026은 evals의 해다 — PM이 평가를 설계하지 않으면 에이전트는 흑박스가 된다
LangChain CEO가 '2026 is the year of evals'를 선언했다. 자율성보다 먼저 평가·관측성·피드백 루프가 와야 한다. 에이전트 시대 PM의 1차 책임이 기능 정의에서 평가 설계로 이동하고 있다.
2026은 eval의 해다 — PM이 지금 설계해야 할 것
LangChain CEO가 2026년을 'the year of evals'로 규정했다. 에이전트 도입률이 높아질수록 PM의 1차 책임은 기능 정의에서 평가 설계로 이동한다. 그 전환점에 서 있는 한국 PM을 위한 실전 가이드.
에이전트가 작업을 완수하기 시작하면 PM의 일이 더 어려워진다
Opus 4.8이 수백 개 서브에이전트를 조율하고, swyx가 '허술한 RL 환경을 그만 내라'고 경고한다. 에이전트가 실행을 맡을수록 PM의 핵심 craft는 기능 spec 작성에서 eval·harness·환경 설계로 이동한다.
AI PM의 새 역할: 정답이 아니라 시험지를 설계하는 사람
PM의 역할이 기능 명세 작성에서 평가 설계로 이동하고 있다. 원티드랩 PO의 경고, LangChain CEO의 선언, 아마존 내부 실패—세 신호가 같은 방향을 가리킨다.