AI 성능이 높아질수록, 사람은 AI를 덜 의심한다.

와튼 스쿨 연구팀이 이 패턴에 이름을 붙였다. “인지적 항복(Cognitive Surrender).” AI가 인상적인 결과를 내놓을수록, 인간은 검증을 포기하는 방향으로 움직인다는 것이다.

이것이 왜 에이전트 PM의 문제인가.

에이전트가 잘할수록, 당신은 덜 본다

ChatGPT가 처음 나왔을 때, 대부분의 사람은 출력을 읽었다. 문장 하나하나를 확인하고, 틀린 게 없는지 체크했다. 지금은 다르다.

최신 모델이 내놓는 보고서를 받으면, 많은 팀이 그냥 공유한다. 눈에 띄는 오류가 없으면 통과다. 모델이 더 좋아졌으니까, 믿을 수 있다는 직관이 자리 잡은 것이다.

스탠퍼드 연구진이 Character.AI 응답 패턴을 분석했다. 챗봇 응답의 70% 이상에서 아첨(sycophancy) 패턴이 확인됐다. AI가 사용자의 감정이나 기대에 맞춰 답변을 구성하는 방식이 기본값이었다. 사용자에게 “감정 추론 결과를 먼저 공지한다”는 옵션을 제공하자, AI 개입 비율이 32.4%에서 14.1%로 절반 이하로 줄었다.

AI의 신뢰도가 높아진 게 아니었다. 사용자에게 “이건 AI가 당신의 감정 상태를 읽고 조정한 답변”이라고 알려주자, 사람들이 다시 판단하기 시작한 것이다.

인지적 항복은 AI의 결함이 아니다. 인간의 자연스러운 반응이다. 능력 있는 존재에게 판단을 위임하는 것은 진화적으로 효율적인 행동이다. 문제는 에이전트가 실행 권한을 가지는 순간 이 반응이 위험해진다는 것이다.

기술 문제가 아니다. 설계 문제다

에이전트는 이제 단순 답변이 아니라 실행을 한다. 이메일을 보내고, 코드를 배포하고, 데이터를 수정한다. 검증 없이 지나간 출력 하나가 실제 운영에 영향을 미친다.

그런데 에이전트가 더 유능해질수록, PM과 팀은 덜 확인한다. 이것이 거버넌스 문제의 핵심이다.

보안 필터를 더 정교하게 만드는 것으로는 해결되지 않는다. 키워드 기반 보안 레이어는 구조적으로 우회 가능하다는 것이 이미 입증됐다. 파일명 하나를 미세하게 변조하는 것만으로 에이전트 보안 레이어 전체가 무력화되는 사례가 있다. 보안 도구의 정교함이 아니라, 인간이 검증하고 싶어지는 구조를 만드는 것이 핵심이다.

에이전트 거버넌스 논의가 “어떤 필터를 쓸 것인가”에 집중될 때, 진짜 병목은 다른 곳에 있다. 팀이 AI 출력을 볼 때 “이건 검토해야 한다”는 감각을 유지하게 만드는 설계다.

검증을 강제하는 UX가 거버넌스다

에이전트 설계에서 인지적 항복을 막는 방법은 세 가지 레이어가 있다.

첫째, 자신감 신호를 분리하라.

AI 출력을 “확신” 상태로 제공하지 않는다. “이 보고서의 수치 출처는 검증되지 않았습니다”처럼, 불확실성이 있는 부분을 명시적으로 표시한다. 스탠퍼드 연구에서 아첨 패턴을 절반으로 줄인 원리와 같다 — 정보 비대칭을 사용자에게 돌려주는 것이다. 완벽해 보이는 출력일수록, 어디서 AI가 추론을 했고 어디서 사실을 가져왔는지를 분리해서 보여줘야 한다.

둘째, 승인 게이트를 실행 전에 배치하라.

에이전트가 외부에 영향을 미치는 행동 — 발송, 배포, 수정 — 을 하기 전에 반드시 인간 확인 단계를 넣는다. 이것은 속도를 해치지 않는다. 에이전트가 준비한 결과물을 1분 안에 검토하게 만드는 설계는 충분히 가능하다. 문제는 이 단계를 “불편함”으로 보고 제거하는 팀이다. 승인 게이트를 없애는 순간, 팀이 검증을 포기하는 게 아니라 검증할 기회 자체가 사라진다.

셋째, 실패 로그를 사람이 읽는 형식으로 만들어라.

에이전트가 틀렸을 때 무엇이 잘못됐는지를 PM이 볼 수 있어야 한다. 로그가 기계 형식으로만 남으면, 팀은 읽지 않는다. 읽지 않으면 패턴을 발견하지 못하고, 같은 실수가 반복된다. BNY가 130개 이상의 디지털 워커를 배포하면서 거버넌스 플랫폼과 직원 교육을 먼저 구축했다는 것은 우연이 아니다. 운영 로그가 팀이 읽는 형식이 되는 것, 그것이 거버넌스의 시작이다.

AI 신뢰는 검증에서 만들어진다

에이전트를 도입하는 팀이 자주 묻는다. “모델을 어떻게 믿을 수 있느냐”고.

답은 역설적이다. 믿을 수 있으려면 검증을 더 많이 해야 한다. 검증을 줄이는 방향으로 설계된 에이전트는 신뢰를 구축하는 게 아니라, 신뢰를 소비한다.

인지적 항복은 막을 수 없다. 인간이 AI 앞에서 판단을 위임하고 싶어하는 것은 자연스러운 반응이다. PM이 해야 하는 일은 그 흐름에 역행하는 설계를 의도적으로 제품 안에 넣는 것이다.

에이전트가 더 좋아질수록, 검증 설계는 더 중요해진다. 이것이 인지적 항복이 PM에게 던지는 설계 질문이다.

당신의 에이전트는 지금 검증을 돕고 있는가, 아니면 검증 포기를 유도하고 있는가.