와튼 스쿨 연구가 불편한 결론을 냈습니다.

AI 성능이 높아질수록, 인간의 검증 의지가 낮아진다고.

연구자들은 이 현상에 이름을 붙였습니다. “인지적 항복(Cognitive Surrender).” 기술이 믿을 만해질수록, 사람은 의심을 멈춥니다.

에이전트가 잘할수록 위험해지는 구조

삼성SDS AX센터가 공개한 수치가 있습니다. 기업 에이전트 실제 도입률은 5%에 불과합니다. 대부분의 조직이 아직 PoC 단계를 넘지 못하고 있습니다.

그런데 도입에 성공한 5%에서 다른 문제가 나타나고 있습니다. 에이전트가 제대로 작동하기 시작하면, 출력값을 더 이상 들여다보지 않게 됩니다. 처음엔 모든 결과를 꼼꼼히 검토하다가, 신뢰가 쌓이면 건너뛰기 시작합니다. 마침내 아무도 확인하지 않는 자동화 루프가 만들어집니다.

이게 바로 인지적 항복입니다.

이 현상이 거버넌스와 연결되는 지점이 있습니다. 에이전트를 도입했을 때 가장 위험한 순간은 오작동할 때가 아닙니다. 완벽하게 작동하고 있다고 모두가 믿을 때입니다.

스탠퍼드가 발견한 아첨의 구조

스탠퍼드 연구팀은 Character.AI 사용 패턴을 분석했습니다. 챗봇 응답의 70% 이상에서 아첨(sycophancy) 패턴이 확인됐습니다. AI가 사용자 감정에 먼저 이름을 붙이고, 기대에 맞춰 응답을 조율하는 방식입니다.

흥미로운 건 해결책이었습니다. 사용자에게 “AI가 지금 당신의 감정에 이름을 붙이고 있습니다”라고 고지하자, AI 개입 비율이 32.4%에서 14.1%로 낮아졌습니다. 필터링도, 모델 교체도 아니었습니다. 구조 설계가 답이었습니다.

같은 원리가 업무용 에이전트에 적용됩니다. “이 작업을 자동으로 처리하겠습니다”라는 에이전트 메시지 앞에서 사람들은 대부분 그냥 넘어갑니다. 하지만 “이 작업은 [기준]에 해당합니다. 검토 후 승인하시겠습니까?”라고 물으면 검증 루프가 살아납니다. 사용자는 멈추고, 생각하고, 결정합니다.

PM이 설계해야 할 진짜 레이어

IBM이 정리한 AI 기술 부채 원칙 중 CACE가 있습니다: Change Anything Changes Everything. AI 에이전트는 하나를 바꾸면 전체가 연쇄 영향을 받는 비결정론적 시스템입니다. 인간의 검증이 빠진 루프에서 이 변화는 조용히 누적됩니다.

와튼 스쿨의 “인지적 항복”은 사용자의 나태함이 아닙니다. 에이전트를 믿기 시작한 합리적 인간의 자연스러운 반응입니다. 신뢰는 효율을 만들지만, 동시에 사각지대도 만듭니다.

PM이 설계해야 할 것은 에이전트의 기능이 아니라, 인간이 검증을 멈추지 않게 하는 구조입니다.

강제 체크포인트를 박습니다. 에이전트 파이프라인에 명시적인 인간 확인 게이트를 설계합니다. “자동화”가 목표라도, 특정 조건에서는 반드시 사람이 통과해야 하는 구간을 남깁니다. 이건 UX 선택이 아니라 거버넌스 규칙입니다.

투명성 레이어를 추가합니다. 에이전트가 무엇을 기준으로 결정했는지를 로그로 남깁니다. 사용자가 굳이 확인하지 않아도, 감사(audit) 가능한 상태가 유지돼야 합니다. 스탠퍼드 연구에서 “고지” 하나가 개입 비율을 절반 이하로 낮춘 것처럼, 맥락 제시 자체가 검증을 유도합니다.

이상 신호 탐지 루프를 분리합니다. 에이전트 출력의 패턴을 모니터링하는 verifier 레이어를 별도로 설계합니다. “비정상적 출력”을 에이전트 스스로 알릴 수 있는 구조가 있어야, 인간이 개입해야 할 타이밍을 놓치지 않습니다.

거버넌스는 선택이 아닌 전제

100 Agents를 운영하면서 반복적으로 확인한 것이 있습니다. 에이전트 실패의 근본 원인은 대부분 모델 성능이 아닙니다. 검증 설계의 부재입니다.

거버넌스 없는 에이전트는 PoC는 될 수 있어도 운영은 갈 수 없습니다. 기술은 준비됐지만 조직이 검증 구조를 설계하지 않은 채 에이전트를 배포하면, 인지적 항복이 조용히 진행됩니다. 문제가 수면 위로 드러날 때는 이미 많은 의사결정이 검토 없이 통과된 뒤입니다.

“에이전트의 경쟁력은 속도가 아니라 신뢰다”라는 말은 에이전트 자체의 신뢰성만을 의미하지 않습니다. 그 에이전트를 운영하는 인간이 신뢰를 유지할 수 있는 구조까지 포함합니다.

당신의 에이전트 파이프라인에, 인간이 반드시 멈춰야 하는 구간이 남아 있습니까?