와튼 스쿨 연구팀이 발표한 결과가 있습니다. AI 성능이 높아질수록 인간의 검증 횟수가 줄어든다는 내용입니다. AI가 더 정확해질수록 감시는 오히려 느슨해집니다.

같은 시기, 스탠퍼드 대학교는 Character.AI 플랫폼을 분석해 챗봇 응답의 70% 이상에 아첨 패턴이 포함되어 있다는 결과를 발표했습니다. AI가 사용자 감정에 먼저 동조하고, 그 다음에 답을 주는 구조입니다.

두 연구가 함께 보여주는 것이 있습니다. AI가 더 잘 맞힐수록, 더 친절하게 동조할수록 — 인간이 검증을 멈추는 속도도 빨라진다는 것입니다.

저는 이것을 인지적 항복(Cognitive Surrender) 이라고 부릅니다. 기술적 버그가 아닙니다. 인간의 인지 메커니즘이 고도화된 AI와 만났을 때 일어나는 구조적 반응입니다.

왜 이 구조가 만들어지는가

AI가 틀릴 때는 검증합니다. 눈에 보이기 때문입니다. 하지만 AI가 대부분 맞으면, 사람은 “이번에도 맞겠지”를 전제로 행동합니다.

조종사 훈련에 비슷한 패턴이 있습니다. 자동 조종 시스템이 정확할수록 조종사의 수동 조종 능력이 퇴화합니다. 미국 FAA가 오토파일럿 의존도와 비상 대응 능력 저하 사이의 상관관계를 공식 우려 사항으로 등재한 것이 2013년입니다. 자동화가 더 잘 작동할수록, 인간은 덜 개입하도록 최적화됩니다.

에이전트 업무 환경에서 같은 패턴이 시작되고 있습니다. 에이전트가 이메일 초안을 90% 이상 잘 작성하면, 팀원은 그 초안을 읽지 않고 보내기 시작합니다. 에이전트가 재무 보고서 수치를 거의 정확하게 채우면, 담당자는 검토 없이 승인합니다.

정확도가 올라갈수록 검증이 줄어드는 역설입니다.

아첨이 이 구조를 가속한다

인지적 항복을 더 빠르게 만드는 요소가 있습니다. 아첨(sycophancy)입니다.

스탠퍼드 연구에서 확인된 70%는 숫자가 크다는 게 아니라, AI가 먼저 동조한다는 것이 문제입니다. 사용자가 어떤 감정 상태인지를 AI가 먼저 이름 붙이고(“힘드셨겠어요”), 그 이후에 답을 주는 구조입니다.

이 패턴이 일반 업무 AI에 스며들면, 팀원은 에이전트의 결과물을 “나에게 맞는 답”으로 더 쉽게 받아들입니다. 자신의 선호와 감정이 반영됐다고 느끼기 때문입니다.

연구팀은 한 가지를 바꿨습니다. AI가 감정 추론을 한다는 사실을 사용자에게 미리 알리는 기능을 추가했습니다. 결과는 명확했습니다. AI 개입 비율이 32.4%에서 14.1%로 떨어졌습니다. 사용자가 AI의 작동 방식을 인식하자 맹목적 수용이 절반 이하로 줄었습니다.

정보 한 줄을 추가했을 뿐입니다. “이 AI는 당신의 감정을 분석하고 있습니다.” 그게 전부였습니다.

PM이 물어야 할 질문

인지적 항복은 거버넌스 문서나 감사 로그만으로 막을 수 없습니다.

승인 단계를 추가하면 될까요? 사람들은 빠르게 적응합니다. 버튼 하나를 더 누르는 것이 습관이 되면, 그 버튼은 검증이 아니라 반사입니다. 이든 팀이 에이전트 파이프라인에 중간 확인 단계를 넣었을 때, 3주 후 통과 속도는 이전과 거의 같았습니다.

핵심은 사용자가 AI의 판단을 AI의 판단으로 인식하는 구조입니다.

스탠퍼드 연구에서 답이 나왔습니다. 사용자가 AI의 작동 메커니즘을 볼 수 있어야 합니다. 단순히 결과물이 나오는 것이 아니라, AI가 어떤 기준으로 이 결과를 만들었는지를 사용자 화면에 남겨야 합니다.

재무팀이 에이전트 보고서를 받을 때, “이 수치는 3개 소스에서 추출됐고, 소스 B의 날짜가 최신이 아닙니다”라는 메모가 함께 붙어 있다면, 검증을 건너뛸 확률이 낮아집니다. 에이전트가 자신의 한계를 명시하는 구조입니다.

에이전트 설계에서 인지적 항복을 늦추는 방법

구조적으로 적용할 수 있는 원칙이 세 가지 있습니다.

불확실성을 숨기지 않는다. 에이전트가 90% 확신하는 내용과 70% 확신하는 내용을 구별해서 표시합니다. 100% 확신하는 척하는 에이전트는 검증을 빠르게 없앱니다. 신뢰 구간을 명시하는 것만으로도 사용자의 주의가 달라집니다.

판단 근거를 결과물에 붙인다. 결론만 보여주는 에이전트는 사용자를 판단 과정에서 배제합니다. 어떤 데이터를 봤는지, 무엇을 제외했는지를 결과와 함께 제공하면 사용자가 에이전트의 작업에 다시 참여합니다.

인간 검토 단계를 형식이 아닌 내용으로 강제한다. “승인” 버튼 대신, 에이전트가 요약한 근거 중 하나를 사용자가 직접 선택하거나 수정해야 다음 단계가 열리는 구조입니다. 클릭이 아니라 판단을 요구하는 설계입니다.

IBM이 AI 기술 부채를 설명할 때 쓰는 원칙이 있습니다. CACE — Change Anything, Changes Everything. AI 시스템에서 무언가를 바꾸면 예상 못한 곳에서 결과가 달라집니다. 에이전트 정확도가 높아지면, 그것이 예상 못한 곳 — 검증 빈도 — 에서 조용히 결과를 바꿉니다.

성능이 올라갈수록 감시 구조도 함께 강화해야 한다

역설처럼 들립니다. 에이전트가 더 잘할수록, 더 잘 감시해야 한다는 말이니까요.

하지만 이것이 현실입니다. 완벽에 가까운 AI가 조용히 틀릴 때, 그 오류를 발견하는 사람이 팀 안에 아무도 없으면 오류는 오랫동안 확산됩니다.

ChatGPT 초기에는 틀리면 바로 알 수 있었습니다. 이제는 틀려도 쉽게 모릅니다. 더 나은 성능이 더 위험한 오류를 숨기고 있습니다.

에이전트의 정확도를 높이는 것과 검증 구조를 설계하는 것은 같은 프로젝트의 두 작업입니다. 둘 중 하나만 하면, 절반의 시스템입니다.

지금 팀이 쓰는 에이전트에서, 사용자가 에이전트의 판단 근거를 볼 수 있는 화면이 있습니까?