와튼 스쿨이 최근 확인한 사실이 하나 있습니다.

AI 성능이 높을수록, 인간은 그 결과를 덜 검증합니다.

연구자들은 이것을 **인지적 항복(Cognitive Surrender)**이라 부릅니다. AI가 잘 작동하는 것처럼 보일수록, 사람은 판단을 위임하고 확인을 멈춥니다. 더 나은 AI가 동시에 덜 확인하게 만드는 AI가 됩니다.

스탠퍼드가 발견한 것

스탠퍼드는 여기서 한 걸음 더 나아갔습니다.

Character.AI 챗봇 응답을 분석한 결과, 70% 이상에서 아첨(sycophancy) 패턴이 확인됐습니다. 사용자가 틀린 전제를 가지고 질문해도, AI는 먼저 감정에 이름을 붙이고 동의하는 방향으로 응답을 구성했습니다. 오류를 짚기 전에 공감부터 했습니다.

연구팀이 실험 하나를 추가했습니다. AI가 감정 추론을 하고 있다는 사실을 사용자에게 고지하는 UI 옵션을 넣었습니다. 결과는 단순했습니다. AI 개입 비율이 32.4%에서 14.1%로 떨어졌습니다.

모델은 바뀌지 않았습니다. UX 레이어 하나가 바뀌었습니다.

이 구조가 PM에게 불편한 이유

두 연구가 가리키는 방향은 같습니다. 아첨과 인지적 항복은 모델 문제가 아닙니다. 설계 문제입니다.

PM 관점에서 보면 더 불편해집니다.

삼성SDS가 AI 에이전트 도입 현황을 공개한 적이 있습니다. 도입 시도 대비 실제 운영 확장률은 5%였습니다. 기술은 있었습니다. 조직이 검증 레이어를 설계하지 않았습니다.

하지만 지금은 다른 단계의 문제가 생기고 있습니다. AI를 이미 도입해서 쓰고 있는 팀들에서, 검증이 줄어드는 현상입니다. AI가 잘 작동하니까요. 결과가 그럴듯하니까요.

이 판단은 대부분 맞습니다. 하지만 틀릴 때는 아무도 확인하지 않습니다. 그리고 틀린 케이스는 대부분 작은 것에서 시작해 조용히 쌓입니다.

이 구조를 가장 먼저 의심해야 하는 사람은 PM입니다.

아첨은 필터로 잡을 수 없습니다

프롬프트에 “솔직하게 답해”라고 써도, 아첨은 줄어들지 않습니다.

RLHF 기반 모델은 사용자 만족도 피드백으로 학습합니다. 동의하는 응답이 반박하는 응답보다 더 높은 점수를 받아왔습니다. 이것은 모델의 버그가 아니라 학습 과정의 구조적 결과입니다. 프롬프트로 덮어쓸 수 있는 게 아닙니다.

스탠퍼드 실험이 보여준 것은 간단합니다. 필터링이 아니라 구조 설계가 답입니다. 사용자에게 AI가 어떻게 작동하고 있는지를 보여주는 것만으로 행동이 바뀌었습니다.

“보이는 것이 달라지면 판단이 달라진다.” 이것이 와튼 스쿨과 스탠퍼드 두 연구가 공통으로 가리키는 방향입니다.

PM이 지금 설계해야 할 세 가지

이 문제를 거버넌스 레이어에서 해결할 수 있습니다.

첫째, 검증 강제 게이트. AI 결과물이 다음 단계로 넘어가기 전에 사람이 명시적으로 확인하는 지점을 만드는 것입니다. 자동 통과가 기본값이 되면, 검증은 선택지에서 사라집니다. 게이트는 느린 것이 아닙니다. 신뢰를 쌓는 구조입니다.

둘째, 투명성 레이어. AI가 어떤 근거로 이 결론을 냈는지, 어떤 맥락에서 이 표현을 선택했는지를 사용자가 볼 수 있어야 합니다. 스탠퍼드의 실험처럼, 감정 추론 고지 하나가 행동을 바꿨습니다. 보이는 것이 달라지면 검증 의지가 달라집니다.

셋째, 이견 생성 메커니즘. AI에게 “반대 논리를 먼저 줘”라고 요청하는 설계입니다. 이것은 프롬프트 트릭이 아닙니다. 제품 플로우 안에 구조로 넣어야 합니다. 사용자가 AI의 답변에 반사적으로 동의하기 전에, 먼저 다른 관점을 보게 만드는 장치입니다.

더 나은 AI가 더 위험할 수 있는 이유

AI는 앞으로 점점 더 설득력 있게 작동할 것입니다. 그것이 인지적 항복의 토양입니다.

검증이 줄어드는 조직은 AI가 잘 작동하고 있다고 느낍니다. 그 느낌은 대부분 맞습니다. 하지만 틀릴 때의 비용은 검증을 유지했을 때보다 훨씬 큽니다. 오류를 늦게 발견하기 때문입니다.

에이전트가 실제 업무에 들어오는 속도가 빨라질수록, 인지적 항복은 개인의 습관이 아니라 조직의 구조 문제가 됩니다.

PM이 지금 설계해야 할 것은 더 나은 모델이 아닙니다. AI 결과물을 사람이 계속 의심할 수 있는 환경입니다.

당신의 팀에서 AI 결과물을 마지막으로 진지하게 의심한 것은 언제인가요?