Virgin Atlantic은 올해 초 Codex를 도입한 뒤 P1 장애 건수를 0으로 만들었다.

Samsung TV앱스는 200개국, 1,500개 이상의 앱을 AWS Bedrock Agent Core 기반으로 전환하며 에이전트가 실제 글로벌 운영을 책임지게 했다. Ramp에서는 Codex가 코드 리뷰를 자동화해 엔지니어 리뷰 사이클을 줄이고 있다. Anthropic은 2026년 2분기 매출이 $10.9B으로 집계됐다고 발표했다. 전 분기($4.8B) 대비 2.3배 성장이고, 분기 기준 첫 흑자 전환이다.

이 숫자들이 함께 말하는 것은 단순하다. 에이전트가 “데모”와 “파일럿”에서 졸업했다. 이제 SLA가 있다. 실패하면 비용이 실재한다.

그런데 흥미로운 것은, 에이전트가 프로덕션에 오른 바로 그 순간 새로운 질문이 앞에 놓인다는 점이다. “이 에이전트, 얼마나 똑똑한가요?”가 아니라 “이 에이전트가 잘못 판단했을 때 누가 검토하나요? 누가 책임지나요? 어디서 멈추게 하나요?”

이 질문에 미리 답을 설계한 팀과 그렇지 않은 팀의 차이가, 에이전트 운영의 실제 결과를 갈라놓고 있다.

왜 지금 이 질문인가

에이전트가 커버하는 영역이 달라지기 시작했다.

초기 agentic coding 붐에서 에이전트는 코드 한 파일을 수정하거나 PR 하나를 만드는 수준이었다. 실수해도 리뷰 단계에서 사람이 잡아낼 수 있었고, 최악의 경우 PR을 닫으면 됐다.

지금은 다르다. Virgin Atlantic 케이스에서 에이전트는 프로덕션 인프라의 변경을 수행했다. Samsung 케이스에서 에이전트는 1,500개 앱이 200개국 사용자에게 도달하는 플랫폼 운영 흐름 안에 들어가 있다. 에이전트가 내리는 판단의 결과가 실제 사용자 경험, 실제 SLA, 실제 매출에 연결된다.

이 차이를 에이전트 운영의 언어로 정리하면 이렇다.

에이전트 행동의 가역성이 낮아졌다. 파일 하나 수정은 되돌리기 쉽다. 고객 1만 명에게 발송된 알림, 결제 처리 완료된 트랜잭션, 배포된 프로덕션 코드는 다르다. “언두(undo)” 없이 일이 진행된다.

에이전트의 자율성 범위가 넓어졌다. OpenAI의 Codex /goal 명령어가 보여주듯, 에이전트는 이제 세부 태스크를 수행하는 것에서 나아가 스스로 목표를 설정하고 작업 계획을 수립하는 단계로 이동 중이다. 자율성이 넓어질수록 감독 없이 발생하는 결정의 수가 늘어난다.

Codex /goal이 잘 작동할수록, 정작 인간 PM의 검증이 더 중요해진다는 역설이 여기서 나온다.

”인지적 항복”이라는 함정

와튼 스쿨 연구가 밝힌 내용을 다시 꺼낼 필요가 있다. AI 시스템의 성능이 높아질수록, 인간은 그 결과를 검증하려는 의지를 잃어간다. 이것이 “인지적 항복(Cognitive Surrender)“이다.

에이전트가 정확할수록, 팀은 에이전트 결과를 그냥 넘기기 시작한다. 에이전트가 코드를 잘 짤수록, 리뷰를 대충 보기 시작한다. 에이전트가 빠르게 배포할수록, 배포 전 체크리스트가 흐려지기 시작한다.

이 함정의 문제는 에이전트가 “항상 맞았을 때”가 아니라 “처음으로 틀렸을 때” 드러난다는 점이다. 그리고 그 시점에서 팀은 “그게 에이전트가 한 거였나요, 사람이 한 거였나요?”라는 질문 앞에 무방비로 서게 된다.

실제로 agentic coding을 도입한 팀들이 공통적으로 보고하는 함정이 바로 여기다. 에이전트가 잘 작동하는 동안에는 아무 문제가 없다. 그런데 에이전트가 예상치 못한 행동을 했을 때 — 잘못된 파일을 수정했거나, 의도하지 않은 API를 호출했거나, 불필요한 데이터를 접근했을 때 — 팀에는 이것을 추적할 audit trail이 없다. 책임 소재도 불분명하다.

기술이 문제가 아니다. 설계 문제다.

거버넌스가 조달 조건이 되기 시작했다

한국에서도 신호가 잡히고 있다.

TTA(한국정보통신기술협회)가 올해 AI 보안 표준 PG507 제1차 워킹그룹을 구성했다. 70명 규모다. 이것은 AI 거버넌스가 “기업이 자율적으로 고민하는 것”에서 “표준이 정의되는 것”으로 이동하기 시작했다는 신호다.

식약처는 9월에 의료 AI 레드팀 챌린지를 연다. 의료 분야 AI 에이전트가 의사 결정에 개입하는 순간, 검증과 책임이 외부에서도 요구된다.

이 두 신호가 말하는 것은 이렇다. 에이전트 거버넌스는 더 이상 “우리 팀 내부 규범”이 아니다. 표준이 되고, 조달 조건이 되고, 규제 의무가 되는 방향으로 이동 중이다. 먼저 설계한 팀이 이 흐름에서 앞선다.

AI 개발사들도 이를 알고 있다. Anthropic는 내부적으로 에이전트 행동 추적과 해석 가능성 연구를 제품 레이어로 끌어올리고 있고, AWS는 Nova Act에 HIPAA eligible 인증을 붙였다. 거버넌스가 기능이 아니라 출시 조건이 되고 있는 것이다.

PM이 지금 설계해야 할 3가지

에이전트를 프로덕션에 올려놓을 때, 또는 이미 올라가 있는 에이전트를 운영할 때, 가장 먼저 세워야 할 설계 원칙이 있다.

1. 검토 게이트(Review Gate): 모든 행동이 자동 실행되면 안 된다

에이전트의 모든 실행이 승인 없이 이뤄지는 설계는 파일럿에서는 빠르게 보일 수 있지만, 프로덕션에서는 통제 불가능한 표면적을 만든다.

핵심 원칙은 간단하다. 행동의 가역성에 따라 자율 실행 범위를 나눠야 한다.

가역적인 행동(파일 수정, 로컬 빌드, 테스트 실행) — 에이전트가 자율 실행해도 된다. 비가역적인 행동(프로덕션 배포, 외부 API 호출, 결제 처리, 이메일 발송) — 사람의 명시적 승인이 필요하다.

이 경계를 어디에 그을지는 기술 선택이 아니라 PM의 설계 결정이다. 에이전트가 “어디까지 혼자 할 수 있나요?”라는 질문보다, “어디서부터는 혼자 하면 안 되나요?”라는 질문을 먼저 해야 한다.

2. 책임 소유권(Accountability Owner): 에이전트 실수의 회계 담당자를 미리 정한다

에이전트가 잘못된 행동을 했을 때, “에이전트가 그렇게 했어요”는 답이 아니다. 조직 안에서 그 에이전트의 출력을 감독하는 사람이 책임진다는 구조가 명시돼야 한다.

이것이 없으면 다음이 일어난다. 에이전트 실수 발생 → 팀원들 사이에 책임 떠넘기기 → 에이전트 사용 중단 또는 사용자 신뢰 붕괴. 에이전트가 옳은 일을 했어도, 어떻게 그 결과에 이르렀는지 설명할 수 없으면 조직은 그 에이전트를 신뢰하지 않는다.

프로덕션 에이전트마다 “이 에이전트의 행동에 최종 책임을 지는 사람은 누구인가?”를 명시해야 한다. 한 명이어야 한다. 팀이 공동 책임을 지는 구조는 사실상 아무도 책임지지 않는 구조다.

3. 가드레일 = 구조 설계: 필터가 아니라 실행 경계로 막는다

키워드 기반 필터는 우회 가능하다. HEARTBEAT 보안 우회 사례가 보여주듯, 파일명 하나를 미세하게 바꾸는 것만으로도 에이전트 보안 레이어가 무력화될 수 있다.

가드레일은 “이 단어가 나오면 차단한다”는 방식이 아니라, 에이전트가 실행할 수 있는 행동의 경계를 구조적으로 정의하는 방식으로 설계해야 한다.

가장 견고한 형태는 계획(LLM)과 실행(VM)의 분리다. LLM이 계획을 세우고, 결정론적 실행 환경(VM/샌드박스)이 그 계획의 실제 실행을 담당하되 허용된 행동 범위를 하드코딩으로 제한한다. llm-nano-vm이 보여주는 FSM 기반 아키텍처가 이 방향의 구체 구현체다. OpenAI Agents SDK의 샌드박스, SmolVM의 격리 실행 환경도 같은 아이디어다.

이 구조에서 “에이전트가 예상치 못한 행동을 할 수 있는 범위”가 설계 단계에서부터 제한된다. 실수가 나더라도 그 실수가 시스템 전체로 cascading 되지 않는다.

에이전트 운영 성숙도 자가진단

지금 운영 중인 에이전트(또는 도입 예정인 에이전트)에 아래 세 가지 질문을 던져보면 프로덕션 준비도가 보인다.

첫째. 이 에이전트가 오늘 잘못된 행동을 했을 때, 나는 5분 안에 무엇이 잘못됐는지 추적할 수 있는가?

둘째. 이 에이전트의 행동에 최종 서명(sign-off)을 하는 사람이 지금 조직에 존재하는가?

셋째. 이 에이전트가 실행할 수 없는 행동의 목록이 코드 레벨에서 명시돼 있는가?

세 가지 모두 “예”라면, 그 에이전트는 프로덕션 책임 영역에 진입할 준비가 됐다. 세 가지 중 하나라도 “아니오”라면, 지금 그 에이전트는 운영 중이지만 실험 구역에 머물러 있는 것이다.

마지막으로

에이전트가 SLA와 책임이 있는 운영 영역에 들어온다는 것은, 에이전트 PM의 역할이 “기능 정의”에서 “운영 설계”로 이동했다는 신호다.

기능을 빠르게 추가하는 것보다, 기능이 실패했을 때 어떻게 통제하고 책임지고 복구할 것인지를 미리 설계해두는 것이 PM의 1차 과제가 됐다.

Samsung이 200개국에서 Bedrock을 쓰고, Virgin Atlantic이 P1 장애를 제로로 만든 것은 에이전트가 똑똑해서가 아니다. 그 에이전트의 실행 범위와 책임 구조를 명확히 설계한 팀이 뒤에 있었기 때문이다.

지금 당신이 운영하는 에이전트는 프로덕션 책임 영역인가, 아직 실험 구역인가? 그 경계를 누가 정의하고 있는가?