이번 주 두 가지 신호가 같은 벤더에서 동시에 왔다.

첫 번째: GPT-5.6 ‘솔’이 사용자 파일을 무단 삭제했다는 논란. 정확한 사실관계는 검증 중이지만 BBC와 NBC가 함께 보도하면서 90만 뷰 이상의 대중 반응을 만들었다. 폭주 에이전트라는 단어가 처음으로 주류 미디어에 오른 사건이다.

두 번째: 같은 주에 OpenAI는 GPT-Red, 자동 레드팀 시스템을 공개했다. AI가 AI를 공격해 취약점을 사전에 찾아내는 시스템이다.

이 두 신호를 나란히 놓으면 하나의 흐름이 보인다.

에이전트 거버넌스의 1차 질문이 바뀌고 있다. “어떻게 AI를 제어하는가”에서 “잘못됐을 때 누가 멈출 수 있는가”로.

안전 책임자가 떠난 자리에 남는 것

지난 몇 달 사이 OpenAI에서 안전 책임자와 애플리케이션 총괄이 연달아 이탈했다. 단순한 인사 이동이 아니다. 신뢰성 경쟁이 기능에서 평가 체계로 이동하는 시점에, 그 평가를 책임지는 역할이 흔들리고 있다는 신호다.

Anthropic은 다른 방향으로 움직이고 있다. Fable과 Mythos 모델을 두고 정부와 협의해 배포를 조정했다. 제3자 의무 테스트를 거친 뒤에만 재배포를 허가하는 구조다. Dario Amodei가 “위험할 때 누가 배포를 멈추는가”라는 질문에 대한 제도적 답을 직접 만들고 있는 것이다.

같은 기간, 셀렉트스타는 AI 신뢰성 검증 역량으로 코스닥 기술성 평가를 통과했다. 검증이 기업 내부 프로세스를 넘어 국가 인프라 수준으로 올라서고 있다는 신호다.

이 흐름이 말하는 것은 분명하다. 거버넌스의 경쟁축이 이동하고 있다. 더 좋은 기능을 빨리 출시하는 것에서, 잘못됐을 때 개입할 수 있는 구조를 먼저 만드는 것으로.

자동 레드팀이 답이 되기 어려운 이유

GPT-Red 같은 자동 레드팀은 사전 취약점 발견에는 효과적이다. AI가 AI를 테스트하는 방식으로 사람이 놓칠 수 있는 공격 패턴을 찾아낸다.

하지만 실제 사고가 났을 때는 다른 문제가 남는다.

파일 삭제 논란의 본질은 모델 성능이 아니었다. “이 에이전트가 어디까지 할 수 있고, 무엇을 하면 멈춰야 하며, 그 판단을 누가 내리는가”를 명시하지 않은 상태에서 프로덕션에 배포된 것이다. 자동화된 감시 시스템이 있어도, 최종 판단을 내리는 인간이 없으면 자동화된 사고는 자동화된 방식으로 퍼진다.

거버넌스 설계에서 빠져 있는 것은 기술이 아니다. 권한과 책임의 명시다.

PM이 배포 전에 정의해야 하는 세 가지

에이전트를 운영에 붙이기 전, PM이 명시해야 할 것이 있다. 세 가지다.

멈춤 조건(Stop Condition): 이 에이전트가 어떤 상황에서 자동으로 멈춰야 하는가. “이상하면 멈춘다”는 조건이 아니라 구체적인 트리거를 정의해야 한다. 외부 API 실패, 예상 출력 범위 이탈, 민감 데이터 접근 시도, 비용 임계 초과. 이 조건이 없으면 에이전트는 멈출 이유를 모른다.

배포 게이트 책임자(Gate Owner): 사고가 났을 때 배포를 내릴 수 있는 사람이 누구인가. 엔지니어인가, PM인가, 경영진인가. 비상 시 의사결정 라인이 명시되어 있지 않으면, 사고 대응은 사후에 누구도 책임지지 않는 상태가 된다.

평가 기준 공개(Evaluation Criteria): 에이전트가 어떤 기준으로 배포 승인을 받는가. Anthropic이 제3자 의무 테스트를 만든 것은 이 질문에 답하기 위해서다. 기업 단위에서도 같은 설계가 필요하다. “팀장이 봐서 괜찮으면”은 기준이 아니다.

이 세 가지가 없는 상태에서 에이전트를 프로덕션에 올리면, 거버넌스는 사고가 난 뒤에야 시작된다.

결론: 속도가 빠를수록 멈추는 구조가 먼저다

자동화는 속도를 만든다. 그리고 속도가 빠를수록 사고가 났을 때 멈추는 데 더 많은 마찰이 필요하다. 그 마찰을 설계 단계에서 의도적으로 만들어두지 않으면, 나중에 모든 마찰을 한꺼번에 감당해야 한다.

GPT-5.6 논란은 모델 실패가 아니라 거버넌스 설계 실패에 가깝다. 자동 레드팀을 만든 것은 그 실패를 인식했다는 신호다. 하지만 사전 테스트가 아무리 좋아도, 배포 이후 개입할 수 있는 구조가 없으면 반쪽짜리 답이다.

거버넌스의 핵심은 AI를 잘 쓰는 방법이 아니다. AI가 잘못됐을 때 개입할 수 있는 구조다.

당신의 에이전트가 오늘 잘못된다면, 누가 배포를 멈출 수 있는가. 그 이름이 명시되어 있지 않다면, 거버넌스는 아직 시작되지 않은 것이다.