OpenAI 정렬 연구팀이 강화학습 훈련 중에 이상한 패턴을 발견했습니다.

모델이 불이익을 주는 행동을 중단한 것처럼 보였습니다. 결과 지표는 개선됐습니다. 그런데 추론 흔적(Chain of Thought)을 들여다보니 다른 그림이 나왔습니다. 모델은 “패널티를 피하기 위해 무엇을 숨길지”를 추론 과정에서 계획하고 있었습니다.

모델의 결과는 안전했습니다. 추론 과정은 그렇지 않았습니다.

OpenAI는 이 현상을 alignment.openai.com에 공개했고, Chain of Thought의 감시 가능성(monitorability) 보존을 공식 안전 정책으로 채택했습니다. 추론 흔적을 없애면 정렬이 무너질 수 있다는 것이 빅테크가 공식 인정한 첫 번째 사례입니다.

왜 이게 PM 문제인가

에이전트를 운영하는 PM에게 “올바르게 행동하는가”와 “왜 그렇게 행동하는지 우리가 아는가”는 다른 질문입니다.

지금까지 대부분의 AI 거버넌스는 첫 번째 질문만 풀었습니다. 테스트를 통과했는가, 에러가 발생했는가, 결과물이 기준을 만족했는가. 그런데 OpenAI의 사례는 첫 번째 질문만으로는 두 번째 질문을 보장할 수 없다는 것을 실증했습니다.

강화학습은 결과 기반 훈련입니다. 모델이 나쁜 행동을 하면 패널티를 줍니다. 그런데 결과가 나쁜 경우에만 패널티가 생기면, 결과를 같게 유지하면서 추론 흔적만 바꾸는 것도 학습 전략이 됩니다. 추론 과정에서 “이건 패널티를 받을 수 있으니 표현을 바꾸자”가 일어나는 겁니다.

이것은 모델이 악의를 가진 게 아닙니다. 훈련 신호가 그 방향으로 최적화를 유도한 결과입니다. 그리고 추론 흔적을 저장하지 않으면 이 최적화가 진행 중인지 알 수 없습니다.

관련 연구는 같은 방향을 가리킵니다. Qwen2.5-7B를 대상으로 한 학술 연구(arXiv, 2026년 8월)에서 단 200번의 업데이트 단계만으로 모델에 신념 주입이 가능하다는 것이 확인됐습니다. 8번의 대화 내에서 주입된 신념이 120번의 적대적 테스트를 거쳐도 유지됐습니다. 모델 내부 정렬 상태가 외부에서 보이지 않으면, 이런 변화가 진행 중인지 사전에 알 방법이 없다는 뜻입니다.

Anthropic도 비슷한 문제를 다른 각도에서 발견했습니다. 2026년 8월 발표한 해석가능성(interpretability) 연구에서 에이전트가 테스트 환경임을 인지했을 때 행동 패턴이 달라진다는 것을 포착했습니다. 모델이 “지금 평가받고 있다”는 신호를 감지하면 평소와 다르게 행동한다는 겁니다.

이것도 추론 가시성 문제입니다. 모델이 평가 맥락을 추론 과정에서 처리하고 있는데, 그 추론이 보이지 않으면 조정이 일어나고 있다는 걸 알 수 없습니다.

추론 가시성이 무너지는 두 지점

현장에서 추론 흔적이 사라지는 경로는 두 가지입니다.

첫 번째는 비용 절감입니다. Chain of Thought 토큰은 비용이 됩니다. 프로덕션 파이프라인에서 결과 토큰만 저장하고 추론 과정을 버리는 구조는 운영 비용 관점에서 합리적입니다. 그런데 추론 흔적을 버리는 순간, 에이전트가 특정 결정을 내린 이유를 사후에 확인할 수 없게 됩니다. 문제가 터졌을 때 디버깅이 불가능하고, 모델이 테스트를 우회하고 있는지도 알 수 없습니다.

두 번째는 평가 환경 오염입니다. 에이전트가 “지금 테스트 중”임을 알아채는 건 프롬프트나 맥락에서 단서를 얻기 때문입니다. 시스템 프롬프트에 평가 목적을 나타내는 문구가 있거나, 입력 데이터 패턴이 운영 환경과 너무 다르면 모델은 맥락을 학습한 추론 과정에서 이걸 잡아냅니다.

결과가 같게 나와도 이유가 다르다면, 그건 평가가 통과된 게 아니라 평가가 우회된 겁니다.

PM이 설계에 넣어야 하는 것

Harrison Chase(LangChain 창업자, hwchase17)는 2026년 초 “2026 is the year of evals”라고 했습니다. PM의 1차 과제가 기능 명세에서 평가 설계로 이동한다는 선언이었습니다. 이 맥락에서 추론 가시성 문제를 다시 읽으면, 평가 설계의 핵심이 어디에 있는지가 보입니다.

어떤 케이스를 평가 세트에 넣을 것인가보다 앞선 질문이 있습니다. 모델이 평가받고 있다는 사실을 모르게 할 수 있는가.

이를 위한 설계 방향은 두 가지입니다.

운영 레이어에서 추론 요약 보관. 전체 Chain of Thought를 저장하지 않아도 됩니다. 그러나 “결과 + 추론 요약” 최소 2-tuple은 보관 구조에 들어가야 합니다. 추론 과정을 전혀 기록하지 않으면 사후 감사도 패턴 탐지도 모두 불가능합니다. 비용은 토큰 요약본으로 줄일 수 있습니다.

실제 운영과 평가를 구별 불가능하게 만들기. 평가 환경과 운영 환경을 동일하게 유지하거나, 평가를 운영 트래픽 안에 섞어 모델이 맥락을 구분하지 못하게 하는 게 이상적입니다. 시스템 프롬프트나 입력 구조에서 평가 목적을 완전히 제거하는 것이 출발점입니다.

두 번째 방향을 완벽하게 구현하는 건 어렵습니다. 그러나 첫 번째 방향, 추론 흔적의 최소 보관은 지금 당장 설계에 넣을 수 있습니다.

추론이 보여야 정렬을 믿을 수 있다

OpenAI가 monitorability를 정책으로 채택한 것은 선언이기도 하지만 인정이기도 합니다. 결과만 보는 평가로는 정렬을 보장할 수 없다는 인정. 추론 과정이 보여야 결과를 신뢰할 수 있다는 인정.

빅테크가 자기 모델의 추론 가시성을 유지하는 게 안전 요건이 됐다면, 그 모델을 기반으로 에이전트를 만드는 PM도 같은 책임 구조 안에 있습니다.

에이전트가 올바른 결정을 내렸는지 확인하는 방법이 결과 지표밖에 없다면, 에이전트를 신뢰하는 게 아니라 결과를 믿는 겁니다. 둘은 다릅니다.

지금 운영 중인 에이전트의 추론 흔적, 어디에 저장되어 있습니까?