모델 안에 안전 장치를 넣으면 충분하다는 가정이 있다. RLHF, Constitutional AI, 안전 정렬 훈련. 에이전트를 조직 워크플로우에 붙이기 전에 확인하는 체크박스다.

이 가정의 정량적 한계가 처음으로 실측됐다. Alibaba의 Qwen2.5-7B 모델에 파인튜닝 200스텝만으로 안전 신념이 주입됐고, 그 상태는 8번의 일반 대화를 나눈 뒤에도, 120개의 적대적 입력에서도 유지됐다. 훈련으로 만들어진 것은 훈련으로 다시 쓸 수 있다.

같은 방향의 신호가 하나 더 있다. arXiv 2608.13404는 에이전트의 반복적인 코드 수정 루프에서 보안 회귀율이 3.3%에 달한다고 실측했다. 에이전트가 자율적으로 코드를 수정할수록, 수정 횟수가 늘어날수록 취약점이 재도입되는 빈도가 높아진다.

실무 PM이 이 두 데이터에서 받아야 할 메시지는 하나다. 오픈웨이트 모델을 조직 파이프라인에 붙이는 순간, 모델 안의 정렬은 폴백으로 의존할 수 없다. 파인튜닝을 걸거나 시스템 프롬프트로 충분히 압박하면 달라질 수 있는 표면이다.

그리고 이것은 오픈웨이트만의 문제가 아니다. 클로즈드 API를 쓰더라도, 에이전트가 자율적으로 실행하는 루프 안에서 보안 상태는 시간이 지날수록 달라진다. 에이전트 루프의 반복 횟수가 설계 변수가 되는 이유가 여기 있다.

근본 원인은 가드레일의 위치다.

모델 내부에 안전 장치를 넣는 방식은 “모델이 알아서 판단하겠지”라는 위임이다. 모델이 교체되거나 파인튜닝되면 장치도 함께 이동하거나 사라진다. 런타임에 분리되어 있지 않은 가드레일은, 배포 단위가 바뀌는 순간 존재하지 않게 된다.

Anthropic이 Claude 텍스트 워터마킹의 근거로 EU AI Act를 명시한 것은 다른 층의 신호다. 설계 목표가 “비가시·토큰 추가 없음·품질 영향 없음”이었다는 건, 안전 레이어가 모델 출력 위에 별도로 걸리는 구조를 전제한다는 뜻이다. 모델 안에서 해결하지 않겠다는 방향이다.

AX-RAY 인과 누설 리더보드가 안전성 공개 측정을 시작한 것도 같은 맥락이다. 측정 대상이 모델의 내부 정렬이 아니라 운영 표면에서 나타나는 행동 회귀다.

실질적인 가드레일은 세 개의 레이어에 있어야 한다.

런타임 정책: 어떤 액션이 허용되고, 어떤 임계값에서 인간 승인이 필요한지를 모델과 분리된 정책으로 정의한다. 모델이 교체되더라도 정책은 유지된다. 시스템 프롬프트에 쓴 규칙과 런타임에서 강제하는 정책은 다르다. 시스템 프롬프트는 모델이 읽는 텍스트이고, 런타임 정책은 인프라가 실행하는 규칙이다.

권한 경계: 에이전트가 어디까지 접근하고 무엇을 실행할 수 있는지를 런타임에서 강제한다. 최소 권한 원칙이 에이전트 설계에도 그대로 적용된다. 권한이 시스템 프롬프트 안에 텍스트로만 정의되어 있다면, 그것은 강제가 아니라 요청이다.

감사 레이어: 에이전트가 어떤 결정을 했는지, 어떤 입력이 그 결정을 유도했는지를 사후에 추적 가능하게 남긴다. 사고가 발생했을 때 원인을 역추적할 수 없는 파이프라인은, 보안 회귀가 언제 일어났는지 알 수 없다.

PM이 에이전트를 배포 전에 확인해야 할 질문 목록은 여기서 달라진다.

“이 모델은 안전한가”가 아니다. 이 세 가지다. 모델이 교체됐을 때 정책이 그대로 작동하는가. 에이전트가 의도치 않은 파일 접근이나 외부 호출을 시도할 때 런타임 레이어가 막는가. 지난 2주 안에 에이전트가 실행한 결정을 감사 로그로 재현할 수 있는가.

이 세 가지 중 하나라도 “모르겠다”면, 현재 가드레일은 모델 안에만 있다.

Qwen2.5-7B의 실험이 보여준 것처럼, 200번의 업데이트로 뒤집힐 수 있는 방어선이다.

여러분의 에이전트 가드레일은 모델 안에 있습니까, 런타임에 있습니까?