모델이 안전하다고 훈련받았다면, 그 안전성은 얼마나 오래 유지될까요?

최근 공개된 연구가 이 질문에 정량적인 답을 내놨습니다. Qwen2.5-7B를 대상으로 200번의 파인튜닝 업데이트를 적용했더니, 불과 8번의 대화 이후부터 주입된 신념이 120개의 적대적 질문에서도 일관되게 유지됐습니다. 안전 정렬이 뒤집힌 겁니다. 그것도 완전히.

이 연구가 불편한 이유는 단순합니다. 오픈웨이트 모델을 프로덕션에 배포한 뒤 파인튜닝 접근권이 생기는 순간, 공급망의 어느 지점에서든 이 공격이 가능합니다.

모델 안에 가드레일을 박을 수 없는 이유

AI 안전성을 모델 내부의 훈련 결과물로만 보는 관점에는 세 가지 맹점이 있습니다.

첫째, 정렬은 고정이 아닙니다. Qwen 연구(reddit r/MachineLearning)가 보여준 것처럼, 200번의 업데이트로 신념이 주입되고 이후 대화는 그 신념을 강화하는 방향으로 흐릅니다. 모델 체크포인트를 신뢰해도, 그 이후 파인튜닝 과정까지 통제하지 않으면 안전하지 않습니다.

둘째, 지표 선택 자체가 거버넌스입니다. KYC 딥페이크 탐지 연구에서 확인된 내용입니다. AUC 하나만으로 안전성을 판단하면 위험한 오작동 패턴을 놓칩니다. 오차단율 5% 임계값에서 플랫폼별 recall이 완전히 달라집니다. 측정 기준을 느슨하게 고르는 것, 그것 자체가 거버넌스 실패입니다.

셋째, 반복 수정 루프가 보안을 회귀시킵니다. arXiv 논문(2608.13404)이 실측했습니다. 에이전트 코드베이스를 반복 수정하는 루프에서 보안 속성이 평균 3.3%씩 회귀합니다. 한 번 안전하게 만든 코드도 에이전트가 계속 손대면 점점 취약해집니다.

런타임이 답인 이유

모델 내부 정렬만으로 충분하지 않다면, 무엇을 해야 할까요? 세 개의 레이어로 나눠 생각할 수 있습니다.

런타임 정책 레이어는 모델이 무엇을 할 수 있는지를 외부에서 제어합니다. 어떤 도구에 접근할 수 있는지, 어떤 외부 시스템을 호출할 수 있는지, 실행 전에 승인이 필요한 액션이 무엇인지를 코드와 설정 파일로 선언합니다. 모델이 “하고 싶어도” 못 하게 막는 구조입니다.

권한 분리 레이어는 에이전트가 접근할 수 있는 리소스의 범위를 최소화합니다. 읽기만 가능한 컨텍스트, 쓰기는 불가능한 시스템, 삭제는 인간 승인 없이 불가. 모델의 의도가 아니라 시스템 설계로 범위를 제어합니다.

관측·로그 레이어는 에이전트가 무엇을 했는지를 사후에 감사할 수 있게 만듭니다. Anthropic이 EU AI Act를 근거로 도입한 텍스트 워터마킹이 이 레이어의 공식화입니다. 설계 목표는 세 가지입니다. 비가시(사람 눈에 보이지 않음), 추가 토큰 없음, 품질 영향 없음. 모델 출력물의 계보(provenance)를 추적 가능하게 만드는 것, 이것이 이제 유럽 시장 진입의 전제 조건이 됐습니다.

PM이 지금 당장 확인해야 할 것

에이전트 시스템을 운영하거나 설계하는 PM이라면, 다음 세 가지를 점검하십시오.

[ ] 오픈웨이트 모델을 파인튜닝한 적 있다면:
    공급망 어느 지점에서 파인튜닝 접근이 가능한가?

[ ] 안전성 지표를 AUC 하나로만 보고 있는가?
    임계값별 recall을 함께 측정하고 있는가?

[ ] 에이전트 반복 수정 루프가 있다면:
    보안 속성을 별도로 회귀 테스트하고 있는가?

안전성을 측정하는 공개 리더보드(AX-RAY)가 출현했다는 것도 주목할 만한 신호입니다. 안전성이 이제 “내부 확인”이 아니라 “외부 비교 가능한 지표”로 이동하고 있다는 뜻입니다. 모델을 선택하는 기준에 안전성 리더보드 점수가 들어오는 날이 멀지 않았습니다.

가드레일을 모델 훈련 단계에서 박아놨다고 끝이 아닙니다. 오픈웨이트 시대의 가드레일은 런타임 정책·권한·로그라는 세 개의 외부 레이어 위에서만 지속됩니다.

안전성은 모델이 학습하는 것이 아닙니다. 시스템이 설계하는 것입니다.

당신의 에이전트 시스템에서 가드레일은 지금 어디에 있나요? 모델 안에만 있다면, 런타임 레이어를 점검할 시점입니다.