Qwen2.5-7B에 200번의 파인튜닝 스텝을 가했습니다. 그 결과, 모델의 안전 정렬 신념이 덮어씌워졌습니다. 이후 8회의 일반 대화와 120개의 적대적 질문에도 새로 주입된 신념은 유지됐습니다.

이건 흥미로운 연구 결과가 아닙니다. 오픈웨이트 모델 거버넌스의 구조적 취약점입니다.

모델 안의 가드레일은 재학습으로 지워진다

안전 정렬(Safety Alignment)이란 모델 학습 단계에서 “이것은 하지 않는다”는 행동 규칙을 심어두는 방식입니다. 대형 AI 연구소가 수개월의 인간 피드백 강화학습(RLHF)을 투입하는 이유입니다.

문제는 이 정렬이 모델 가중치 안에 저장된다는 점입니다. 모델 가중치는 파인튜닝으로 수정할 수 있습니다. 충분한 업데이트 스텝과 적절한 학습 데이터가 있으면 누구든 정렬을 덮어쓸 수 있습니다.

Reddit에 공개된 실험에 따르면 Qwen2.5-7B를 대상으로 200 update steps만으로 특정 신념을 주입하는 데 성공했습니다. 8회의 일반 대화를 거친 뒤에도 주입된 신념은 유지됐고, 120개의 적대적 질문을 통한 검증에서도 마찬가지였습니다.

이것이 의미하는 바는 하나입니다. 오픈웨이트 모델을 활용하는 에이전트 시스템에서 모델 내부의 정렬만으로 안전을 담보할 수 없습니다.

Anthropic이 워터마킹을 EU AI Act에 연결한 이유

같은 시기, Anthropic은 Claude 텍스트 워터마킹을 발표하면서 근거로 EU AI Act를 명시했습니다. 설계 목표는 세 가지였습니다. 비가시(invisible), 토큰 추가 없음, 품질 영향 없음.

이것은 선택적 기술 결정이 아닙니다. EU 시장 진입 요건이 제품 설계를 강제하는 구조입니다. 모델이 생성한 텍스트의 출처를 추적할 수 있어야 EU AI Act를 준수할 수 있고, 그 기술이 없으면 유럽 시장에서 배포할 수 없습니다.

또한 AX-RAY 같은 인과 추론 기반 리더보드가 외부 공개된다는 것은, 모델 제공사의 자기 선언만으로는 신뢰를 얻기 어려운 시대가 됐다는 신호입니다.

두 신호를 합쳐서 읽으면 결론은 하나입니다. 안전은 모델 학습 단계만으로 완성되지 않습니다. 배포·운영 레이어가 1차 방어선이어야 합니다.

런타임 거버넌스 3층 구조

에이전트 시스템에서 실용적인 가드레일 설계는 세 레이어로 이루어집니다.

승인 게이트. 에이전트가 외부 시스템에 쓰기 작업을 하거나 비가역적 행동을 할 때 인간의 명시적 승인을 요구하는 단계입니다. 모델이 “하지 않겠다”고 학습했더라도, 런타임에서 이 게이트를 통과해야만 실행됩니다. 모델 정렬과 독립적으로 작동한다는 점이 핵심입니다.

기각 로그. 에이전트가 어떤 도구를 호출하고, 어떤 결정을 내렸는지 추적 가능해야 합니다. 사후에 “어디서 잘못됐나”를 확인할 수 있어야 책임 귀속을 논할 수 있습니다. KYC 딥페이크 탐지처럼 단일 정확도 지표만으로는 판단이 불완전한 이유와 같습니다. 오차 5% 임계값에서의 재현율이 플랫폼마다 달라지기 때문입니다.

권한 분리. 에이전트가 접근할 수 있는 도구와 데이터를 최소 권한 원칙으로 제한합니다. 파일 읽기 권한이 있다고 삭제 권한까지 줄 이유가 없습니다. 에이전트가 인터넷 검색을 한다고 코드 실행 권한까지 묶어둘 이유가 없습니다.

이 세 레이어는 모델이 무엇을 학습했느냐와 무관하게 작동합니다. 정렬이 200번의 업데이트로 뒤집히더라도, 런타임 레이어는 여전히 살아 있습니다.

오픈웨이트를 쓰는 팀이라면

오픈웨이트 모델을 프로덕션에 배포한 팀이라면 이 질문을 확인해봐야 합니다.

모델 가중치에 접근할 수 있는 사람이 누구입니까? 파인튜닝 권한은 어디에 있습니까? 에이전트가 비가역적 작업을 실행하기 전에 승인 단계가 존재합니까?

비드래프트(non-draft) 방식으로 외부에 검증 가능한 거버넌스 레이어가 있습니까, 아니면 모델 학습 단계의 정렬에만 의존하고 있습니까?