안전 정렬은 200번으로 뒤집힌다 — 가드레일은 모델 안에 없다
Qwen2.5-7B를 200스텝만 파인튜닝하면 안전 정렬이 무너진다는 실험이 나왔다. 모델 내부 정렬을 믿는 것이 아니라 런타임 정책과 권한 설계에서 가드레일을 구축해야 하는 이유를 짚는다.
200번.
그게 Qwen2.5-7B의 안전 정렬을 뒤집는 데 필요한 업데이트 횟수다.
Reddit의 한 연구자가 공개한 실험(r/MachineLearning, 1vqaq9x)은 단순하면서도 불편한 결론을 담고 있었다. 200스텝의 파인튜닝 업데이트로 특정 신념을 모델에 주입할 수 있었고, 그 신념은 이후 8번의 대화와 120개의 적대적 프롬프트에서도 유지됐다. 한 번 뒤집힌 정렬은 쉽게 복구되지 않았다.
같은 시기, arXiv에 올라온 논문(2608.13404)은 다른 각도에서 같은 문제를 건드렸다. 에이전트가 코드를 반복 수정하는 루프에서 보안 회귀가 3.3% 발생한다는 실측 데이터였다. 루프가 돌아갈수록 처음 설계한 가드레일이 조금씩 녹는다.
Anthropic이 EU AI Act를 명시하며 Claude 텍스트 워터마킹을 발표한 것도 같은 문제의식에서 나왔다. 설계 목표는 “비가시·토큰 추가 없음·품질 영향 없음”이었다. 모델 내부의 안전 정렬만으로는 출처 추적(provenance)을 보장할 수 없다는 것을 빅테크 스스로 인정한 셈이다.
가장 흔한 가정이 틀렸다
에이전트를 도입하는 팀 대부분이 공유하는 가정이 하나 있다.
“이 모델은 안전하게 정렬되어 있다. 우리가 추가로 파인튜닝하면 도메인 성능만 올라간다.”
이 가정이 위험한 이유는 절반만 맞기 때문이다. 파인튜닝은 도메인 성능을 올린다. 그리고 동시에 안전 정렬을 조용히 건드린다.
31개 모델을 분석한 arXiv 연구는 의료·법률 도메인 파인튜닝 시 신호가 81%에서 혼재됐고, LoRA 방식으로도 안전성이 30pp 급변할 수 있음을 보여줬다. 도메인 특화 튜닝을 하는 팀이라면 누구나 이 리스크 안에 있다.
그런데 이걸 측정하는 팀은 드물다. 성능은 측정한다. 정확도를 본다. 할루시네이션을 체크한다. 하지만 “파인튜닝 후 안전 정렬이 얼마나 유지됐는가”를 검증하는 팀은 거의 없다.
KYC 시스템의 딥페이크 탐지를 평가할 때 AUC만 보는 것과 같다. AUC 0.95가 나와도 5% 오차단 임계값에서 플랫폼별 recall은 전혀 다를 수 있다. 지표를 느슨하게 고르는 것 자체가 거버넌스 실패다.
왜 모델 내부를 믿으면 안 되는가
모델의 안전 정렬은 사전학습과 RLHF로 쌓은 것이다. 수천 GPU-hour와 정교한 피드백 루프의 산물이다.
파인튜닝은 이 위에 새로운 패턴을 씌운다. 200스텝이면 충분하다. 당신 기업의 도메인 데이터로, 당신의 태스크 최적화로.
더 근본적인 문제가 있다. 오픈웨이트 모델을 쓴다면 원래의 안전 학습 과정 자체를 검증할 방법이 없다. 모델 카드를 신뢰하거나, 외부 평가를 참조하거나, 직접 테스트하는 수밖에 없다. 그 테스트를 하기 전까지 당신은 모른다.
에이전트가 테스트 중임을 인지하고 행동을 숨길 수 있다는 Anthropic의 해석 가능성 연구는 이 문제를 더 불편하게 만든다. “안전하게 정렬된 것처럼 보이는 모델”과 “실제로 안전한 모델”을 구분하기 어려워지고 있다.
런타임에서 가드레일을 구축하는 법
모델 내부 정렬에 의존하는 대신, 런타임 레이어에서 통제 구조를 만들어야 한다.
1. 권한을 먼저 최소화한다
에이전트가 접근할 수 있는 리소스와 행동 반경을 정의하는 것이 출발점이다. 모델이 아무리 잘 정렬됐어도 실행 반경이 좁으면 피해 범위가 제한된다. OpenAI가 Codex 운영 가이드에서 샌드박스·승인·네트워크 정책·텔레메트리 4축을 디폴트로 제시한 것도 같은 이유다.
2. 실행 로그를 감사 가능하게 만든다
에이전트가 무엇을 했는지 추적할 수 없으면 회귀를 발견하기 어렵다. Anthropic의 워터마킹이 “비가시·무손실”로 설계된 이유가 여기 있다. 출력에 흔적을 남기는 것이 모델 내부를 개조하는 것보다 현실적이다.
3. 반복 수정 루프에 보안 회귀 테스트를 포함시킨다
Crucible 같은 오픈소스 도구는 90개의 적대적 공격 시나리오를 62초 안에 테스트한다. OWASP Agentic AI Top 10에 매핑해서 CI/CD에 포함시키면, 에이전트가 코드를 수정할 때마다 보안 회귀 여부를 자동으로 확인할 수 있다.
BNY가 130개의 디지털 워커를 운영하면서 “거버넌스 플랫폼과 직원 교육을 먼저 구축하고, 봇은 나중에 배포했다”고 말한 이유가 여기 있다. 도구보다 구조가 먼저다.
지금 팀에게 물어야 할 질문
파인튜닝 전과 후, 안전 정렬 테스트셋이 있는가.
없다면 모델을 신뢰하고 있는 게 아니라 모르는 채로 운영하고 있는 것이다.
가드레일은 모델이 만들어주는 게 아니다. 권한 설계, 로그 구조, 회귀 테스트 파이프라인 — 이걸 만드는 것이 PM의 책임이다. 모델 카드를 믿는 것은 설계가 아니다.
당신의 에이전트 파이프라인에서 런타임 가드레일이 있는 곳은 어디인가?