보안 성과 데이터가 모델 가치를 정당화한다 — 한 달이 15개월을 앞섰다
Claude Mythos Preview가 Firefox 팀의 4월 보안 버그 수정 건수를 직전 15개월 합산보다 많게 만들었다. alexalbert와 emollick이 검증한 이 수치는 모델 가치가 벤치마크가 아니라 실측 성과 데이터로 정당화되는 시대의 첫 신호다.
4월 한 달, Firefox 팀이 수정한 보안 버그 건수가 직전 15개월 합산을 넘어섰다.
이 숫자를 처음 공개한 건 Anthropic의 @alexalbert__다. Claude Mythos Preview와 함께한 결과였고, 그는 이것이 마케팅 수치가 아니라 실제 운영 데이터임을 강조했다. Wharton의 Ethan Mollick(@emollick)도 같은 날 “hype가 아니다 — 일반 모델이 익스플로잇을 잘 찾는다”고 확인했다.
1 대 15. 이 비율이 이상한 게 아니다. 보안 버그 찾기는 AI가 잘하는 일의 전형이다.
그런데 이 데이터가 중요한 건 성능 수치 때문이 아니다. 모델 가치를 설명하는 언어가 바뀌었기 때문이다.
지금까지 모델 선택의 기준은 대부분 벤치마크였다. MMLU 몇 점, 코딩 태스크 승률 몇 퍼센트. 이 숫자들은 구매 결정에 쓰기 어렵다. “벤치마크 5점 높은 모델이 우리 팀 생산성을 얼마나 올리는가”는 아무도 답할 수 없다.
Mythos 데이터는 다르다. “4월 한 달 동안 보안 버그 수정 건수가 직전 15개월보다 많았다”는 문장은 비용·시간·인력으로 환산할 수 있다. CFO한테도 설명된다. 이게 처음으로 나온 진짜 ROI 언어다.
왜 보안이 모델 가치 측정의 1차 영역이 됐을까.
세 가지가 맞아떨어졌다. 첫째, 측정이 가능하다. 버그 수정 건수는 셀 수 있다. 창의적 글쓰기나 전략 조언은 성과를 정의하기 어렵지만 취약점 탐지는 아니다. 발견됐거나, 안 됐거나.
둘째, 인간 최상위와 비교가 된다. Dario Amodei는 “Claude Mythos가 인간 최상위 보안 엔지니어 수준”이라고 했다. 보안 엔지니어는 희소하고 비싸다. 모델이 그 수준에 도달했다면 비교 기준이 존재한다.
셋째, 위협이 실재한다. Dario가 반복적으로 쓴 표현이 있다. “Cyber is the first clear and present danger.” AI가 방어 도구로 먼저 쓰이지 않으면 공격 도구로 먼저 쓰인다. Project Glasswing은 그 답이다 — 프론티어 모델이 직접 소프트웨어 취약점을 찾아내는 첫 표준 사례.
OpenAI도 GPT-5.5-Cyber를 비슷한 방향으로 움직이고 있다. Mollick이 예측한 대로다: “OpenAI, Google도 유사한 결과가 나올 것, 오픈모델은 8개월 내.”
AI PM이 여기서 꺼내야 할 질문은 하나다.
우리 팀이 도입할 모델의 가치를, 우리는 지금 어떤 언어로 설명하고 있는가.
벤치마크 점수로 설명하는 팀은 예산 심의에서 진다. “4월에 15개월치 버그를 잡았다”처럼 실측 성과로 설명하는 팀은 이긴다. 지금은 그 언어를 먼저 확보하는 팀이 에이전트 도입의 주도권을 갖는 시점이다.
당신 팀의 1달이 몇 달과 같아야, 모델 가치가 정당화되는가?