오픈소스 커뮤니티에서 작은 실험 하나가 돌았습니다.

연구자는 AI 에이전트 보안 레이어를 테스트했습니다. HEARTBEAT.md라는 파일명을 HEARTBEATa.md로 바꿨을 뿐입니다. 알파벳 하나를 덧붙인 것인데, 에이전트의 보안 필터는 이 파일을 등록되지 않은 대상으로 처리했습니다. 검사를 통과시켰습니다.

키워드 매칭 방식의 에이전트 보안이 이런 방식으로 무력화된다는 것을 보여준 사례입니다.

에이전트가 달라졌으니 보안도 달라져야 합니다

과거의 AI 도구는 답변을 생성했습니다. 에이전트는 행동을 실행합니다. 파일을 읽고, 코드를 쓰고, API를 호출하고, 데이터베이스를 수정합니다. 공격 표면이 텍스트 출력에서 실행 권한으로 이동했습니다.

Dario Amodei는 올해 4월 공개적으로 밝혔습니다. “사이버는 프런티어 AI의 첫 번째 명확하고 현존하는 위험입니다.” 앤트로픽 CEO가 모델 성능이나 정렬 문제가 아니라 보안을 1순위로 지목한 첫 선언이었습니다.

백악관도 AI 사이버 보안 태스크포스를 공식 구성했습니다. 거버넌스가 업계 자율 사안에서 정책 의무로 격상된 신호입니다.

키워드 필터의 구조적 한계

현재 에이전트 보안의 주류는 특정 문자열이 등장하면 차단하는 키워드 필터입니다. “delete”, “rm -rf”, “drop table” 같은 위험 명령어를 사전에 목록으로 등록하고, 그 단어가 나오면 실행을 막습니다.

HEARTBEAT 실험이 보여준 것은 이 방식의 구조적 결함입니다. 공격자가 파일명을 미세하게 바꾸거나, 문자 사이에 눈에 보이지 않는 공백을 끼워 넣거나, 유니코드 동의 문자를 섞으면 키워드 필터는 통과됩니다.

The Verge는 같은 시기에 “Hackers learning to exploit chatbot personalities”를 보도했습니다. 이제 공격자는 에이전트의 성격, 대화 패턴, 페르소나를 역이용하는 사회공학 기법까지 씁니다.

키워드는 명사입니다. 의도는 문맥입니다. 문자열 매칭으로 의도를 잡는 것은 구조적으로 불완전합니다.

의도 파싱 레이어가 다음 표준입니다

오픈소스 프로젝트 Crucible이 보여주는 방향이 있습니다. 키워드·엔트로피·의미 유사도를 함께 쓰는 3중 탐지 엔진입니다. 90개의 적대적 공격 시나리오를 62초 안에 테스트합니다. OWASP Agentic AI Top 10 기준에 매핑된 거버넌스 검증 도구입니다.

Anthropic Project Glasswing은 이보다 한 단계 위입니다. AWS, Apple, Google, Microsoft, NVIDIA를 포함한 12개 기업이 참여한 세계 핵심 소프트웨어 보안 이니셔티브입니다. “에이전트를 보안 도구로” — 보안을 대응이 아니라 설계의 출발점으로 보는 관점의 제품화입니다.

에이전트 보안 설계에서 PM이 실제로 결정해야 할 세 가지가 있습니다.

명령의 의도를 파싱합니다. “이 파일을 삭제하라”는 명령이 정당한 워크플로에서 나왔는지, 사용자의 권한 범위 안에 있는지, 이 에이전트의 역할 정의와 부합하는지를 컨텍스트로 판단합니다. 단어가 아니라 상황을 읽습니다.

되돌릴 수 없는 행동에는 확인 게이트를 만듭니다. 파일 삭제, 결제 요청, 외부 API 호출처럼 되돌리기 어려운 행동은 에이전트가 직접 실행하지 않고 인간 승인을 요청하도록 설계합니다. 자동화의 속도를 어디서 의도적으로 늦출지가 설계 결정입니다.

감사 추적을 기본값으로 설정합니다. 에이전트가 무엇을 읽었고, 무엇을 결정했고, 무엇을 실행했는지를 재현 가능하게 기록합니다. 사고가 생겼을 때 추적할 수 없는 에이전트는 엔터프라이즈 환경에서 운영 단계에 진입하지 못합니다.

“자유도보다 제약이 신뢰성을 만든다”

AEP Protocol이 에이전트 UI 설계에서 제시한 원칙입니다. 에이전트에게 더 넓은 권한을 주는 방향이 아니라, 에이전트가 실행할 수 있는 영역의 경계를 설계하는 것이 PM의 일입니다.

에이전트 보안의 실패는 대부분 기술 부재가 아닙니다. 권한 경계를 명시하지 않고, 의도 검증 없이 에이전트를 업무 시스템에 연결한 결과입니다. HEARTBEAT 실험이 보여준 것도 그것입니다. 파일명 한 글자가 보안을 무너뜨린 게 아니라, 파일명만 보는 보안이 처음부터 불완전했던 겁니다.

여러분의 에이전트가 현재 접근할 수 있는 시스템 목록을 지금 바로 꺼낼 수 있습니까?