52%의 기업이 이미 AI 에이전트를 프로덕션에 넣었고, 74%는 1년 안에 ROI를 확인했습니다. 숫자만 보면 “에이전트는 이미 증명됐다”는 결론이 나올 것 같습니다.

그런데 더 중요한 숫자는 따로 있습니다.

Databricks 조사에서 거버넌스 도구를 갖춘 조직이 AI 프로젝트를 12배 더 많이 프로덕션에 올린다는 결과가 나왔습니다. 모델 성능의 차이가 아닙니다. 운영 설계의 차이입니다.

그리고 2026년 5월, 한국이 세계 최초로 AI 기본법을 시행했습니다.

미국에는 아직 연방 단위 AI 법이 없습니다. EU AI Act는 고위험 시스템부터 단계별 적용 중입니다. 한국이 먼저 치고 나갔습니다. “규제 = 혁신의 발목”이라는 시각이 있습니다. 저는 다르게 봅니다. 한국 AI 기본법이 요구하는 투명성, 책임성, 설명가능성은 결국 잘 작동하는 에이전트가 처음부터 가져야 할 것들입니다.

에이전트를 설계하는 PM이라면 지금이 중요한 전환점입니다. 법은 새 제약이 아니라, 이미 필요했던 설계 레이어를 명문화한 것입니다.

거버넌스를 “규정 준수 체크리스트”로 보면 운영에서 무너진다

한국 AI 기본법이 시행됐을 때 많은 팀이 첫 번째로 하는 반응이 있습니다. “법무팀에 물어봐야겠다.” “리스크 관리 체크리스트를 만들자.”

이 반응은 절반만 맞습니다.

규정 준수는 거버넌스의 하한선입니다. 하한선을 지킨다고 에이전트가 운영에서 살아남지는 않습니다. 실제 문제는 다른 곳에 있습니다.

보안 연구자들이 HEARTBEAT 사례를 공개했습니다. AI 에이전트 보안 레이어에서 파일명을 미세하게 변조(HEARTBEATa.md)하는 것만으로 키워드 기반 필터를 전부 우회할 수 있었습니다. 필터가 없어서가 아니라 설계 방식이 잘못됐기 때문입니다. 키워드 매칭은 의도를 읽지 못합니다.

와튼 스쿨 연구는 다른 측면을 보여줍니다. AI 성능이 높아질수록 인간의 검증 의지가 낮아집니다. **인지적 항복(Cognitive Surrender)**입니다. 에이전트가 잘할수록, 사람은 “뭔가 잘못되고 있다”는 신호를 더 쉽게 놓칩니다. 거버넌스 설계가 없으면 이 문제를 구조적으로 해결할 수 없습니다.

결론은 단순합니다. 거버넌스 없는 에이전트 자동화는 PoC는 됩니다. 운영은 못 갑니다.

Anthropic의 Dario Amodei는 “사이버 보안이 프런티어 AI의 첫 번째 명확한 위험”이라고 공개 선언했습니다. 빅테크 CEO가 자사 모델의 위험성을 1순위로 명시한 첫 사례입니다. 거버넌스는 운영 리스크 관리에서 능력 자체의 위험성 관리로 축이 이동하고 있습니다.

에이전트 거버넌스의 3개 실행 레이어

체크리스트가 아니라 설계 레이어로 접근해야 합니다. 저는 3개 레이어로 정리합니다.

1. 의도 레이어 (Intent Layer)

에이전트마다 단 하나의 의도를 명확히 선언해야 합니다. “영업 데이터 분석” 에이전트가 고객 개인정보 데이터베이스까지 읽을 수 있다면 그것은 범위 초과입니다. 의도가 명확하지 않으면 경계가 없습니다. 경계가 없으면 감사 로그가 무의미해집니다.

한국 AI 기본법은 AI 시스템의 사용 목적을 명확히 할 것을 요구합니다. 법이 원하는 것과 좋은 설계가 원하는 것이 겹칩니다.

# 에이전트 의도 선언 예시 (CLAUDE.md 스타일)
agent_name: "sales-data-analyst"
intent: "분기별 영업 데이터를 분석하고 요약 리포트 생성"
allowed_data:
  - sales_db
  - product_catalog
forbidden_data:
  - customer_pii
  - hr_records
approval_required: true   # 외부 시스템 쓰기 전 인간 승인 필수
audit_log: true           # 모든 실행 기록 추적

이 선언이 없으면 어느 시점에서든 “이 에이전트가 왜 이 데이터를 봤는가”를 증명할 수 없습니다. 법적 책임 소재가 불투명해집니다.

2. 승인 레이어 (Approval Layer)

에이전트가 외부 시스템에 쓰기 작업을 하거나 돌이킬 수 없는 실행을 할 때는 인간 승인 게이트를 설계해야 합니다. “1회 승인이 곧 영구 승인”이 아닙니다.

이것은 UX 설계 문제이기도 합니다. 스탠퍼드 연구에서 AI 챗봇의 아첨(sycophancy) 패턴이 응답의 70% 이상에서 확인됐습니다. 단순히 감정 추론 고지 옵션 하나를 추가했더니 AI 과개입 비율이 32.4%에서 14.1%로 줄었습니다. 거버넌스는 필터링이 아니라 구조 설계입니다.

한국정보통신기술협회(TTA)가 2026년 5월 AI 보안 표준 PG507을 제정했습니다. 70명의 전문가가 참여한 산업별 AI 에이전트 신뢰성 검증 프레임워크입니다. 법적 표준과 운영 설계가 같은 방향을 가리키기 시작했습니다.

3. 감사 레이어 (Audit Layer)

에이전트가 무엇을 했는지, 왜 했는지를 추적 가능해야 합니다. “블랙박스 자동화”는 감사 가능성이 없어 법적 책임 소재를 증명할 수 없습니다.

Anthropic은 Claude Code에 실시간 보안 가이드를 내장했습니다. 에이전트가 코드를 작성하는 단계에서 보안 안전장치를 실시간으로 적용하는 방식입니다. 보안이 옵션이 아니라 도구에 내장된 레이어로 이동하는 흐름입니다.

감사 레이어가 없으면 PoC에서 프로덕션으로 넘어가는 순간 리스크 표면이 제어 불가능해집니다.

한국 AI 기본법이 PM에게 실제로 묻는 것

법 조문을 읽는 것보다 먼저 해야 할 질문이 있습니다.

“지금 내가 설계하는 에이전트는 6개월 후에도 운영 가능한 구조인가?”

AI 기본법이 요구하는 투명성, 책임성, 설명가능성은 법적 요건이기 이전에 엔터프라이즈 고객이 에이전트 도입 시 가장 먼저 묻는 질문들입니다. “이 에이전트가 왜 이 결정을 내렸는지 설명할 수 있습니까?” “잘못됐을 때 누가 책임집니까?” “언제든 멈출 수 있습니까?”

88%가 AI 에이전트를 도입하지만 33%만 스케일하는 격차의 핵심 원인이 여기 있습니다. 기술이 아닙니다. 설계입니다.

미국 Google, Microsoft, xAI가 정부 사전 보안 검증을 동시에 확장하기 시작한 것도 같은 신호입니다. 삼성이 AWS Bedrock Agent Core로 200개국 1,500개 이상의 앱에 에이전트를 프로덕션 전환한 것도 거버넌스 레이어를 먼저 설계했기 때문입니다. 규모가 커질수록, 규제가 강해질수록, 배포 범위가 넓어질수록 운영 비용이 기하급수적으로 올라갑니다. 거버넌스 레이어 없이는.

에이전트 경쟁력의 기준이 바뀌고 있습니다. “모델이 더 똑똑한가”가 아닙니다. “규제 환경 안에서 도는 운영 설계를 갖췄는가”입니다.

지금 당장 점검할 것 3가지

첫째, 의도 선언: 각 에이전트의 역할, 접근 가능 데이터, 금지 행동이 코드 레벨에서 명시돼 있습니까?

둘째, 승인 게이트: 돌이킬 수 없는 실행 전에 인간 확인 단계가 설계돼 있습니까?

셋째, 감사 로그: 에이전트의 모든 의사결정이 추적 가능한 형태로 기록됩니까?

세 가지 중 하나라도 “아직”이라면 지금이 고칠 타이밍입니다. 한국 AI 기본법이 시행됐다는 것은 이 설계 레이어가 이제 선택이 아니라는 뜻입니다.

기술이 아니라 설계 문제입니다. 그리고 그 설계는 법이 시행되기 전에 완성돼 있어야 합니다.

당신이 지금 만들고 있는 에이전트는, AI 기본법이 시행된 이후에도 같은 방식으로 운영될 수 있습니까?

#AI거버넌스 #에이전트설계