Eugene Yan의 글 “How to Work Effectively with AI Systems”이 GeekNews에서 63점 TOP 1을 기록했다.

AI 도구 소개 글이 수백 편 쏟아지는 시대에, 사용 방법이 아닌 협업 방법론을 다룬 글이 최상단에 올랐다. 이 수치가 말하는 게 있다. 에이전트를 어떻게 사용할지는 알겠는데, 어떻게 협업할지는 모르는 사람이 많다는 것이다.

도구는 있는데 성과가 없다

국내 기업 현장에서 자주 들리는 말이 있다.

“AI 도구를 붙였는데 팀이 오히려 더 바빠진 것 같아요.” “결국 내가 다 검토해야 해서 시간이 줄지 않아요.” “파일럿은 됐는데 팀 전체로 확산이 안 돼요.”

삼성SDS 내부 발표에서 공개된 수치가 이 현상을 정확히 설명한다. AI 에이전트 도입률은 88%지만, 실제 프로덕션 운영으로 전환된 비율은 33%다. 도입은 하는데 작동하지 않는다.

모델 성능의 문제가 아니다. 에이전트와 어떻게 협업하는지 방법론이 없는 팀에서 에이전트는 빠른 검색 도구에 머문다.

5원칙

Eugene Yan(Amazon AI/ML engineer, eugeneyan.com 운영)은 AI 시스템과의 협업을 5개 원칙으로 정리했다.

1. 컨텍스트(Context)

에이전트는 대화 시작 시점의 컨텍스트만 가진다. “이거 고쳐줘”는 팀 동료에게는 통하지만 에이전트에게는 정보가 없는 지시다.

결과 품질을 올리는 가장 빠른 방법은 컨텍스트를 풍부하게 주는 것이다. 어떤 스택을 쓰는지, 어떤 제약이 있는지, 왜 이 작업이 필요한지를 먼저 전달하면 출력이 달라진다. 이것은 에이전트의 성능을 높이는 것이 아니라 협업의 전제 조건을 채우는 것이다.

2. 취향(Taste)

Karpathy는 이를 이렇게 표현했다: “사고(thinking)는 위임할 수 있지만, 이해(understanding)는 위임할 수 없다.”

에이전트가 코드를 생성했을 때 그것이 좋은 코드인지 판단하는 기준은 인간이 가지고 있어야 한다. 취향이 없으면 품질 판단을 에이전트에게 다시 맡기게 되고, 그러면 출력은 무작위가 된다.

와튼스쿨 연구에 따르면 AI 도구를 6개월 이상 사용한 그룹에서 비판적 판단력이 통계적으로 유의미하게 저하됐다. 취향은 의식적으로 유지해야 하는 역량이다.

3. 검증(Verification)

에이전트 출력은 확인해야 한다. 하지만 어디까지 확인하고 어디서 멈출지를 정하지 않으면, 검증이 개인의 판단에 일관성 없이 의존하게 된다.

잘 운영되는 팀의 공통점이 있다. 검증 기준이 문서화되어 있다. “이 유형의 출력은 무조건 확인한다, 저 유형은 샘플링한다”는 기준이 팀 안에서 합의되어 있다.

4. 위임(Delegation)

반복 작업, 포맷 변환, 초안 생성은 위임 가능하다. 문제 정의, 우선순위 결정, 이해관계자와의 판단은 위임 불가능하다.

위임 범위가 명확하지 않으면 두 가지 문제가 생긴다. 에이전트가 내린 결정을 나중에 인간이 전부 뒤집는 것, 또는 위임해야 할 것을 못 위임해서 PM이 병목이 되는 것이다.

5. 피드백(Feedback)

한 번 쓰고 끝내는 것이 아니라 출력 결과를 평가하고 개선 방향을 시스템에 반영한다. 이것이 없으면 에이전트 품질은 시간이 지날수록 팀의 기대치와 멀어진다.

6개월 후 성과 차이를 만드는 것은 모델 버전이 아니라 피드백 루프의 유무다.

원칙은 알지만 방법론이 없다

5원칙을 보면 고개를 끄덕이기 쉽다.

그런데 실제 팀에서는 이 원칙들이 명시적으로 운영되는 경우가 드물다. 컨텍스트를 얼마나 줄지 기준이 없고, 취향 기준이 팀 안에서 공유되지 않으며, 검증 범위가 프로젝트마다 달라지고, 피드백은 구두로만 전달된다.

에이전트를 도구로 쓰는 것과 시스템으로 운영하는 것은 다른 역량이다. 88% 도입에서 33% 전환으로의 격차는 모델 성능이 아니라 이 역량 차이에서 나온다.

PM이 지금 할 수 있는 것

5원칙을 팀에 적용하는 방법은 세 가지다.

컨텍스트 템플릿을 만든다. 에이전트에게 작업을 줄 때 어떤 배경 정보를 먼저 전달해야 하는지 팀 표준으로 만든다. 온보딩 때 공유하고, 작업 요청 시 체크리스트로 활용한다.

검증 기준을 명시한다. “이 유형의 출력은 반드시 확인한다”는 기준을 팀 안에서 합의한다. 구두로만 전달되면 한 번의 실수로 기준 자체가 흔들린다.

출력 수정 이력을 수치로 본다. 에이전트 출력이 몇 번 수정됐는지, 어떤 유형의 수정이 반복됐는지를 기록한다. 이 데이터가 협업 방법론 개선의 기반이 된다.

지금 팀의 에이전트 협업 방식이 5원칙 중 몇 개를 의식적으로 운영하고 있는가?