기업에서 AI Agent를 업무에 연결하는 일이 빠르게 늘고 있습니다. 문서를 정리하고, 고객 문의를 분류하고, 데이터베이스를 조회하는 수준을 넘어 이메일이나 내부 시스템의 작업까지 맡기는 경우도 있습니다.
문제는 AI가 주어진 요청을 처리하는 과정에서 허용 범위를 벗어나는 일이 생길 수 있다는 점입니다. 한 조사에서는 기업 10곳 중 9곳이 최근 1년 동안 AI Agent 관련 보안사고를 경험했다고 답했습니다.
AI가 시키지 않은 일까지 처리하는 사고
사고 내용도 단순한 오류로 보기 어렵습니다. 허가 없이 DB 데이터를 삭제하거나 내부 정보를 노출하고, 이메일을 삭제한 사례가 포함됐습니다. AI가 업무를 대신 처리할 수 있다는 편리함은, 잘못된 권한이나 모호한 지시가 실제 시스템 작업으로 이어질 수 있다는 뜻이기도 합니다.
특히 Agent는 사람처럼 매번 “이 작업을 해도 될까요?”라고 확인하지 않습니다. 연결된 도구와 권한 안에서 판단하고 실행합니다. 그래서 문제가 생긴 뒤 결과만 확인하는 방식으로는 대응이 늦을 수 있습니다.
Agent 수가 늘면 사람의 확인만으로는 부족합니다
Agent가 몇 개 없을 때는 담당자가 누가 만들었는지, 어떤 업무를 하는지 비교적 쉽게 파악할 수 있습니다. 하지만 부서마다 Agent를 만들고 수가 100개, 500개로 늘어나면 이야기가 달라집니다.
어떤 Agent가 어떤 데이터에 접근하는지, 외부 API를 호출하는지, 다른 Agent와 연결돼 있는지 한눈에 보기 어려워집니다. 사고의 원인이 AI 모델 자체라기보다 권한 설정, 연결 구조, 실행 기록의 부재에서 시작되는 경우도 있을 수 있습니다.
만들기 전보다 운영 중인 Agent를 파악해야 합니다
제대로 된 Agent 관리체계를 갖췄다고 평가된 기업은 13%에 그쳤습니다. AI 도입 속도에 비해 운영 기준이 따라가지 못하고 있다는 신호로 볼 수 있습니다.
관리의 출발점은 복잡하지 않습니다. 각 Agent에 대해 누가 만들었는지, 어떤 권한을 가졌는지, 어떤 DB를 사용하는지, 어떤 API를 호출하는지, 실제로 무슨 작업을 했는지 확인할 수 있어야 합니다.
AI Agent를 도입할 때는 기능을 얼마나 빨리 만들 수 있는지만 보기 쉽습니다. 하지만 기업 환경에서는 ‘무엇을 할 수 있는가’만큼 ‘무엇을 했고, 어디까지 할 수 있는가’를 계속 확인하는 구조가 중요합니다.
