AI가 보고서를 요약하거나 문구를 작성하는 수준이라면 결과가 마음에 들지 않을 때 수정하거나 삭제하면 됩니다. 잘못된 답변 하나가 나와도 대부분은 사람이 확인한 뒤 쓰기 때문입니다.
하지만 AI Agent가 기업 시스템에 연결돼 실제 업무를 처리하기 시작하면 이야기가 달라집니다. 고객에게 이메일을 발송하고, 쇼핑몰 상품 가격을 바꾸고, 환불을 처리하는 AI라면 결과물은 글이 아니라 실제 업무 처리입니다. 한 번 실행된 작업은 고객 신뢰, 매출, 정산 문제로 바로 이어질 수 있습니다.
삼성SDS 역시 AI가 기업 시스템과 연결되는 과정에서 보안과 거버넌스를 중요한 요소로 제시했습니다. 지금도 필요한 이야기지만, AI Agent의 권한과 실행 범위가 커질수록 더 현실적인 문제가 됩니다.
글을 만드는 AI와 일을 처리하는 AI는 위험의 크기가 다릅니다
생성형 AI는 틀린 정보를 말할 수 있습니다. 물론 문제지만 사람이 검토하는 과정이 있다면 피해를 막을 여지가 있습니다. 반면 업무 시스템에 연결된 AI Agent는 잘못 판단한 내용을 실제 행동으로 옮길 수 있습니다.
예를 들어 “재고가 부족한 상품의 가격을 조정해 달라”는 요청을 받았다고 해보겠습니다. AI가 대상 상품이나 할인 범위를 잘못 이해하면 의도하지 않은 가격이 즉시 노출될 수 있습니다. 환불도 마찬가지입니다. 고객 문의를 분류하는 수준과 환불 승인·처리까지 맡기는 일은 전혀 다른 문제입니다.
그래서 앞으로 중요한 기술은 AI를 더 잘 생성하게 만드는 기술만이 아니라고 봅니다. AI가 어디까지 행동할 수 있는지, 누가 확인하고 멈출 수 있는지를 설계하는 AI 통제 기술이 함께 갖춰져야 합니다.
AI Agent에는 처음부터 실행 통제 흐름을 넣어야 합니다
기업용 AI Agent를 구축할 때는 권한 → 승인 → 실행 → 로그 → 버전관리 → 롤백의 흐름을 처음부터 고려하는 편이 좋습니다. 나중에 문제가 생긴 뒤에 붙이려 하면, 이미 여러 시스템과 연결된 권한을 다시 정리해야 해서 더 복잡해집니다.
권한은 AI가 접근할 수 있는 업무와 데이터를 제한하는 장치입니다. 고객 정보를 조회할 수 있는 AI와 가격을 변경할 수 있는 AI의 권한은 같으면 안 됩니다. 가능하면 조회, 초안 작성, 실행 권한을 나누는 것이 안전합니다.
승인은 금액이 크거나 고객에게 직접 영향을 주는 업무에서 특히 필요합니다. AI가 환불 요청을 검토하고 처리안을 만들 수는 있어도, 일정 금액 이상은 담당자의 확인 후 실행되도록 두는 방식입니다. 모든 업무에 사람 승인을 넣으면 자동화 의미가 줄어들 수 있으니, 위험도가 높은 작업에 기준을 두는 것이 현실적입니다.
로그와 롤백은 문제가 생겼을 때를 위한 최소 장치입니다
AI가 어떤 지시를 받았고 어떤 데이터를 참고했으며 무엇을 실행했는지는 남아 있어야 합니다. 그래야 고객 문의나 사고가 발생했을 때 원인을 추적할 수 있습니다. 단순히 “AI가 처리했다”는 기록만으로는 부족합니다. 누가 요청했고, 어떤 기준으로 판단했으며, 어느 시스템의 값을 바꿨는지 확인할 수 있어야 합니다.
버전관리도 필요합니다. 프롬프트나 업무 규칙을 수정한 뒤부터 이상한 실행이 늘어났다면 이전 설정으로 되돌릴 수 있어야 합니다. 가격, 재고, 상태값처럼 변경 전후 비교가 중요한 업무는 롤백 방법까지 함께 정해두는 편이 낫습니다.
처음부터 모든 업무를 맡길 필요는 없습니다
AI Agent 도입을 검토한다면 고객 메일 초안 작성, 문의 분류, 내부 데이터 조회처럼 사람이 최종 확인하기 쉬운 업무부터 시작하는 방법이 적합합니다. 이후 처리 정확도와 로그를 확인하면서 제한된 범위의 실행 권한을 부여하면 됩니다.
AI가 얼마나 똑똑한지보다, 실수했을 때 어디서 멈추고 누가 되돌릴 수 있는지가 기업 시스템에서는 더 중요할 수 있습니다. 업무를 대신하는 AI일수록 자유롭게 움직이게 하기보다 사람이 지시하고 체크할 수 있는 구조 안에서 움직이게 해야 합니다.
