기업 AI 업계에서 최근 ‘tokenmaxxing’(AI가 텍스트를 처리하는 토큰을 최대한 많이 소비하는 것 자체를 일종의 생산성이나 능력 지표로 여기는 실리콘밸리의 트렌드)이라는 표현까지 나오고 있습니다. AI를 빠르게 붙인 기업들이 예상보다 훨씬 많은 토큰, 즉 AI 처리량을 쓰기 시작했다는 뜻입니다. 처음에는 챗봇 몇 개와 문서 요약 기능 정도로 생각했던 비용이, 실제 운영 단계에서는 별도의 경영 이슈로 올라오는 분위기입니다.
특히 관련 조사에서는 AI를 도입한 조직 가운데 상당수가 당초 잡은 예산을 넘겼다는 지적이 나옵니다. AI 도입 자체가 잘못됐다는 이야기는 아닙니다. 다만 사용량 기반 과금 구조를 기존 소프트웨어 구독료처럼 생각하면 예산이 쉽게 흔들릴 수 있습니다.
사용자가 늘어서만 비용이 커지는 것은 아닙니다
사람이 직접 질문하고 답을 받는 AI라면 사용량을 어느 정도 예상하기 쉽습니다. 문제는 AI 에이전트입니다. 에이전트는 정해진 업무를 처리하기 위해 뒤에서 여러 번 AI를 호출할 수 있습니다. 자료를 찾고, 내용을 비교하고, 다시 요약하거나 검토하는 과정이 반복될 수 있기 때문입니다.
겉으로는 직원 한 명이 버튼을 한 번 누른 것처럼 보여도, 내부에서는 여러 차례 요청이 발생할 수 있습니다. 백그라운드에서 주기적으로 실행되는 업무까지 붙으면 비용 원인을 더 파악하기 어려워집니다. 월말 청구서를 보고 나서야 사용량이 많았다는 사실을 알게 되는 구조는 운영하기 좋지 않습니다.
AI 비용은 모델 단가보다 업무 설계가 좌우합니다
비용을 줄인다고 무조건 성능이 낮은 모델로 바꾸는 것이 답은 아닙니다. 정확도가 중요한 계약 검토나 고객 응대까지 일괄적으로 낮추면, 절감한 비용보다 재검토와 오류 대응 비용이 더 커질 수 있습니다.
대신 어떤 업무에 AI를 몇 번 호출하는지부터 봐야 합니다. 매번 긴 원문 전체를 보내고 있는지, 같은 자료를 반복해서 분석하는지, 사람이 확인하지 않아도 되는 작업까지 고성능 모델이 맡고 있는지 확인할 부분이 많습니다. 단순 분류나 짧은 초안 작성은 가벼운 모델로 처리하고, 중요한 판단이 필요한 구간에만 더 높은 성능의 모델을 쓰는 방식이 현실적입니다.
도입 단계부터 사용량 관리 화면이 필요합니다
기업 AI 시스템에는 기능 화면만큼 비용을 확인하는 화면도 필요합니다. 부서·기능·에이전트별 사용량을 나눠 보고, 특정 작업이 비정상적으로 반복될 때 알림을 받는 정도는 갖춰야 원인을 찾을 수 있습니다. 한도 설정도 필요하지만, 업무를 갑자기 멈추게 하는 방식보다는 초과 예상 시 담당자가 판단할 수 있게 알리는 편이 운영상 낫습니다.
AI는 직원 수만큼 계정을 사는 도구와 다릅니다. 잘 쓰이면 업무 시간을 줄여주지만, 설계 없이 자동화만 늘리면 비용도 함께 자동화됩니다. 지금 기업이 봐야 할 것은 AI를 도입했느냐가 아니라, 어떤 업무가 얼마만큼의 호출을 만들고 그 비용이 사업상 납득할 만한 수준인지입니다.
