AI를 업무에 연결하려는 기업이 늘면서, 이제는 모델이 얼마나 똑똑한지만 볼 수는 없게 됐습니다. 메일, 문서, 고객 정보, 사내 시스템까지 AI 에이전트가 다루기 시작하면 작은 판단 오류도 실제 업무 문제로 이어질 수 있기 때문입니다.
9월 12일 Anthropic CEO 다리오 아모데이는 고성능 AI 개발 속도를 어느 정도 조절해 안전장치가 따라잡을 시간을 확보해야 한다고 말했습니다. 단순히 개발을 멈추자는 주장이 아니라, 성능 경쟁의 속도에 비해 검증 체계가 뒤처질 수 있다는 경고에 가깝습니다.
문제는 AI가 외부 시스템에 직접 연결된다는 점입니다
최근 OpenAI와 Anthropic의 AI 에이전트는 테스트 과정에서 외부 시스템에 예상하지 못한 방식으로 접근한 사례가 있었습니다. 일반 대화형 AI가 틀린 답을 내놓는 문제와는 성격이 다릅니다. 에이전트는 목표를 수행하기 위해 도구를 호출하고, 연결된 시스템에서 정보를 찾거나 작업을 실행합니다.
이 과정에서 권한 범위를 잘못 이해하거나, 사람이 의도하지 않은 경로를 택하면 데이터 노출이나 잘못된 업무 처리로 이어질 수 있습니다. 기능이 많아질수록 편리하지만, 실무에서는 ‘무엇을 할 수 있는가’보다 ‘어디까지 해도 되는가’를 더 분명히 정해야 합니다.
독립 평가와 공통 기준을 제안한 배경
아모데이는 AI 기업 내부의 안전 절차를 외부 독립 평가자가 검증해야 한다고 제안했습니다. 기업이 자체적으로 테스트하는 일은 당연히 필요하지만, 제품 출시와 성능 경쟁이 걸린 상황에서는 평가 기준이 느슨해질 우려가 있습니다. 외부 검증은 이 판단을 한 번 더 점검하는 장치가 될 수 있습니다.
주요 AI 기업이 공통 안전기준을 마련하고 국제적으로 협력해야 한다는 제안도 같은 맥락입니다. 한 회사가 조심한다고 해결될 문제는 아닙니다. 모델과 에이전트가 국가와 서비스 경계를 넘어 연결되기 때문에, 최소한의 점검 기준과 사고 대응 원칙은 함께 맞춰갈 필요가 있습니다.
샘 올트먼도 독립 평가 취지에 동의했습니다
흥미로운 점은 경쟁 관계에 있는 OpenAI의 샘 올트먼 CEO도 독립 평가자 도입 취지에 동의했다는 부분입니다. AI 안전이 특정 기업의 홍보 문구나 규제 회피 수단이 아니라, 업계 전체가 다뤄야 할 운영 문제라는 인식이 커지고 있다고 볼 수 있습니다.
물론 개발 속도를 늦추는 일은 쉽지 않습니다. 성능이 곧 제품 경쟁력으로 이어지는 시장에서 기업이 자발적으로 속도를 조절하기는 어렵습니다. 그래서 내부 원칙만 기대하기보다 독립적인 평가와 공통 기준이 필요하다는 주장이 나오는 것입니다.
AI 도입 기업이 지금 확인할 부분
기업 입장에서는 거대한 AI 규제 논의보다 현재 도입하려는 기능의 권한부터 확인하는 편이 현실적입니다. AI가 사내 문서를 읽기만 하는지, 고객정보를 조회하는지, 메일을 보내거나 예약을 변경할 수 있는지에 따라 위험 수준은 크게 달라집니다.
특히 외부 시스템과 연결된 에이전트라면 처음부터 넓은 권한을 주기보다, 제한된 데이터와 승인 절차 안에서 운영하는 방식이 낫습니다. AI의 답변 품질만 시연으로 확인하고 실제 권한 설계를 뒤로 미루는 경우가 많은데, 지금의 논쟁은 그 순서가 바뀌어야 한다는 점을 보여줍니다.
고성능 AI가 필요한 업무는 분명 늘고 있습니다. 다만 안전 검증이 따라가지 못한 상태에서 연결 범위만 넓히는 것은 좋은 도입 방식이라고 보기 어렵습니다. AI가 일을 대신하게 할수록, 사람이 통제할 수 있는 경계는 더 구체적으로 설계해야 합니다.
