AI 서버를 구축하려면 GPU를 확보하고, 서버를 설치할 건물을 마련하면 될 것처럼 보입니다. 그런데 대규모 AI 데이터센터에서는 그다음 문제가 더 크게 나타납니다. 서버를 계속 돌릴 전기를 구하는 일입니다.
최근 Microsoft가 영국의 한 AI 데이터센터 프로젝트에서 빠졌다는 소식도 이런 흐름과 맞닿아 있습니다. 해당 지역의 전력 공급이 2030년대까지 어려울 수 있다는 문제가 제기됐고, 사업자인 Nscale은 다른 전력 공급 방법을 찾고 있는 것으로 알려졌습니다. Microsoft는 계약 철회 이유를 직접 밝히지 않았습니다.
GPU를 샀는데 운영할 전력이 없는 상황
AI 모델을 학습하거나 많은 사용자의 요청을 처리하는 서버는 전력 사용량이 큽니다. 서버 자체뿐 아니라 열을 식히는 냉각 설비, 네트워크 장비, 전력을 안정적으로 나누는 시설도 함께 필요합니다.
그래서 “컴퓨터는 살 수 있는데 전기를 못 구한다”는 말이 과장이 아닌 상황이 됐습니다. 데이터센터 부지를 정했다고 바로 운영할 수 있는 것이 아니라, 전력망 연결 가능 여부와 공급 시점을 함께 확인해야 합니다.
AI 인프라 경쟁의 병목은 아래로 내려갑니다
한동안 AI 경쟁의 중심은 모델 성능이었습니다. 이후에는 고성능 GPU를 얼마나 확보하느냐가 중요한 조건이 됐습니다. 지금은 데이터센터, 전력, 냉각, 송전망까지 인프라의 가장 아래 단계가 사업 일정을 좌우하는 경우가 늘고 있습니다.
GPU는 구매하거나 임대할 수 있지만, 지역 전력망을 늘리고 대규모 전력을 연결하는 일에는 긴 시간이 걸릴 수 있습니다. 냉각에 필요한 물과 설비 여건도 지역마다 다릅니다. 서버를 많이 갖추는 것만으로 AI 인프라를 완성하기 어려운 이유입니다.
중소기업은 구축 규모보다 사용 방식을 따져볼 때입니다
이런 환경에서는 일반 중소기업이 대규모 GPU 서버를 직접 구축하는 판단을 더 신중하게 할 필요가 있습니다. 초기 장비 비용만 계산해서는 부족합니다. 전력 계약, 설치 공간, 냉각 비용, 운영 인력, 실제 사용량까지 함께 봐야 합니다.
AI 사용량이 크지 않거나 수요 변화가 큰 업무라면 Cloud API를 활용하는 편이 현실적일 수 있습니다. 반대로 개인정보를 외부로 보내기 어렵거나, 반복적으로 처리하는 내부 업무가 있다면 필요한 범위에서 Local AI를 운영하는 방식도 생각해볼 수 있습니다.
현실적인 선택지는 하이브리드 구조입니다
모든 작업을 클라우드나 자체 서버 한쪽에만 몰아넣기보다, 업무 성격에 따라 나누는 하이브리드 구조가 실용적입니다. 대규모 추론이나 일시적으로 사용량이 늘어나는 작업은 클라우드에서 처리하고, 민감한 문서 검색이나 정해진 내부 업무는 로컬 환경에서 처리하는 식입니다.
AI 인프라를 검토할 때 이제 GPU 사양만 비교해서는 안 됩니다. 우리 조직의 실제 AI 사용량이 어느 정도인지, 외부 API로 처리하기 어려운 데이터가 무엇인지부터 살펴보는 편이 구축 규모를 정하는 데 더 도움이 됩니다.
