GPU 다음은 전력이다…AI 경쟁의 진짜 병목으로 떠오른 데이터센터

AI 경쟁의 중심은 오랫동안 모델 성능에 있었다. 누가 더 많은 매개변수를 가진 모델을 만들었는지, 어떤 기업이 더 높은 벤치마크 점수를 기록했는지, 최신 GPU를 얼마나 확보했는지가 주목받았다. 그러나 기업들이 AI를 실제 업무에 적용하기 시작하면서 경쟁의 초점이 달라지고 있다.

이제 문제는 좋은 AI를 만들 수 있느냐가 아니라, 그 AI를 안정적으로 돌릴 수 있느냐다.

델 테크놀로지스가 8월 25일 서울 코엑스에서 공개한 조사에 따르면 국내 기업 응답자의 72%는 현재 데이터센터 환경이 대규모 AI와 분석 업무를 지원하기에 충분하지 않다고 답했다. AI 도입 자체에는 적극적이지만, 실제 운영 단계에서 기존 인프라가 한계에 부딪히고 있다는 의미다.

AI는 기존의 기업용 IT 시스템과 필요한 자원의 규모가 다르다.

일반적인 업무용 서버는 문서 처리와 데이터베이스 운영, 웹서비스를 중심으로 설계됐다. 반면 대규모 생성형 AI와 AI 에이전트는 막대한 연산을 동시에 처리해야 하고, GPU와 메모리, 초고속 네트워크를 끊임없이 사용한다.

AI 모델을 한 번 학습하는 데도 엄청난 연산량이 필요하지만, 실제 서비스 단계에서는 더 큰 문제가 생길 수 있다.

사용자가 늘어날수록 AI는 계속 답을 생성해야 한다. 한 사람이 챗봇에 질문하는 것은 작은 작업처럼 보이지만 수십만명, 수백만명이 동시에 이용하면 데이터센터 전체의 연산량과 전력 소비가 빠르게 증가한다.

그래서 AI 시대에는 모델 개발만큼 데이터센터가 중요해진다.

좋은 모델을 갖고 있어도 이를 돌릴 서버와 GPU가 부족하면 사용할 수 없다. GPU가 충분해도 전력을 공급하지 못하면 의미가 없고, 전력이 있더라도 발생하는 열을 식히지 못하면 장비를 안정적으로 운영할 수 없다.

AI 데이터센터는 결국 컴퓨팅·전력·냉각·네트워크가 동시에 작동해야 하는 거대한 시스템이다.

이 때문에 ‘GPU를 얼마나 확보했느냐’만으로 국가나 기업의 AI 경쟁력을 평가하는 방식에도 한계가 있다.

GPU는 핵심 자원임이 분명하다. 하지만 수천 장의 GPU를 확보했다고 해도 이를 설치할 공간과 전력망, 냉각설비가 없다면 사실상 사용할 수 없는 자산이 된다.

특히 최신 AI 반도체는 성능이 높아지는 만큼 소비전력과 발열도 커지고 있다.

기존 데이터센터가 CPU 중심으로 설계됐다면 단순히 GPU를 추가하는 것만으로는 충분하지 않을 수 있다. 전력 배선을 바꾸고 냉각 방식을 개선하며 네트워크와 저장장치까지 다시 설계해야 한다.

델 조사에서 국내 응답자의 84%가 여러 구형 장비를 최신 서버와 스토리지로 통합하거나 전환하는 데이터센터 현대화를 계획하고 있다고 답한 것도 이런 변화와 연결된다.

기업 입장에서는 부담이 크다.

AI를 도입하려면 모델 개발 비용만 드는 것이 아니다.

서버와 GPU를 구입해야 하고, 데이터센터를 확장하거나 클라우드 사용료를 지불해야 한다. 여기에 전력비와 냉각비, 보안 인력과 데이터 관리 비용까지 추가된다.

결국 AI의 비용 구조는 소프트웨어보다 인프라에 더 가까워질 수 있다.

AI 서비스 가격이 낮아지더라도 이용량이 빠르게 늘면 전체 연산 비용은 오히려 증가할 수 있다.

기업이 시험 단계에서 몇 명의 직원에게 AI를 제공할 때는 문제가 없지만, 전사적으로 수천 명이 사용하는 순간 데이터센터 부담은 전혀 다른 수준으로 커진다.

특히 AI 에이전트가 확산하면 연산량은 더 크게 늘어날 가능성이 있다.

기존 챗봇은 사용자가 질문하면 한 번 답하는 형태가 많았다. 반면 AI 에이전트는 사용자의 목표를 받아 여러 단계를 스스로 수행한다.

자료를 찾고, 문서를 읽고, 다른 시스템에 접속하고, 결과를 비교한 뒤 다시 판단하는 과정을 반복한다.

한 번의 요청이 수십 번의 AI 연산으로 이어질 수 있다는 뜻이다.

AI가 단순한 ‘질문 답변 도구’에서 실제 업무를 수행하는 시스템으로 변할수록 데이터센터 부담도 함께 커진다.

그래서 앞으로의 AI 경쟁은 모델의 지능뿐 아니라 연산을 얼마나 싸고 안정적으로 공급하느냐에서 갈릴 가능성이 크다.

여기서 전력이 핵심 변수로 등장한다.

데이터센터는 24시간 중단 없이 가동돼야 한다.

AI 연산이 커질수록 사용하는 전력도 증가하고, 데이터센터가 대형화될수록 지역 전력망에 미치는 영향도 커진다.

전력이 부족하면 데이터센터를 지어놓고도 서버를 충분히 돌리지 못하는 상황이 발생할 수 있다.

발전소에서 생산한 전기를 실제 데이터센터까지 전달하는 송전망 문제도 있다.

전력 생산량이 충분하다고 해도 데이터센터가 위치한 지역에 전력 인프라가 갖춰져 있지 않으면 공급이 어렵다.

그래서 AI 데이터센터 입지를 결정하는 과정에서는 땅값이나 통신망뿐 아니라 전력망 여유와 변전소, 송전선 확보가 중요한 조건이 된다.

정부가 AI 데이터센터를 국가 전략 산업으로 보고 별도의 민관 협력체를 만든 것도 이 때문이다.

과학기술정보통신부는 지난 7월 SK텔레콤과 네이버클라우드, LG전자, 카카오 등 약 400개 기업과 기관이 참여하는 ‘AI 데이터센터 얼라이언스’를 출범시켰다. 정부는 수요와 공급, 기반 분야를 나누고 대규모 AI 데이터센터 구축과 관련 산업의 수출산업화를 함께 추진한다는 계획이다.

정부가 앞서 발표한 전략에는 장기적으로 18.4GW 규모의 대규모 AI 데이터센터 구축 구상도 포함돼 있다. 이는 AI 데이터센터가 단순한 IT 시설이 아니라 국가 전력과 산업정책 차원에서 다뤄지는 시설로 변하고 있음을 보여준다.

하지만 데이터센터를 많이 짓는다고 모든 문제가 해결되는 것은 아니다.

전력 문제만큼 중요한 것이 냉각이다.

GPU는 고성능 연산 과정에서 많은 열을 발생시킨다.

열을 제대로 제거하지 못하면 장비 성능이 떨어지고 장애가 발생할 수 있다.

과거 데이터센터에서는 차가운 공기를 보내 서버를 식히는 공랭식 방식이 널리 사용됐지만, AI 서버의 발열량이 커지면서 액체를 활용해 열을 직접 제거하는 수랭식 냉각 기술이 중요해지고 있다.

냉각 효율은 결국 전력 효율과도 연결된다.

서버를 돌리는 데 전기를 사용하고, 그 서버를 식히기 위해 다시 전기를 사용하는 구조이기 때문이다.

같은 AI 연산을 수행하더라도 냉각 시스템의 효율에 따라 전체 운영비용이 크게 달라질 수 있다.

물 사용 문제도 생긴다.

일부 데이터센터 냉각 시스템은 상당한 양의 물을 필요로 한다.

대규모 AI 데이터센터가 특정 지역에 집중되면 전력뿐 아니라 용수 사용과 환경 부담도 지역사회 문제로 이어질 수 있다.

AI 인프라가 기술 정책을 넘어 에너지와 환경, 지역개발 정책으로 확장되는 이유다.

또 하나의 병목은 데이터다.

기업이 AI를 도입한다고 해서 내부 데이터를 모두 모델에 넣을 수 있는 것은 아니다.

고객 개인정보와 영업기밀, 금융정보, 연구개발 자료처럼 민감한 데이터가 많다.

델이 소개한 조사에서도 국내 기업들은 AI 도입 과정에서 보안과 규제, 데이터 거버넌스를 주요 어려움으로 꼽았다. AI 시스템을 구축해도 어떤 데이터를 어디까지 사용할 수 있는지 정리되지 않으면 실제 활용이 제한될 수 있다.

이 때문에 기업용 AI에서는 ‘어디에서 AI를 돌릴 것인가’가 중요한 문제다.

외부 클라우드에서 AI를 사용하면 빠르고 편리하지만 민감한 데이터를 외부 시스템으로 보내야 할 수 있다.

반대로 자체 데이터센터 안에서 AI를 운영하면 보안과 통제권은 높아질 수 있지만 투자 비용이 커진다.

기업마다 클라우드와 자체 데이터센터를 어떻게 조합할 것인지 전략이 달라질 수밖에 없다.

특히 금융과 의료, 공공기관처럼 데이터 규제가 강한 분야에서는 AI 성능만큼 데이터 위치와 접근권한이 중요하다.

AI 경쟁이 결국 데이터 주권 문제와 연결되는 이유다.

사이버보안 역시 데이터센터 현대화 과정에서 함께 봐야 한다.

AI가 기업의 핵심 업무에 연결될수록 공격자가 노릴 수 있는 대상도 늘어난다.

AI 모델 자체를 공격하거나 학습 데이터를 변조하는 방식, 사용자 권한을 탈취해 AI 에이전트가 잘못된 업무를 실행하도록 만드는 방식 등 새로운 보안 위험도 등장하고 있다.

과거에는 서버를 보호하는 것이 중심이었다면, 앞으로는 모델과 데이터, AI가 연결된 외부 시스템까지 함께 보호해야 한다.

결국 AI 인프라는 단순히 서버를 더 많이 설치하는 문제가 아니다.

업무 구조 자체를 AI에 맞게 바꾸는 과정도 필요하다.

델 측 역시 오래된 업무 프로세스 위에 AI를 단순히 덧붙이는 방식은 바람직하지 않다고 강조했다. AI를 제대로 활용하려면 기존 업무와 IT 시스템을 함께 다시 설계해야 한다는 의미다.

이 지점은 기업들이 AI 투자에서 가장 쉽게 놓칠 수 있는 부분이다.

많은 기업이 AI 모델 도입을 먼저 결정한 뒤 어떤 업무에 활용할지 고민한다.

하지만 실제로는 반대가 되어야 한다.

어떤 업무를 자동화하거나 개선할 것인지 먼저 정하고, 그 목표를 위해 필요한 모델과 데이터, 연산자원을 설계해야 한다.

그렇지 않으면 비싼 GPU와 데이터센터를 구축해놓고도 실질적인 생산성 향상으로 이어지지 않을 수 있다.

정부 역시 같은 고민을 해야 한다.

AI 데이터센터를 국가 전략산업으로 육성하는 것은 필요한 방향이지만, 시설 규모나 GPU 숫자만 목표로 삼아서는 안 된다.

얼마나 효율적으로 전력을 사용하는지, 국내 기업이 실제로 연산자원에 접근할 수 있는지, 지역 전력망과 환경 부담은 어떻게 관리할지까지 함께 봐야 한다.

특히 대기업과 스타트업 사이의 인프라 격차가 커지지 않도록 하는 문제도 중요하다.

대형 기업은 자체 데이터센터를 구축하거나 대규모 클라우드 계약을 맺을 수 있지만, 스타트업은 GPU 사용료 자체가 큰 부담이 될 수 있다.

AI 개발 능력이 있어도 연산자원을 확보하지 못하면 경쟁에서 밀릴 수 있다.

국가 차원의 AI 인프라 정책이 필요한 이유 가운데 하나가 바로 이런 진입장벽을 낮추는 데 있다.

AI 경쟁의 다음 단계는 그래서 모델보다 인프라에서 벌어질 가능성이 크다.

더 좋은 알고리즘을 개발하는 것만으로는 충분하지 않다.

누가 더 많은 GPU를 안정적으로 확보하는지, 누가 전력을 싸고 지속적으로 공급할 수 있는지, 누가 효율적으로 냉각하고 데이터를 안전하게 관리하는지가 실제 경쟁력을 결정하게 된다.

국내 기업의 72%가 기존 데이터센터로 대규모 AI를 감당하기 어렵다고 답한 것은 단순한 설문 결과가 아니다.

AI가 실험실과 시범사업을 넘어 실제 기업 업무로 들어가면서 기존 IT 인프라가 한계에 도달하고 있다는 신호에 가깝다.

AI 모델은 빠르게 발전한다.

하지만 데이터센터는 하루아침에 만들 수 없다.

전력망을 확충하고 부지를 확보하며 냉각설비와 서버를 구축하는 데는 수년이 걸릴 수 있다.

그래서 지금의 인프라 투자는 몇 년 뒤의 AI 경쟁력을 결정할 가능성이 크다.

한국이 AI 경쟁에서 필요한 것은 모델 하나의 성공만이 아니다.

그 모델을 수백만명이 동시에 사용할 수 있도록 떠받치는 전력과 데이터센터, 네트워크와 보안이라는 보이지 않는 기반이 필요하다.

GPU 경쟁의 다음 질문은 이미 시작됐다.

GPU를 얼마나 갖고 있느냐가 아니라, 그 GPU를 어디에서 어떤 전력으로 얼마나 효율적으로 돌릴 수 있느냐다.

AI 시대의 진짜 경쟁력은 화면 속 챗봇만으로 만들어지지 않는다.

그 뒤에서 24시간 돌아가는 데이터센터가 멈추는 순간, 가장 똑똑한 AI도 함께 멈춘다.