"AI 인프라, IT부서 넘어 경영진도 전략적으로 봐야...3가지 질문 중요"
||2026.05.28
[디지털투데이 황치규 기자]"AI 인프라가 IT 부서에서 선택하는 문제를 넘어 기업 경쟁력을 결정하는 전략적인 요소다."
STT GDC코리아 허철회 대표는 "AI 인프라는 디지털 주권과 국가 경쟁력을 좌우한다"면서 "아무리 뛰어난 AI 비전이라도 인프라 전략이 제대로 갖춰지지 않으면 실패할 수 있다. 인프라는 더 이상 IT 부서 고려 사항이 아닌 전략적 차별화를 만드는 핵심 요소"라고 강조했다. IT부서를 넘어 경영진이 관심을 가져야 한다는 얘기였다.
STT GDC는 아시아 6개국 644개 기업을 대상으로 조사한 내용을 기반으로 AI 인프라 준비도 리서치 결과를 발표했다.
STT GDC는 AI 인프라 준비도를 측정하기 위해 전략, 조직 준비도, 데이터 거버넌스, 플랫폼 수준, 운영 전략 5가지 영역을 평가하고 탐색(Exploring), 구축(Building), 통합(Integrating), 선도(Leading) 4단계로 분류했다.
조사 결과 전체 응답 기업 중 탐색 단계가 12%, 구축 단계가 71%, 통합 단계가 16%였다. AI를 실질적인 비즈니스 경쟁력으로 활용하는 선도 단계에 도달한 기업은 1%에 그쳤다.
허철회 대표는 "AI 도입을 시작한 기업은 많지만 실제로 비즈니스에 통합해 경쟁력을 만드는 단계까지 간 기업은 매우 제한적"이라고 말했다.
STT GDC는 기업들이 AI 관련해 직면한 구조적인 어려움도 부각했다. 조사 결과 우선 전체 기업 56%가 예산 제약과 투자 대비 효과 측정에 어려움을 겪고 있었다.인프라 문제도 두드러졌다.
허 대표는 "AI 워크로드는 향후 3년 내 72% 급증할 것으로 예상되지만 컴퓨팅·스토리지·네트워크 인프라는 이를 따라가지 못하는 상황이다. 네트워크 병목을 경험하는 기업 비율은 82%에 달했다"면서 "GPU 확보만으로 AI를 바로 쓸 수 있는 게 아니다. 워크로드에 맞는 환경 조성, 운영 전문성, 거버넌스를 포함한 통합적 준비가 필요하다"고 말했다.
한국은 아시아 시장에서 앞선 인프라 준비도를 보이는 국가로 평가됐다. 구축 단계 67%, 통합 단계 30%, 선도 단계 2%로 전체 평균보다 높은 수준을 보였다.
한국이 인공지능 모델 보유 수에서 미국·중국에 이어 세계 3위를 기록했고, 인구당 AI 특허 수와 AI 이용률 증가폭은 세계 1위라는 점도 긍정적 지표로 제시됐다. 허철회 대표는 "한국은 이미 AI가 실제로 돈이 된다는 것을 증명한 시장"이라며 "더 이상 도입이나 검증 단계가 아닌 통합·선도 단계로 도약하는 중"이라고 평가했다.
한국 기업들은 확장 단계에서 이런 저런 병목 현상에 직면하는 것으로 나타났다. 한국 기업들은 AI 인프라 선택 시 보안과 안정성을 가장 중요하게 보는 가운데, 실제 운영 확장 과정에서 전문 인력 부족과 운영 역량 미흡이라는 문제를 겪고 있는 것으로 파악됐다.
인프라 구축에는 최소 12~18개월이 소요되는 반면 AI 기술은 6~9개월 단위로 빠르게 변화해 물리적 인프라 추가만으로는 변화 속도를 따라가기 어려운 구조도 문제로 꼽혔다.
허철회 대표는 선도 기업들 사이에서 나타나는 공통점으로 3가지를 꼽았다. 인프라를 중앙 집중형이 아닌 분산형으로 설계한 것, 지속 가능성과 에너지 효율을 초기 설계 단계부터 반영한 것, 전략적 파트너십을 적극 활용해 유연한 확장 구조를 만든 것이다.
그는 AI 인프라 관련해 기업들이 답해야 할 핵심 질문 3가지도 제시했다. AI 인프라를 어디에 구축할 것인지, 어떻게 운영할 것인지, 누가 운영할 것인지다. 허 대표는 "이 세 가지 질문에 대한 답이 기업이 다음 단계로 넘어갈 수 있는지를 결정하는 핵심 요소"라며 "경쟁력은 알고리즘뿐 아니라 인프라, 운영 역량, 그 위에서 이뤄지는 전략적 선택에 의해 결정된다"고 말했다.
1
3
4
5
