SKT “GPU, 빌려 쓰는 시대… ‘해인’통해 AI 난제 극복” [2026 AI&CLOUD]
||2026.05.12
대규모 언어모델(LLM)과 멀티모달 AI, AI 에이전트가 산업 전반으로 확산되면서 고성능 그래픽처리장치(GPU)는 더 이상 일부 빅테크만의 전략 자산이 아니라 국가 경쟁력을 좌우하는 핵심 기반으로 떠올랐다.
이런 가운데 SK텔레콤(SKT)이 엔비디아(NVIDIA) 최신 AI 칩 블랙웰 B200 기반 GPU 클러스터 ‘해인’을 앞세워 국내 AI 인프라 시장 공략에 속도를 내고 있다.
김명국 SKT GPUaaS사업담당은 12일 서울 중구 프레스센터에서 개최된 ‘AI&CLOUD 2026 콘퍼런스’에서 ‘AI 인프라의 성장: AI 팔만대장경 해인 클러스터를 중심으로’를 주제로 발표했다.
김 담당은 이날 발표에서 AI 산업 경쟁의 중심이 모델 개발에서 인프라 운영 역량으로 옮겨가고 있다고 진단했다. 과거 AI 경쟁이 더 좋은 알고리즘과 모델을 누가 먼저 확보하느냐의 싸움이었다면 이제는 대규모 컴퓨팅 자원과 에너지, 냉각, 보안, 운영체계가 결합된 ‘AI 팩토리’를 얼마나 안정적으로 구축하고 운용하느냐가 관건이라는 설명이다.
특히 AI 서비스가 산업 전반으로 확산되면서 컴퓨팅 자원은 단순한 IT 설비가 아니라 기업과 국가의 미래 성장성을 결정하는 전략 자산으로 바뀌고 있다고 강조했다.
SKT가 내세운 해인 클러스터는 이러한 흐름 속에서 구축된 GPUaaS 인프라다. GPUaaS는 기업이 고가의 GPU를 직접 구매하거나 데이터센터를 자체 구축하지 않고, 클라우드처럼 필요한 만큼 GPU 연산 자원을 빌려 쓰는 서비스형 모델이다.
해인 클러스터는 엔비디아 최신 AI 칩인 블랙웰 B200 GPU 1000장 이상을 단일 클러스터로 구성한 인프라다. 이는 국내 최대 규모이자 최고 성능의 B200 기반 GPUaaS다. ‘해인’이라는 이름에는 한국형 소버린 AI 인프라를 구축하겠다는 의미가 담겼다. SKT는 팔만대장경이 보관된 해인사에서 모티브를 얻어 해인 클러스터가 디지털 시대의 ‘AI 팔만대장경’을 품은 인프라가 되겠다는 뜻을 담았다.
해인 클러스터는 정부의 AI 인프라 정책과도 연결돼 있다. 해인 클러스터 기반 GPUaaS는 과학기술정보통신부의 ‘AI-컴퓨팅 자원 활용 기반 강화’ 이른바 GPU 임차 지원 사업에 선정됐다.
김 담당은 GPU 확보만으로는 AI 인프라 경쟁에서 이길 수 없다고 강조했다. 그는 “GPU 인프라 병목은 크게 두 가지다. 하나는 수요 폭증과 공급 부족, 가격 급등에 따른 ‘확보’의 문제다”라며 “다른 하나는 확보한 GPU를 실제로 얼마나 효율적으로 배분하고 사용하는지에 관한 ‘활용’의 문제로, 여러 팀이 동시에 GPU를 필요로 하는 상황에서 자원 배분과 멀티테넌시, 거버넌스 체계가 부족하면 GPU가 있어도 제대로 쓰지 못하는 문제가 발생한다”고 말했다.
이에 SKT가 해인 클러스터에서 강조한 핵심 경쟁력은 단순한 GPU 규모가 아니라 운영 탁월성이다. 김 담당은 “구슬이 서 말이라도 꿰어야 보배인 것처럼, GPU도 마찬가지”라며 “대규모 GPU를 확보하더라도 초기 클러스터 설정, 장애 복구 대응, 스토리지와 네트워크 안정성, 작업 스케줄링이 뒷받침되지 않으면 실제 고객이 체감하는 성능은 떨어질 수밖에 없다”고 했다.
SKT는 해인 클러스터 운영 효율을 높이기 위해 자체 개발 솔루션을 전면에 내세웠다. AI 운영관리 플랫폼도 핵심 축이다. SKT는 서비스 포털을 통해 사용자별 자원 사용량을 실시간으로 조회하고, 운영자와 고객 간 기술 지원과 협업이 가능하도록 했다.
AI 운영관리 솔루션은 데이터 준비부터 LLM 개발, 학습, 검증, 서비스 배포까지 AI 개발 전 과정을 자동화하고, 효율적 스케줄링을 통해 학습 시간을 줄이는 역할을 맡는다. 이를 통해 신속 장애 대응 체계 가용성을 99.968% 수준으로 유지하고 있다.
김 담당은 “SKT는 CUDA 드라이버, 패브릭 매니저의 어댑티브 라우팅, 커널·네트워크 튜닝, 펌웨어 관리 등 전 계층 최적화를 수행했다”며 “이를 통해 GPU 사용률은 전체 평균 90% 이상을 달성했고, LLM 학습 성능은 H200 대비 1.3배 수준에서 2.2배 수준으로 개선됐다”고 설명했다.
해인 클러스터는 고객사에게도 높은 만족도를 제공 중이다. 동일 B200 GPU 대비 TPS 80% 향상을 기록, 데이터 로딩 시간도 8시간에서 8분으로 단축시켰다. 모델 성능 테스트에서도 토큰 사용량이 52% 절감됐으며 LLM학습 성능도 H200대비 2.2배 성능이 향상됐다.
김 담당은 “AI시장이 확대됨에 따라 차근차근 관련 사업을 확장시키고 있으며, SK그룹이 갖고 있는 메모리, 반도체 등 그룹 역량을 총 동원해 AI 솔루션을 발전시키고 있다”며 “AI 기반 시설의 유무와 상관없이 SKT가 가장 최적의 AI 서비스 환경을 제공해 난제 해결에 도움을 드리겠다”고 말했다.
김동명 기자
simalo@chosunbiz.com
1
3
4
5
