메타 "라마4, 10만개 이상 GPU 클러스터로 훈련…역대 최대 규모"

[디지털투데이 AI리포터] 마크 저커버그 메타 최고경영자(CEO)가 내년 초 출시될 '라마 4'(Llama 4) 모델 훈련에 10만개 이상의 엔비디아 H100 칩을 사용하고 있다고 밝혔다.

31일(현지시간) 블룸버그에 따르면 저커버그는 3분기 실적 발표에서 "라마4가 개발 단계에 있으며, 현재 10만개의 H100보다 더 큰 클러스터에서 이 모델을 훈련하고 있다. 이는 다른 사람들이 하는 것보다 더 큰 규모"라고 말했다.

저커버그는 '다른 사람'이라며 경쟁사를 언급했는데, 이는 일론 머스크 테슬라 최고경영자(CEO)의 인공지능(AI) 스타트업 xAI를 의식한 것으로 보인다.

xAi는 앞서 출시한 슈퍼컴퓨팅 클러스터 '콜로서스'(Colossus)를 훈련시키기 위해 10만개의 H100 칩을 사용하고 있다고 밝힌 바 있다. 머스크는 xAi가 몇 달 안에 클러스터 규모를 두배로 늘려 20만개의 H100 및 H200을 사용할 계획이라고 말하기도 했다.

엔비디아의 H100 칩은 컴퓨팅 성능과 대규모 언어 모델 학습에 필요하며, 칩당 약 3~4만달러의 비용이 드는 것으로 알려졌다.

한편 저커버그는 라마4 모델에 대해 새로운 양식, 기능, 더 강력한 추론을 갖추고 훨씬 더 빠른 성능을 자랑할 것이라 말했다.