AI 스타트업 서브쿼드래틱, LLM 병목 돌파 주장…외부 평가 공개

[디지털투데이 AI리포터] 미국 AI 스타트업 서브쿼드래틱(Subquadratic)이 대형언어모델(LLM)의 핵심 연산 병목을 풀었다고 주장하며 새 모델 '서브Q'를 공개했다. 19일(현지시간) MIT 테크놀로지 리뷰에 따르면 서브쿼드래틱은 서브Q가 기존 모델보다 더 빠르고 저렴하며 전력 소모도 적고, 한 번에 처리할 수 있는 텍스트 양도 더 많다고 밝혔다.

서브쿼드래틱은 트랜스포머의 핵심 연산인 밀집 어텐션 대신 희소 어텐션을 적용했다고 설명했다. 기존 LLM은 토큰 간 관계를 광범위하게 계산해 문장이 길어질수록 연산량이 제곱 수준으로 늘어난다. 서브쿼드래틱은 중요한 일부 관계만 골라 계산해 이 병목을 줄였다고 주장했다.

초기에는 자체 시험 점수만 일부 공개해 회의론도 컸다. AI 엔지니어 댄 맥아티어는 엑스에 서브Q가 '트랜스포머 이후 최대 돌파구이거나 AI 테라노스일 수 있다'고 썼다. 이후 서브쿼드래틱은 외부 평가 업체 앱펜의 추가 시험 결과를 공개했다.

앱펜 평가에서 서브Q는 이론상 최대 처리 속도를 보는 시험에서 플래시어텐션 기반 모델보다 56배 빨랐다. 코딩 벤치마크 '라이브코드벤치'에서는 89.7%를 기록했다. 앱펜은 서브Q가 코딩 분야에서 최전선급 성능을 보인다고 평가했다.

장문 처리 능력도 강점으로 제시됐다. 서브Q의 컨텍스트 윈도는 최대 1200만 토큰으로, 현재 주요 모델의 100만 토큰 수준보다 길다. 앱펜의 '니들 인 어 헤이스택' 시험에서는 600만 토큰과 1200만 토큰 환경에서 98%를 기록했다. 알렉스 웨던 공동창업자 겸 최고기술책임자(CTO)의 시연에서는 400개 문서를 바탕으로 한 작업에 몇 초 만에 답했고, 퍼플렉시티는 같은 작업에서 400개 문서를 모두 불러오지 못했다.

비용 주장은 아직 검증이 더 필요하다. 저스틴 댄절 공동창업자 겸 최고경영자(CEO)는 엔비디아의 RULER 128 시험 기준으로 앤트로픽의 오퍼스 4.6 구동 비용이 2600달러였고, 서브Q는 8달러였다고 말했다. 다만 서브Q는 아직 널리 공개되지 않아 실제 운영 비용 비교는 제한적이다.

남은 쟁점도 있다. 서브쿼드래틱은 서브Q를 처음부터 학습시키지 않고 중국 오픈소스 모델 큐웬의 한 버전 가중치를 활용해 개발을 시작했다. 업계에서 흔한 방식이지만 LLM 작동 방식을 완전히 다시 만들었다는 회사 주장까지 입증한 것은 아니라는 지적이 나온다. 오픈AI 출신 독립 연구자 윌 디퓨는 공개된 근거만으로는 제곱형 어텐션 병목을 해결했다는 강한 주장까지 뒷받침되지는 않는다고 말했다.