[디지털투데이 홍진주 기자] 오픈AI가 최신 인공지능(AI) 모델 GPT-5.6을 활용해 자사 AI 인프라를 직접 최적화하며 추론 비용을 낮추고 처리 효율을 높였다.

30일(현지시간) 온라인 매체 기가진에 따르면 오픈AI는 GPT-5.6 모델을 활용해 추론 엔진과 GPU 활용 방식을 개선한 결과, 고성능 모델인 GPT-5.6 솔(Sol) 기준 종단 간 서비스 비용을 20% 절감하고 토큰 생성 효율을 15% 향상시켰다.

이번 사례는 지난 7월 9일 공개된 GPT-5.6 시리즈의 운영 효율 개선 성과다. GPT-5.6 시리즈는 고성능 모델인 '솔', 균형형 '테라'(Terra), 저비용형 '루나'(Luna)로 구성된다. 이 가운데 GPT-5.6 솔은 경쟁 모델인 클로드 페이블 5와 비교해 절반 수준의 비용으로 높은 성능을 구현하는 모델로 소개됐다.

핵심은 GPT-5.6 솔이 자사 추론 인프라 최적화 작업에 직접 활용됐다는 점이다. 오픈AI는 AI 추론 엔진의 핵심 커널을 GPT-5.6 솔을 통해 개선했다고 설명했다. 모델은 GPU 프로그래밍 언어인 트라이톤(Triton)과 글루온(Gluon) 기반 커널 최적화 기법을 학습해 코드 효율을 높였고, 이를 통해 전체 서비스 운영 비용을 20% 줄였다.

추론 속도를 높이는 '투기적 디코딩'(Speculative Decoding) 방식도 개선했다. 이 기술은 소형 초안 모델이 먼저 다음 토큰을 예측한 뒤 대형 모델이 이를 검증하는 구조다. GPT-5.6 솔은 초안 모델의 성능 개선에도 활용됐으며, 그 결과 토큰 생성 효율이 15% 향상됐다고 회사는 밝혔다.

오픈AI는 이와 함께 KV 캐시 처리 방식과 GPU 작업 분배 시스템도 GPT-5.6을 활용해 최적화했다고 설명했다. 추론 과정에서 연산 자원을 보다 효율적으로 배분해 동일한 하드웨어에서도 더 많은 요청을 처리할 수 있도록 했다는 것이다.

에이전트 운영 방식도 손봤다. MCP 서버와 각종 스킬은 필요한 경우에만 호출하도록 변경했고, 도구 출력은 기본적으로 최대 1만 토큰으로 제한했다. 더 많은 출력이 필요한 경우에만 모델이 추가 요청하도록 설계했다. 또한 도구 호출 순서를 고정해 캐시 활용률도 높였다.

오픈AI는 이 같은 개선을 통해 에이전트 실행 과정의 불필요한 연산과 변동성을 줄이고, 추론 성능과 비용 효율을 동시에 높였다고 설명했다.

오픈AI는 "GPT-5.6이 추론 엔진과 하니스(harness) 개선에 크게 기여했다"며 "앞으로 최적화 속도는 더욱 빨라질 것으로 확신한다"고 밝혔다.

업계에서는 이번 사례가 AI 모델의 성능 경쟁을 넘어, AI가 스스로 AI 인프라를 최적화하는 단계로 발전하고 있다는 점에서 의미가 있다고 평가한다. 앞으로는 모델 성능뿐 아니라 자체적으로 서비스 운영 비용과 GPU 자원 활용도를 얼마나 개선할 수 있는지가 AI 경쟁력의 새로운 기준으로 떠오를 전망이다.

• 유니켐 10%이상주주 제이에이치사람들, 소유 주식 수량 100만주 증가…소유 지분율 7.86%p 상승
• DL이앤씨, 555억원 규모 자기주식 취득 신탁계약 체결 결정
• 이 정도면 다 살 줄 알았는데…로봇청소기, 아직도 대중화 못 한 진짜 이유
• 현대엔지니어링, 해비치컨트리클럽에 600억원 출자 결정
• 선광 심충식 부회장, 소유 주식 수량 62만925주 감소…소유 지분율 9.41%p 하락