오픈AI 내부서 ‘추론 비용 절감법’ 공유?…챗GPT 운영비 낮추나

[디지털투데이 이윤서 기자] 오픈AI 엔지니어들이 인공지능(AI) 추론 비용을 절반 이하로 낮출 수 있는 최적화 기법을 내부에서 공유한 것으로 전해졌다.

1일(현지시간) 온라인 매체 기가진 및 디인포메이션 등 외신에 따르면 이 기법은 6월 초 오픈AI 내부에서 언급됐으며, 게스트 이용자용 챗GPT 처리 일부에 이미 적용된 것으로 알려졌다.

추론 비용은 사용자의 입력에 맞춰 AI 모델이 응답을 생성할 때마다 발생하는 운영비다. 챗봇, 코딩, API 호출처럼 실제 서비스 단계에서 반복적으로 들어가는 비용인 만큼, 대규모 AI 서비스를 운영하는 기업에는 수익성을 좌우하는 핵심 변수로 꼽힌다.

오픈AI 엔지니어들은 동료들에게 새 최적화 기법으로 추론 비용을 절반 이하로 억제하는 방법을 찾았다고 말한 것으로 전해졌다. 다만 구체적인 방식은 공개되지 않았으며, 해당 기법을 챗GPT 게스트 사용자에게 적용한 결과 엔비디아 GPU를 불과 약 200개까지 줄일 수 있었다고 한다.

이번 내용이 주목받는 이유는 학습 비용보다 추론 비용이 서비스 운영 단계에서 더 지속적으로 발생하기 때문이다. 최첨단 AI 모델 학습은 한 차례 대규모 투자가 이뤄지는 구조지만, 추론은 대화 응답과 API 요청, 에이전트 작업의 각 단계마다 반복해서 비용이 붙는다. 소프트웨어 최적화만으로 무료 이용 구간의 GPU 사용량을 크게 낮출 수 있다면, 단순한 하드웨어 계약 조정만으로는 얻기 어려운 수준의 운영비 절감 효과를 기대할 수 있다.

오픈AI의 비용 부담은 이미 시장에서도 꾸준히 거론돼 왔다. 업계 분석가 에드워드 지트론은 오픈AI가 2025년 상반기에만 추론 비용으로 50억달러 이상을 썼을 것으로 추정했다. 해당 금액은 당시 예상 매출을 크게 웃도는 수준으로 지적됐다.

이와 함께 업계에서는 어떤 방식의 최적화가 적용됐는지에 관심이 쏠리고 있다. 서버 활용 효율 개선이 비용 절감의 배경으로 거론되며, 이에 따라 더 효율적인 배치 처리, 캐시 재사용성 개선, 양자화, 단순한 질의를 더 저렴한 모델로 보내는 방식 등이 후보로 언급됐다. 다만 이런 추정은 외부 관측에 기반한 것이며, 실제로 어떤 기술 조합이 쓰였는지는 확인되지 않았다.

적용 범위도 아직 제한적으로 보인다. 현재 확인된 대상은 게스트 이용자용 챗GPT 일부 처리다. 무료 계정이나 유료 계정 이용자에게도 같은 방식이 적용되는지는 불분명하다. 오픈AI가 이 기법을 전체 서비스나 API 제품군으로 넓힐 수 있을지가 다음 관전 포인트다.

확장 적용이 가능할 경우 오픈AI의 선택지는 더 넓어진다. 업계에서는 오픈AI가 가격을 인하하거나, 칩을 추가 구매하지 않고 더 많은 에이전트 작업을 수용할 수 있다는 관측이 나온다. 특히 추가 데이터센터와 AI 칩 확보 경쟁이 격화하는 상황에서, 기존 서버 효율을 높여 마진을 방어하는 전략은 비용 측면에서 의미가 크다는 평가다.

결국 핵심은 오픈AI가 새 하드웨어를 대거 늘리지 않고도 서비스 운영비를 낮출 가능성을 보여줬다는 점이다. 실제 기법과 적용 범위가 더 확인될 경우, 챗GPT 가격 정책과 무료 사용량, AI 인프라 투자 전략에도 변화가 이어질 수 있다.

오픈AI 내부서 ‘추론 비용 절감법’ 공유?…챗GPT 운영비 낮추나

가격대별 인기 장기 렌트카

장기렌트 인기TOP