비큐AI는 자체 구축한 단계적 사고(CoT·Chain-of-Thought) 데이터셋을 활용해 초경량 소형언어모델(sLLM) ‘RDP-N1’을 개발했다고 16일 밝혔다. 이번 모델은 오픈소스 7B(70억 파라미터) 기반 모델을 파라미터 효율적 미세 조정(Parameter-Efficient Fine Tuning, PEFT) 방식으로 학습했다.

비큐AI에 따르면 이번 모델은 양자화 기술로 모델 용량을 29기가바이트(GB)에서 7.1GB로 줄였다. 이를 통해 EM·ROUGE·BLEU·KoBERT 유사도 등 주요 지표에서 최대 93% 성능 향상을 달성했다.

CoT 데이터는 정답 제공 외에도 정답에 도달하는 추론 과정을 함께 학습하도록 설계된 데이터다. 예를 들어 ‘답은 A’에 그치지 않고, ‘추론 근거와 판단 조건을 단계적으로 제시해 결론에 이르는 과정’을 포함한다.

비큐AI 관계자는 “CoT 데이터는 수작업으로 구축하기 어려워, 로우데이터를 기반으로 질의응답과 추론 과정을 생성하고, 상용 고성능 거대언어모델(LLM)로 자동 평가해 오답·모순을 제거하는 단계적 검증 체계를 적용했다”며 “이 과정을 통해 고신뢰 데이터만 선별해 학습에 활용했다”고 밝혔다.

홍주연 기자
jyhong@chosunbiz.com