[디지털투데이 AI리포터] 로컬 PC 사양을 분석해 실행 가능한 대규모언어모델(LLM)을 추천하는 CLI 도구 LLM 체커(LLM Checker)가 공개됐다.

6일(현지시간) 온라인 매체 기가진에 따르면, LLM 체커는 사용자의 하드웨어를 스캔한 뒤 로컬 환경에서 구동 가능한 LLM과 소형언어모델(sLLM)을 추천하는 도구로, 올라마(Ollama)와 완전 통합된 것이 특징이다. 도구에는 200개 이상의 올라마 카탈로그가 포함돼 있으며 필요 시 최신 정보로 동기화할 수 있다.

공식 깃허브에 따르면 LLM 체커는 GPU와 CPU, 메모리, 가속화 백엔드 등을 자동으로 감지한다. 애플 실리콘과 엔비디아 CUDA, AMD ROCm, 인텔 Arc 등을 지원한다. 또 4D 점수 산정 엔진을 통해 품질과 속도, 적합성, 컨텍스트 등을 종합적으로 평가해 사용 목적에 맞는 모델을 추천한다.

메모리 사용량 예측 기능도 제공한다. 모델의 파라미터당 바이트 계산식을 실제 올라마 모델 크기와 비교해 필요한 자원을 추정한다. 순수 자바스크립트 기반으로 개발돼 Node.js 16 이상 환경에서 실행 가능하며, 모델 출력과 함께 초당 토큰 처리 속도도 실시간으로 확인할 수 있다.

설치 과정에서는 Node.js와 npm이 필요하다. 이후 명령어를 통해 하드웨어를 탐지하고 코딩, 추론, 멀티모달 등 분야별 추천 모델을 확인할 수 있다. 로컬 SQLite 카탈로그를 최신 올라마 참조 정보로 갱신하는 기능도 지원한다.

실제 AI 실행 기능은 올라마와 연동해 동작한다. 사용자는 추천된 모델을 내려받은 뒤 프롬프트를 입력해 결과를 확인할 수 있다. 실행 과정에서 필요한 모델이 없을 경우 적절한 pull 명령어를 안내하며, 설정이 완료된 이후에는 간단한 옵션만 추가해 반복 실행할 수 있다.

전문가들은 올라마 기반 로컬 AI 환경을 구축하려는 사용자라면 LLM 체커가 적합한 모델 선택과 실행 과정을 지원하는 유용한 도구가 될 수 있다고 평가했다.

• 지란지교그룹 제이시큐리티, 한국 R&D 법인 '제이시큐리티엑스' 설립
• 국가유산부터 은행 영업점까지…K-AI 모델, 현장 적용 확대
• AI 투자 다음 대박은 어디?…골드만삭스 '한국·대만' 콕 집었다
• 접는 화면이 다가 아니다…애플, 폴더블폰 승부처는 SW?
• AI 체험·응원 굿즈 제작"… KT, 광화문 온마루서 월드컵 팝업 운영