[디지털투데이 AI리포터] 애플이 핀란드 알토 대학교와 협력해 인공지능(AI)이 모바일앱 인터페이스(UI)를 이해하도록 훈련된 비전언어모델(VLM) 'ILuvUI'을 소개했다. 이 모델은 스크린샷과 자연어 대화를 통해 앱 UI를 학습하며, 기존 AI보다 뛰어난 성능을 보인다고 한다.

15일(현지시간) IT매체 나인투파이브맥에 따르면 기존 AI는 자연 이미지를 인식하는 데 강점을 보였지만, 앱 UI처럼 구조화된 환경을 해석하는 데는 한계를 보였다.

이에 애플 연구팀은 오픈소스 VLM 라바(LLaVA)를 기반으로 UI 도메인에 특화된 데이터로 모델을 개선했으며, Q&A 스타일 상호작용, 화면 설명, 예측 행동 결과, 멀티스텝 계획을 포함한 데이터셋을 구축했다. 

이를 통해 ILuvUI는 기존 라바보다 뛰어난 성능을 입증했으며, 특히 사용자가 특정 화면 영역을 지정하지 않아도 전체 화면을 맥락적으로 이해할 수 있다는 점이 주목된다.

애플 연구팀은 ILuvUI가 접근성 향상과 자동 UI 테스트에 활용될 가능성이 높다고 평가했다. 또한, 향후 더 큰 이미지 인코더, 고해상도 처리, JSON 등 기존 UI 프레임워크와의 연동을 통해 모델을 발전시킬 계획이다. 최근 애플이 AI를 활용해 앱 내 행동을 예측하는 연구도 진행 중인 만큼, ILuvUI와 결합하면 접근성을 높이고 사용자 경험을 혁신할 가능성이 크다는 평가다.

• 전문가 매칭 플랫폼 ‘커리어데이’, 중기부 ‘창업도약패키지’ 선정
• MS 데스크톱용 '파이-4-미니-플래시-리즈닝' 출시…추론 성능 강화
• 日 엔지니어가 뽑은 개발자 경험 뛰어난 기업 1위 '구글'
• 카카오톡 기반 CS 챗봇 ‘챗봇나우’, 쇼핑몰 통합 관리 서비스 ‘사방넷’에 공급
• 대한전선, 해저케이블 2공장에 4972억원 투자