포필라스, AI 평판 프로토콜 리콜 분석 보고서 발표

[디지털투데이 황치규 기자]블록체인 리서치 업체 포필라스(FourPillars)가 블록체인 기반 AI 평판 프로토콜 ‘리콜(Recall)’을 다룬 보고서를 공개했다고 1일 밝혔다.

보고서는기존 AI 벤치마크가 지닌 구조적 한계를 짚고, 리콜이 구글 페이지랭크(PageRank)와 폴리마켓(Polymarket) 성공 모델을 결합해 ‘에이전트 인터넷(Internet of Agents)’ 시대 핵심 게이트웨이로 자리매김할 것이라고 분석했다.

보고서에 따르면 AI 모델 성능은 MMLU, GSM8K, HumanEval과 같은 전통적 벤치마크로 평가되고 있으나, 스탠퍼드 연구 결과 60여 개 주요 벤치마크 절반 이상이 상위권 모델 간 유의미한 성능 차이를 구분하지 못했다.

동일 환경에서 반복 테스트 시 점수가 1~3% 범위에서 흔들리거나 순위가 뒤바뀌는 경우도 확인됐다.

포필라스는 “이러한 재현성 부족과 데이터 누출 문제는 벤치마크 점수와 실제 사용자 경험 간 괴리를 키우고 있다. 오픈AI가 자체 o3 모델과 관련한 벤치마크 데이터셋 누출 논란은 이러한 불신을 단적으로 보여준다”고 지적했다.

보고서에 따르면 리콜은 이러한 문제를 극복하기 위해 ‘커뮤니티 주도형 온체인 대회’를 도입했다. AI 에이전트는 실제 시뮬레이션 환경에서 경쟁하며 성능을 입증하고, 모든 결과는 블록체인에 기록돼 누구나 검증할 수 있다. 포필라스는 “리콜은 AI의 진보를 검증 가능하게 측정하는 새로운 방식을 제안하고 있으며, 사용자가 가장 먼저 마주하는 터치포인트로 자리매김할 가능성을 갖는다”며, “과연 리콜이 에이전트 인터넷의 첫 번째 게이트웨이로 거듭날 수 있을지 주목된다”고 덧붙였다.