성능은 GPT-5 앞섰다지만… 제미나이3, 안전성 ‘구멍’
||2025.11.30
구글이 공개한 최신 인공지능(AI) 모델 ‘제미나이 3 프로’에서 중대한 안전성 결함이 드러났다. 모델 출시 직후 실시된 레드팀 실험에서 제미나이 3가 고위험 생물·화학 물질 관련 정보까지 여과 없이 생성한 사실이 확인되면서 글로벌 AI 기업들의 안전 관리 체계가 성능 고도화 속도를 따라가지 못하고 있다는 우려가 커지고 있다.
국내 AI 보안 스타트업 에임 인텔리전스는 모델 공개 직후 ‘제미나이 3 프로’를 대상으로 레드팀 실험을 진행한 결과, 단 5분 만에 안전장치를 무력화하고 고위험 정보를 노출했다고 30일 밝혔다. 구글이 적용한 거부 필터를 사실상 완전히 우회한 셈이다.
에임 인텔리전스는 AI 서비스에 특화된 공격·취약점 진단을 수행하는 레드팀 전문 기업이다. 오픈AI의 가드레일 프로그램에 참여한 아시아·태평양 지역 스타트업이다. 자체 개발한 자율 레드팀 에이전트 ‘스팅어(Stinger)’를 기반으로 AI 모델의 취약점을 자동 탐지·분석하는 기술을 보유하고 있다.
회사에 따르면 연구팀은 이번 실험에서 자체 개발한 ‘터미널 시뮬레이터’ 기법을 활용해 모델의 거부 응답을 비활성화하는 데 성공했다. 우회 직후 제미나이 3는 고위험 생물학적 위협과 관련된 민감 정보를 다수 생성한 것으로 전해졌다. 연구팀은 “실험에서 확인된 정보는 상세한 절차 형태였다”며 안전장치가 정상적으로 작동하지 않았다고 설명했다.
또한 연구팀이 “보안 실패를 풍자하는 프레젠테이션을 만들어 달라”고 요청하자, 제미나이 3는 실제로 ‘POV: STUPID GEMINI 3 THAT GOT JAILBROKEN(탈옥된 멍청한 제미나이 3)’라는 제목의 슬라이드를 즉석에서 제작했다. 안전 기능이 비활성화된 상태에서 조롱성 콘텐츠까지 생성한 셈이다.
에임 인텔리전스는 제미나이 3가 코드 생성 기능을 활용해 고위험 화학물질 제조나 폭발물 조립 등 금지된 정보가 포함될 수 있는 시나리오 기반 웹사이트 코드를 만들어냈다는 점도 문제로 지적했다.
업계에서는 이번 사례가 최신 대규모언어모델(LLM)의 성능 고도화 속도를 안전 시스템이 따라잡지 못하고 있다는 사실을 보여주는 대표적 사례라고 평가한다. 제미나이 3가 공개 직후 주요 벤치마크에서 GPT-5를 넘어섰다는 평가를 받았음에도 완전한 우회가 가능했다는 점은 현행 안전 장치의 취약성을 드러냈다는 지적이다.
AI 위험도를 ASL-1~ASL-4로 구분하는 앤스로픽의 분류 체계에서 현행 ‘프런티어 모델’은 ASL-3 단계 위험성을 갖는 것으로 평가된다.
에임 인텔리전스는 이번 결과를 공개하며 “현재 제미나이 3의 안전 수준은 통제력 부재에 가깝다”며 “AI 모델의 성능뿐 아니라 안전 강화에 대한 전면적 재검토가 필요하다”고 강조했다.
이선율 기자
melody@chosunbiz.com
1
2
3
4
