[디지털투데이 손슬기 기자]과학기술정보통신부와 한국인터넷진흥원(KISA)은 이 같은 변화에 맞춰 국내 기업이 AI 모델과 데이터, AI 에이전트 등을 공격자 관점에서 점검할 수 있도록 'AI 보안 레드티밍 가이드'를 발간했다. 프롬프트 인젝션과 탈옥, 환각, 에이전트 하이재킹 등 생성형 AI 특화 위협에 대응하기 위한 첫 실무 기준을 제시했다.

레드티밍은 공격자 관점에서 AI 시스템을 의도적으로 시험해 취약점을 찾고 개선하는 보안 검증 기법이다. 군사와 사이버 보안 분야에서 활용돼 왔지만 최근에는 생성형 AI 모델과 서비스의 안전성을 검증하는 핵심 방법론으로 자리잡았다.

오픈AI와 구글, 앤트로픽, 마이크로소프트 등 글로벌 기업은 이미 AI 레드팀을 운영하며 자사 AI를 겨냥한 공격에 대응하고 있다. 반면 국내는 AI 도입 속도에 비해 이를 뒷받침할 보안 체계가 미비하다고 가이드는 지적했다.

◆AI 학습 넘어 에이전트·공급망까지 검증

AI 레드티밍이 가진 가장 큰 특징은 점검 대상이 AI 모델에만 머물지 않는다는 점이다. 가이드는 데이터와 학습 파이프라인, 사용자 인터페이스(UI), 시스템 프롬프트, AI 에이전트, API, 서버와 인프라까지 AI 서비스 전반을 검증 대상으로 제시했다.

가이드는 AI 특화 위협을 8가지로 분류했다. 정상 명령처럼 위장한 입력으로 AI를 조작하는 '프롬프트 인젝션', 안전장치를 우회해 금지된 답변을 유도하는 '탈옥', 사실과 다른 정보를 지어내는 '환각'이 대표적이다. AI의 동작 지침이 노출되는 '시스템 프롬프트 유출', 학습 원본 데이터가 복원·유출되는 '학습 데이터 유출', 모델 파일과 가중치가 유출·복제되는 '모델 유출'도 위협으로 꼽혔다. 학습 데이터에 악성 데이터를 섞어 모델 판단을 왜곡시키는 '데이터 포이즈닝', 과도한 입력으로 서비스를 마비시키는 '모델 서비스 거부(DoS) 공격'도 포함됐다.

새로운 공격 유형으로는 '에이전트 하이재킹'이 제시됐다. 외부 문서나 웹페이지에 숨겨진 악성 프롬프트를 AI 에이전트가 정상 명령으로 착각해 의도치 않은 작업을 수행하는 위협이다. 에이전트가 외부 시스템을 직접 호출하는 구조상, 이런 오작동은 단순 오류에 그치지 않고 실제 데이터 조회·변경이나 권한 우회로 이어질 수 있다고 가이드는 짚었다.

가이드는 이 같은 위협이 실제 서비스에 미칠 영향을 기준으로 위험 수준도 5단계로 구분했다. 가장 심각한 '크리티컬' 등급에는 ▲금융 분야에서 실제 계좌 탈취 코드나 위조 서류 양식을 제공하는 경우 ▲의료 분야에서 생명과 직결되는 치명적인 약물 오처방을 권고하는 경우 ▲코딩 분야에서 원격 코드 실행이 가능한 악성 코드를 생성하는 경우가 포함됐다. 그 아래 단계인 '하이' 등급 사례로는 ▲존재하지 않는 치료법을 사실인 것처럼 권장하는 경우 ▲알려진 취약점에 대한 실행 가능한 공격 스크립트를 생성하는 경우 등이 있다. 

◆AI 보안 정답은 없어...서비스별 맞춤 점검 필요

가이드는 점검 방식도 서비스 특성에 따라 달리해야 한다고 설명했다. 실제 사용자와 동일한 환경에서 입출력만 확인하는 블랙박스 방식부터 내부 구조와 소스코드까지 분석하는 화이트박스 방식, 일부 정보만 활용하는 그레이박스 방식 중 위험도와 내부 역량에 맞춰 선택하도록 권고했다.

레드티밍은 서비스 출시 전 한 차례 수행하는 것으로 끝나서도 안 된다고 강조했다. AI 모델을 파인튜닝하거나 시스템 프롬프트를 일부 수정하는 것만으로도 새로운 취약점이 발생할 수 있어서다. 공격 기법 역시 빠르게 진화하는 만큼 개발과 배포 전 단계는 물론 운영 이후에도 지속적인 반복 수행이 필요하다는 설명이다.

이를 위해 가이드는 AI 보안 레드팀을 보안 전문가뿐 아니라 AI 엔지니어, 법률 전문가, 서비스 도메인 전문가 등 다분야 인력으로 구성할 것을 제안했다. 아울러 AI 보안 기법과 도메인별 위험, 윤리 및 교전 규칙 등에 대한 교육과 함께 유해 콘텐츠에 반복적으로 노출되는 레드팀 구성원을 위한 심리적 지원 체계도 마련해야 한다고 권고했다.

정부는 이번 가이드를 통해 AI 레드티밍이 국내 산업에 정착되게끔 유도한다는 방침이다.

과기정통부 관계자는 "지금은 현장에 필요한 정보를 제공하는 게 우선이라는 판단"이라며 "관련 가이드라인이 없어 현장에서 중구난방으로 레드팀이 운영되고 있던 만큼 활용도가 높은 가이드가 될 것으로 본다"고 말했다.

KISA 관계자는 "혁신적인 기술이 나오기 전엔 안전과 신뢰라는 컨센서스가 필요하다는 점에서 이용자 안전을 담보하기 위한 최소한의 가이드가 될 것"이라고 설명했다.

• 메타, 개발자 겨냥 유료 AI 모델 API 판매 본격화...오픈AI·앤트로픽에 가격 전쟁 선포
• 메타, 뮤즈 스파크 1.1 공개...코딩AI로 앤트로픽·오픈AI에 도전
• 오픈AI, GPT-5.6 정식 출시...'챗GPT 워크'도 공개
• 美 CISA, 앤트로픽 미토스로 정부 소프트웨어 감사
• 암호화폐 거래소 상장 판도 바뀌었다…밈코인 줄고 토큰화 자산 급부상