[디지털투데이 홍진주 기자] 법학도들의 질문에 대한 답변 품질을 비교한 실험에서 인공지능(AI)이 인간 법학 교수보다 더 높은 평가를 받았다는 연구 결과가 나왔다. 법률처럼 정답이 명확하지 않고 복잡한 추론이 요구되는 분야에서도 AI가 교육 보조 도구로 상당한 수준에 도달했다는 평가가 나온다.

4일(현지시간) 온라인 매체 기가진에 따르면, 스탠퍼드대학교 로스쿨 연구진은 미국 로스쿨 교수들을 대상으로 실시한 블라인드 평가에서 AI가 생성한 답변이 인간 교수의 답변보다 전반적으로 우수한 평가를 받았다고 밝혔다.

이번 연구는 스탠퍼드대 로스쿨 교수이자 법무 혁신·프런티어 테크놀로지 랩을 이끄는 줄리안 냘코(Julian Nyarko)와 예일대, 뉴욕대 연구진이 공동으로 진행했다. 연구진은 미국 로스쿨 소속 법학 교수 16명을 모집해 계약법 수업 과정에서 학생들이 실제로 제기할 수 있는 대표 질문 40개를 선정했다. 이후 교수들이 직접 답변을 작성하고, 동일한 질문을 AI 모델에도 제시해 답변을 생성하도록 했다.

평가는 답변 작성 주체를 공개하지 않는 블라인드 방식으로 진행됐다. 참가 교수들은 어떤 답변이 인간이 작성한 것인지, AI가 작성한 것인지 모르는 상태에서 품질을 평가했다. 연구진은 비교의 공정성을 높이기 위해 AI 답변의 길이와 형식도 인간 답변과 유사하게 조정했다.

결과는 AI의 우세였다. 교수들은 총 2918건의 답변을 평가했으며, AI가 작성한 답변을 인간 교수가 작성한 답변보다 통계적으로 유의미하게 더 높게 평가했다. 직접 비교 평가에서는 AI 답변이 약 75%의 승률을 기록한 것으로 나타났다.

특히 교육적 유해성 측면에서도 AI가 더 좋은 성적을 거뒀다. 인간 교수 답변 가운데 약 12%는 학생의 이해를 방해하거나 오해를 유발할 수 있는 답변으로 분류된 반면, AI 답변은 3.5%만이 같은 평가를 받았다. 연구진은 AI가 학생 학습에 부정적 영향을 줄 수 있는 답변을 상대적으로 적게 생성했다고 설명했다.

연구진은 이번 결과가 단순 암기나 객관식 문제 풀이가 아닌 법학 분야에서 나왔다는 점에 의미를 부여했다. 줄리안 냘코 교수는 "법학은 단순한 사실 회상이 아니라 판단력과 섬세한 추론, 불확실성을 다루는 능력이 요구되는 분야"라며 "실험에 사용된 질문들 역시 정답이 명확한 문제만으로 구성되지 않았다"고 설명했다.

이번 연구는 미국 법학계에서 진행 중인 AI 활용 논쟁에도 영향을 줄 것으로 보인다. 현재 많은 로스쿨이 AI 도구를 교육 과정에 어떻게 도입할지 검토하고 있지만, 환각 현상과 과도한 의존, 비판적 사고 저하 가능성 등을 우려하는 목소리도 적지 않다.

연구진은 이번 결과가 AI의 전면적 대체를 의미하는 것은 아니라고 강조했다. 다만 AI가 학생들에게 고품질의 개별 학습 지원을 제공하는 보조 도구로 활용될 가능성은 충분히 확인됐다고 평가했다.

법무 혁신·프런티어 테크놀로지 랩 연구원 알레한드로 살리나스는 "AI 기반 튜터는 필요할 때 언제든 접근 가능한 고품질 학습 지원 수단이 될 수 있다"며 "전문가 지식에 대한 접근성을 확대하는 데 기여할 가능성이 있다"고 말했다.

줄리안 냘코 교수 역시 "이번 연구는 AI에 대한 무조건적 낙관론이나 회의론 모두 재검토할 필요가 있음을 보여준다"며 "앞으로의 논의는 AI가 좋은 답변을 만들 수 있는지 여부가 아니라 학생들의 학습 효과를 높이기 위해 AI를 어떻게 책임 있게 활용할 것인지에 초점을 맞춰야 한다"고 강조했다.

• 메타, 직원 모니터링 도입…30분 단위 추적 중단 허용
• 토스랩, 잔디 프로젝트 2.0 출시…엔터프라이즈 무료 제공
• 오픈AI '프론티어 AI' 연방 규제안 공개…사전 평가·독립 감사 제시
• KT도 5G·LTE' 통합요금제' 가세…전 구간 데이터 안심옵션 적용
• 엔에이치스팩29호 주주 티에스인베스트먼트, 엔에이치스팩29호 주식등의 수 보유 지분 해소