챗GPT, 얼마나 길게 대화 가능할까…한도 넘기면 새 채팅만 가능

[디지털투데이 김예슬 기자] 챗GPT의 장기 대화는 일정 시점이 지나면 초반 맥락을 잊기 시작하고, 더 길어지면 대화 자체가 종료될 수 있는 것으로 나타났다.

3일(현지시간) IT매체 테크레이더에 따르면 사용자는 한 채팅방을 오래 유지할수록 문맥 유지 한계와 대화 최대 길이 제한을 함께 고려해야 한다.

핵심은 2가지 제한이다. 하나는 현재 대화 내용을 얼마나 기억해 답변에 반영할 수 있는지를 가르는 문맥 한계다. 이 한계는 시간이나 메시지 개수가 아니라 토큰 기준으로 작동한다. 짧은 문장보다 긴 답변, 큰 표, 코드, 상세 문서가 더 많은 토큰을 소모한다.

이 한계에 가까워지면 챗GPT는 대화 초반 내용을 점차 반영하지 못할 수 있다고 한다. 오픈AI는 챗GPT에 탑재된 각 모델의 문맥 창 크기를 모두 공개하고 있지 않지만, 매체에 따르면 수십만토큰 단위일 가능성이 크다. 다만 사용자가 실제로 체감하는 문제는 단순한 망각에 그치지 않는다.

더 중요한 제한은 대화방 자체의 최대 길이다. 이 한도에 도달하면 챗GPT는 더 이상 같은 채팅방에서 대화를 이어가지 못하고, 화면에는 '이 대화는 최대 길이에 도달했다. 새 채팅을 시작하면 계속 대화할 수 있다'는 안내가 뜬다. 공식 문서로 공개된 기준은 없지만, 해당 경고 문구를 경험했다는 사례와 화면 캡처가 다수 확인됐다는 설명이다.

실제 장기 대화방을 매일 써온 한 사용자는 현재 채팅이 한계에 얼마나 근접했는지 챗GPT에 직접 물었다. 챗GPT는 '이 대화의 정확한 토큰 수나 하드 제한은 볼 수 없어서 78% 수준이라고 말할 수는 없다'고 답했다. 그러면서도 현재 스레드 분량을 기준으로 보면 '일반적인 긴 GPT-5.5 대화가 편하게 유지할 수 있는 범위의 60~80%쯤에 있는 것으로 보인다'고 추정했다.

또 다른 답변에서는 '굳이 숫자로 말하면 약 70% 찬 상태로 보인다'고 했다. 다만 실제 수치는 오픈AI가 공개하지 않기 때문에 오차가 클 수 있다고 덧붙였다. 아울러 사용자가 남은 여유를 정확히 확인할 수 없는 만큼, 대화방이 오래 쌓였다면 한계 도달 전 선제적으로 새 채팅을 준비하는 편이 좋다는 설명이다.

방법은 간단하다. 기존 채팅방에서 현재까지의 핵심 내용을 요약하고, 새 대화에서 같은 맥락을 재현할 시작 프롬프트를 만들어 달라고 요청한 뒤, 그 결과를 새 채팅창에 붙여 넣으면 된다. 이 과정에서 이전 대화가 쌓이며 형성된 미세한 맥락이나 편향은 일부 사라질 수 있다.

그럼에도 새 채팅으로 옮기면 토큰 사용량이 초기화되고, 대화 최대 길이 제한도 다시 처음부터 적용된다. 따라서 몇 달 동안 같은 채팅방을 업무용 작업공간처럼 써온 이용자라면, 경고 문구가 뜬 뒤 대응하기보다 미리 요약본을 확보해 두는 것이 사실상 유일한 대비책이 될 수 있다고 매체는 전했다.

챗GPT, 얼마나 길게 대화 가능할까…한도 넘기면 새 채팅만 가능

가격대별 인기 장기 렌트카

장기렌트 인기TOP