< 일러스트 OpenAI의 DALL·E 제공 >
AI 판독 정확도 논란, 평가 방식은 어떻게 바뀌어야 하나?
[객원 에디터 9기 / 정한나 기자] 생성형 AI가 빠르게 일상에 퍼지면서, 대학에서는 과제, 보고서, 자기소개서 등 글쓰기 평가에 새로운 기준이 생기고 있다. 학생들이 챗GPT 같은 AI 도구를 사용하는 것을 막기 위해, 대학들은 AI 탐지기 사용을 확대 중이다. 하지만 최근에는 AI를 쓰지 않은 글마저 ‘AI 작성물’로 판단되는 사례가 늘면서, 탐지기의 정확성과 공정성에 대한 우려가 커지고 있다.
서울 한 대학 사회학과 재학생 오모(22) 씨는 전공 과제를 제출한 후, 교수님으로부터 ‘AI 의심 문장이 많다’는 경고 메일을 받았다. 자료 조사부터 글 작성까지 모두 AI 도구를 사용하지 않았지만, 제출한 글의 AI 판독률이 70%에 달했다. 교수에게 이를 해명할 뚜렷한 방법이 없어, 결국 과제를 처음부터 다시 작성해야 했다.
이런 사례는 요즘 대학가에서 드물지 않다. 생성형 AI는 텍스트 생성, 이미지 생성 등 다양한 분야에서 활용되며 급격하게 사회에 확산됐다. 그중에서도 교육 분야에서는 AI를 활용한 과제 수행의 허용 범위가 큰 논란을 불러일으켰다. 특히, 학생들이 작성한 글을 AI로 판별해 불이익을 주는 제도가 생겨나면서, AI를 사용하지 않은 학생들이 억울함을 호소하는 사례가 늘고 있다. 대학과 기업은 AI를 이용한 과제 제출이나 자기소개서 작성 여부를 점점 더 엄격히 검토하고 있다.
많은 대학생들과 취업 준비생들은 최근 자신의 글을 제출할 때마다 ‘탐지기 검사’를 먼저 돌려보곤 한다. 글이 ‘AI처럼 보이지 않도록’ 하기 위해서다. 공식 문서나 자기소개서에서 자주 쓰이는 전형적인 표현들같이 일정한 패턴을 따르는 문장들이나 반복되는 어휘만으로도 탐지기에 걸릴 수 있다.
예를 들어, 취준생 김 모(25) 씨는 직접 쓴 자기소개서가 ‘AI 생성률 높음’으로 나오자 GPT 탐지기를 돌려가며 문장을 여러 번 고쳤다. “요즘은 글을 잘 써도 문제예요. 너무 정제돼 있으면 ‘AI 같다’고 하니까요.” 단어 선택이 단조롭거나 문장이 너무 깔끔하면, AI가 썼다고 판단하는 경우가 많기 때문이다.
그렇다면 AI 탐지기는 정말 정확할까? 작년 8월, 아랍에미리트 뉴욕대 아부다비 캠퍼스 교수팀이 발표한 연구에 따르면, 유명한 AI 탐지기인 ‘GPTZero’와 ‘오픈 AI 탐지기’의 오판율은 각각 31.55%와 49.37%에 달했다. 10 문장 중 3~5 문장을 잘못 판별한다는 뜻이다. 실제로 AI가 작성한 문장을 사람의 글로 착각하거나, 반대로 사람이 쓴 글을 AI가 쓴 것으로 판단하는 경우가 많았다. 탐지기의 기준은 주로 문장의 단조로움이나 패턴이다. ‘GPT킬러’는 자사 홈페이지를 통해 “사람이 쓴 글도 단어 구성이나 문장 구조가 단순하면 AI 생성물로 분류될 수 있다”라고 안내하고 있다. 다시 말해, 누군가 글을 ‘조심스럽고 깔끔하게’ 쓸수록 오히려 AI로 오해받을 위험이 커지는 셈이다.
이런 상황에서, 일부 학생들은 AI 탐지기를 역이용하는 방법을 찾아내기 시작했다. 대학 온라인 커뮤니티에는 GPT킬러에 걸리지 않게 써달라는 식의 지시문을 챗GPT에 입력하거나, AI가 작성한 여러 답변 중 자연스러운 문장만 골라 ‘퍼즐처럼’ 조합하는 방법이 공유되고 있다. 또, 생성률이 높게 나오면 연결어를 바꾸거나, 부사를 제거하거나, 대명사를 구체적으로 바꾸는 등 미묘한 조정으로 탐지를 피하려는 전략도 등장했다. 이처럼 탐지기의 한계는 오히려 AI 활용을 더 교묘하고 눈에 띄지 않게 만드는 역설적인 결과를 낳고 있다. 게다가 탐지기 서비스의 이용 가격은 학생들에게 큰 부담이 된다. 매 과제나 자소서마다 돈을 내고 검사를 받아야 한다면, 비용은 물론 심리적 스트레스도 함께 커진다.
전문가들은 단순히 ‘AI를 썼는지 아닌지’를 판별하는 시대는 지나가고 있다고 말한다. 고려대 AI 연구소의 최병호 교수는 “이제는 ‘사람이 꼭 써야 하느냐’는 질문을 던져야 할 때”라며 “AI 사용 여부보다, 어떤 목적과 방식으로 썼는지를 평가하는 기준이 필요하다”라고 말했다. 이화여대 백은경 교수도 “인공지능 기술이 발전할수록, 예기치 못한 부작용도 함께 커진다”며 “무조건적인 신뢰보다는 기술을 이해하고 적절히 대처하는 능력이 중요하다”라고 조언했다.
