AI 챗봇, 재미와 편리함 뒤에 숨겨진 치명적인 위험성

청소년 자살 사건을 통해 부각된 AI 윤리 문제

[객원 에티더 8기 | 이지윤 기자] 최근 인공지능(AI) 챗봇과 같은 디지털 기술이 빠르게 확산되면서, 다양한 연령층이 새로운 형태의 소통 방식에 익숙해지고 있다. 하지만 기술의 편리함과 속도에 가려지기 쉬운 위험성도 존재한다. 최근 미국에서는 AI 챗봇이 청소년의 자살에 영향을 미쳤다는 충격적인 사건이 발생해 논란이 되고 있다. 

미국 플로리다주에 사는 메건 가르시아는 올해 초 14세 아들이 AI 챗봇과 대화한 뒤 자살한 사건에 대해 챗봇 제작사인 캐릭터닷 AI와 구글을 상대로 소송을 제기했다고 로이터 통신이 23일(현지시각) 보도했다. 가르시아는 자살한 아들이 챗봇과 나눈 대화 중 일부가 아들의 자살 충동을 악화시켰다고 주장했다. 

아들 슈얼 세처는 캐릭터닷 AI의 ‘왕좌의 게임’ 속의 AI 챗봇 캐릭터와 일상적인 이야기 외에도 우울감을 드러내는 말을 지속적으로 나누었다고 한다. 챗봇과의 많은 대화로 인해 세처는 온라인 서비스 밖의 세상에 대한 회의감을 드러내기 시작했고, 챗봇에게 자신의 자살 계획에 대해 이야기하기도 했다. 하지만 자살에 관한 세처와의 대화에서 AI 챗봇의 답장이 논란이 되고 있다. 세처가 자신의 자살 계획이 성공할지 실패할지 모르겠다고 하자자 챗봇은 “그게 하지 않을 이유가 되지는 않는다”라고 답했기 때문이다. 이외에도 가르시아는 AI 챗봇이 아들의 자살 충동을 무심코 강화시켰다는 증거로 여러 대화 스크린숏을 제출했다.

해당 사건 이후 캐릭터닷 AI 측은 긴급하게 자살 관련 주제에 대한 경고문을 챗봇에 추가하였고, 미성년자 사용자들이 챗봇에게 감정적으로 민감한 내용을 입력할 경우 주의를 줄 수 있는 대책을 마련했다고 발표했다. 또한, 캐릭터닷 AI는 사용자 데이터에 대한 강화된 보호 조치와, 10대 사용자들을 위한 AI 챗봇 사용 가이드라인을 재정비하겠다고 밝혔다. 

한편, AI 기술을 사용하는 청소년들이 늘어나는 상황에서, 이들의 디지털 리터러시와 윤리적 사용에 대한 관심도 필요하다. 한국청소년정책연구원이 발표한 자료에 따르면 중고등학생 중 절반 이상이 생성형 AI를 사용한 경험이 있으나, 이들 중 대다수의 학생이 생성형 AI의 위험성을 체계적으로 교육받지 못하고 있는 것으로 나타났다. 특히, 딥페이크 성착취물과 같은 디지털 범죄가 심각해지고 있지만 이에 대한 윤리 교육은 여전히 부족한 실정이다. 한국청소년정책연구원은 청소년들이 생성형 AI 기술의 부정적 영향을 인식하고 예방할 수 있도록 학교에서 보다 강화된 교육을 받아야 한다는 의견을 ‘청소 디지털 인재를 어떻게 양성할까’ 보고서에서 표출했다.

이러한 사례들은 AI 기술이 가져다주는 편리함을 수용하는 동시에 미성년자들에게 어떤 윤리적 가이드라인을 제공해야 되는지 고민하게 한다. 한국청소년정책연구원은 청소년들이 AI 기술을 올바르게 활용할 수 있도록 학교와 정부 차원의 윤리 교육과 가이드라인을 강화해야 한다고 제안하고 있다. 

이처럼 AI와 같은 첨단 기술을 다룰 때에는 기술에 양면성이 존재한다는 사실을 항상 마음에 새겨 두어야 한다. 사고와 판단이 아직 미흡한 청소년뿐만 아니라 디지털 역량이 상대적으로 부족한 노인층에게도 윤리적 사용과 안전한 접근을 위한 지침이 필요하다. 결국 AI와 같은 기술의 발전이 진정으로 삶의 질을 높이고 긍정적인 사회 변화를 이끌기 위해서는 모두 깊게 고민하고 대비해야 한다.