소프라노와 인공지능의 만남

인공지능의 음성 데이터 학습

[ 객원 에디터 5기 / 이소민 기자 ] 지난 27일, 대전 KAIST에서 열린 “이노베이트 코리아 2023” 행사에서는 세계적 소프라노 조수미가 인공지능과 합동 공연을 펼쳤다. 화면에 등장한 아바타는 조수미의 음성 데이터를 기초로 학습한 인공지능 가창 시스템이었다. 비록 자연스럽지는 않았지만, 음을 끌어올리는 기술을 포함한 소프라노 조수미의 기교를 잘 묘사했다.

이 행사에서 반주 또한 AI 피아니스트가 맡았고 음원에서 자막을 추출하는 AI도 있었다고 전해졌다. AI 피아니스트는 단순히 주어진 악보를 해석해서 연주한 것이 아닌, 성악가의 변주에 반응할 수 있는 시스템으로 개발되었다. 더 나아가 인간 피아니스트의 연주 자세도 학습했으며, 화면을 통해 아바타가 음악에 맞춰 피아노 연주 자세를 보여주기도 했다. 

컴퓨터 프로그램이 부른 세계 최초 사례는 지금으로부터 60년 전, 1960년대로 거슬러 올라간다. 당시 컴퓨터가 선곡한 첫 번째 노래는 영국 작곡가 해리 데커가 작곡한 “데이지 벨”이다. 이후로 오늘날까지, 과학자들은 목소리보다 자연스럽게 모방하기 위한 연구를 끊임없이 해왔었다. 

지난 27일 공연 기술 감독을 맡은 남주한 KAIST 문화기술대학원 교수는 멜로디와 가사를 토대로 자연스러운 보컬 사운드를 생성하는 컴퓨터 시스템 “SVS”를 개발했다. 또한, 조수미 공연 예술 연구 센터의 센터장인 한 교수는 전자피아노처럼 기계적인 연주가 아닌 사람처럼 연주와 노래를 부를 수 있는 인공지능 시스템을 만드는 것이 목표라고 전했다.

남 교수 연구팀은 유튜브 페이지에 AI 피아니스트를 이용한 프로젝트를 공개하였다. 유명 피아니스트 손열음의 연주를 학습한 인공 지능과 실제 인간 피아니스트의 연주에 반응하며 협연을 펼치는 반응형 AI이다. 비록 비전문가들은 인공지능 피아니스트와 인간 피아니스트의 연주의 차이를 알아차리기는 어렵지만, 전문가들은 실제 피아니스트의 연주와 비교했을 때는 감동 면에서 부족한 수준이라고 평가를 하기도 했다.