미국 MIT 산하 컴퓨터공학및인공지능연구소 CSAIL(Computer Science and Artificial Intelligence Lab) 연구팀이 인간의 귀를 속일 수 있을 만큼 사실적인 효과음을 만들어내는 시스템을 개발했다.

기계학습을 이용해 음질을 정확하게 예측하고 인공 음향을 만드는 새로운 알고리즘을 구축한 것. 예를 들어 무음 동영상에 드럼스틱으로 물건을 때리는 동작이 나온다면 어떤 소리가 날지 예측하는 시스템을 이용해 해당 영상 장면에 맞는 음향 효과를 생성해줄 수 있다.

연구팀은 수많은 데이터 중 완전 자동으로 중요한 패턴을 감지하기 위해 신경망을 이용한 딥러닝 기술을 활용했다. 몇 개월 사이 동영상 1,000개에서 드럼스틱으로 물건을 치거나 포크 등 다양한 동작을 할 때 발생할 수 있을 것으로 추정되는 4만 6,000종에 이르는 효과음을 모았다. 그 중에서 음질과 크기, 속도를 딥러닝 알고리즘을 이용해 다시 분석했다.





시스템에 사운드 효과를 생성하려면 동영상 프레임마다 알고리즘이 음질을 감지하고 데이터베이스에서 가장 맞는 걸 찾아와 매칭해야 한다. 연구한 알고리즘은 금속과 나무, 바위, 진흙이나 풀잎 등을 드럼스틱으로 쳤을 때 나오는 음향을 놀라울 만큼 정확하게 표현했다고 한다.

연구팀은 인공적인 효과음이 얼마나 실제에 가까운지 알아내기 위해 피험자를 대상으로 자연음과 인공음 2가지 영상을 보여주고 어느 쪽이 진짜인지 응답해달라는 간단한 실험을 실시했다.

결과는 오히려 진짜보다 효과음 쪽이 2배나 진짜 같았다는 반응을 얻었다고 한다. 풀잎이나 진흙 소리는 실제 소리와 구별하기가 더 어려웠다고 한다.

이 시스템은 앞으로 TV 프로그램이나 영화 같은 영상 작품 뿐 아니라 로봇이 주위 환경을 평가하고 만지고 능력을 높이는 데 도움이 될 것으로 기대되고 있다. 만일 로봇이 시멘트는 딱딱하고 화초는 부드럽다는 걸 직관적으로 감지한다면 밟으면 어떻게 될지 미리 알 수 있게 된다. 어떤 소리를 듣거나 예측하는 건 로봇이 실제 뭔가와 접촉하는 과정에서 발생하는 것으로 어떤 일이 일어날지 예측하기 위한 중요한 단계인 셈이다. 관련 내용은 이곳에서 확인할 수 있다.

https://www.youtube.com/watch?v=0FW99AQmMc8

이석원 기자  lswcap@techholic.co.kr

<저작권자 © 테크홀릭, 무단 전재 및 재배포 금지>