Sunken Dream 改

signal processing 에서 사용되는 BP, LP, HP 등의 필터에 개의치 않고
기성 음악으로부터 다음(polyphonic) 노트를 추출하여 자유자재로 변형할 수 있다면,
더 이상의 MIDI 등의 인터페이스는 필요없게 될 것이다.
더 이상의 음원 채집 또한 필요없게 되리라.

이같은 꿈을 실현하고자, 음악 노트를 직접 조정할 수 있는 기술이 나와 화제다.
바로 Melodyne 이라는 인터페이스에 삽입되는 Direct Note Access (DNA) 플러그인 인데,
아직까지도 모든 polyphony들을 완전하게 분리하는 기술이 없음에도 불구하고,
이같은 기술이 나온 것은 정말 충격적이다.

아래의 무비를 꼭 보기 바란다.
(좀더 고화질의 무비가 ceremony 홈페이지에 있음. 다운로드도 가능)



물론, 테스트로 사용한 음원이 부분적으로 monophonic 하다는 것은 부정할 수 없지만,
그래도 데모가 가능할 정도의 훌륭한 성능을 보여주고 있다.


모든 signal은 주기성(periodicity)을 가지고 있고,
이와 같은 주기성 가정으로 말미암아, 주기 신호(periodic signal)로 분리 가능하다.
또한, 주기 신호의 주파수 주기적인 모음인 고조파(harmonics)를 적절하게 배합하면,
어떤 형태의 악기라도 재현하는 것이 가능해진다.

하지만 이것은 이론일 뿐이고,
phase distortion, discontinuity in framing 등등의 문제로 인해서
Fourier Transform 등의 해석 방법이 그리 효과적이지는 않다 '~';
한 예로, discontinuity는 spectral leaking 을 발생시킨다.

어쨌든, 내 예상으로는 위와 같은 conceptual diagram에서의 polyphonic note 분리가 가능한 건
아무래도 harmonics 의 수를 적절하게 제한하면서 onset 등을 측정 잘한 결과라고 보여지는데...
간단한 노래라 그런지 데모에서는 정말 좋은 결과가 나오는게 꽤 인상적.

이렇게 깔끔한 인터페이스가 먼저 제안되었고, 효능(?)이 확실하다면,
확실히 Query-By-Singing/Humming analysis 연구가 필요없게 될지도 모른다.
demonstration에 의하면 사람 목소리도 추출이 잘 되는 것으로 보이고...

여튼 여러가지로 충격적인 연구이다. 정식 버전이 나오는 2008년 가을이 기대된다.

덧) 'you can express everything, your own way'
이 노래의 가사에 신경쓰지 않는 사람들이 많아보이는 이유는 뭘까.