"Живая" ремикс-машина или кибер-арт

Sven Konig, по-видимому, очень задорный и смекалистый парень, реализовал один свой немного сумасшедший, но жутко интересный проект. Он создал программное обеспечение, которое на ходу анализирует входной сигнал, поступающий через микрофон (например), и воспроизводит этот сигнал в виде последовательности подходящих аудио- и видеофрагментов.

Свен объясняет суть работы этого механизма на примере клипа MC Hammer. Итак, берется фрагмент клипа "Can't touch this" (секунд 10).

Фрагмент анализируется по его аудиодорожке. Это происходит таким образом. Дорожка назбивается сначала на 2 части, после чего производится спектральный и психоакустичческий анализ двух кусочков. Далее дорожка разбивается уже на 4 части, после чего производится анализ уже 4-х кусков. Далее 8, 16 и так далее (разбиение производится по тем местам, где происходят ритм-удары). Далее, полученные после анализа каждого кусочка данные записываются в базу данных.

Ну, далее все происходит по похожему сценарию, только в режиме "он-лайн". Скажем, вы поете в микрофон, сигнал на входе разбивается на кусочки и для этих кусочков производится поиск в базе данных и сопоставление им подходящих фрагментов от клипа MC Hammer (как я понимаю, тут и кроется самая большая сложность алгоритма - быстрый поиск и правильное сопоставление фрагментов). После чего ваше пение заменяется аудио- и видеорядом из клипа.

В общем, это все так на словах. А на деле, можно посетить вот эту страничку и посмотреть там видеоклип, в котором сам Свен рассказывает что и как.

Да, чуть не забыл. Проект называется Scrambled Hackz. Код написан на C++ и Python. Пока что ПО недоступно, но обещается, что будет.

Читать весь 149-й номер 
Перейти в архив выпусков WebSound.Ru 

Ниже располагаются комментарии к этой заметке

Пожалуйста, обратите внимание! Если вы хотите что-то сообщить автору WebSound.Ru, лучше сделать это не здесь, а направить ваше сообщение по e-mail. Пожалуйста, составляйте свои комментарии в вежливой форме. Не засоряйте сайт бессодержательными и невежливыми сообщениями.