Рисование звуком

Уже в который раз не без удовольствия возвращаюсь к теме "рисования звуком". Напомню, речь идёт о преобразовании графическим изображений или спектральных картинок в звук (ресинтез). Тема последний раз поднималась в 159-м выпуске, а до того в 158-м, 157-м и в 70-м.

В общем, недавно я решил заглянуть на Википедию (воистину неисчерпаемый кладезь знаний), и набрёл там на определение спектрограммы. Как выяснилось и там есть чего позаимствовать на тему рисования звуком. Во-первых, это список программ, позволяющих осуществлять синтез звука из картинок. В списке известная нам очень хорошо программа Coagula (кстати, она лежит в нашем подразделе с ПО), но есть и другие, а именно:

• MetaSynth for Macintosh;
• Coagula for Windows;
• Enscribe for Linux;
• The ARSE, multi-platform;
• JavOICe, a Java applet.
• FL Studio's "BeepMap" additive synthesizer.

Открытый мультиплатформенный проект The ARSE демонстрирует забавные, но очень познавательные опыты. ТПрограмма позволяет превращать звук в спектральную картинку (с указанным разрешением), и наоборот, синтезировать из картинки звук (с указанными параметрами).

Вот, например, Johann Strauss II's The Blue Danube (MP3), вот его спектрограмма, полученная с помощью ARSE:

А вот звук, полученный путём обратного синтеза спектральной картинки (MP3).

Слышно, конечно, что звук невысокого качества, но ведь интересен сам факт и путь, проделанный сигналом. По сути своей здесь нет ничего необычного - тот же MP3 - это набор квантованных значений коэффициентов FFT (что, фактически, и есть спектральная картинка). Но вот интересен сам факт обратного преобразования картинки в звук. Кстати, можно заметить, что такая схема работает в чём-то как компрессор аудио сигналов: сигнал, преобразованный в спектральную картинку, можно считать "сжатым" (конечно, всё зависит от разрешения генерируемой спектрограммы), а сам полученный графический файл - сжатым аудио сигналом. И наоборот, ресинтез - процесс декомпрессии.

В общем, на страничке с примерами есть ещё материалы для любопытствования. Ну, а кроме того программу можно самостоятельно скачать и поиграться.

Теперь о том, кто из музыкальных исполнителей вставлял картинки в свои звуковые дорожки. Ещё в старом 70-м выпуске я публиковал данные о треке Aphex Twin, спектрограмма которого отображает фотографию самого автора. Картинку можно найти во втором треке диска Windowsclicker EP. Кроме того, автор вставил спиралевидную фигуру и в первый трек. Но это не всё. Так, Википедия сообщает, то песня "Look" by Venetian Snares (альбом "Songs about my Cats"), содержит несколько фото кошек. Вот как это выглядит:

(полноразмерный вариант спектрограммы находится тут).

Ещё одни шутники - группа Plaid. В песне "3recurring" содержит в своей спектрограмме логотип.

И ещё Nine Inch Nails применяют технику упрятывания картинок в спектре треков с альбома "Year Zero".

В общем, метод этот явно пришёлся по вкусу некоторым музыкантам. В принципе, этот же метод может быть запросто использован и в качестве инструмента стеганографии.

Тема эта очень интересная и, я думаю, обнаружатся ещё многие находки, связанные с рисованием в спектре и озвучанием картинок.

Вашими мыслями вы можете делиться в комментариях к заметке.

Читать весь 171-й номер 
Перейти в архив выпусков WebSound.Ru 

Ниже располагаются комментарии к этой заметке

Пожалуйста, обратите внимание! Если вы хотите что-то сообщить автору WebSound.Ru, лучше сделать это не здесь, а направить ваше сообщение по e-mail. Пожалуйста, составляйте свои комментарии в вежливой форме. Не засоряйте сайт бессодержательными и невежливыми сообщениями.