Визуализация аудио коллекции

Ещё об одной очень интересной работе в рамках M.Sc. хотелось бы вам рассказать (спасибо zipp за ссылку на http://www.synthtopia.com/).

Anita Lillie будучи на магистратуре в MIT разработала очень интересную программу и технологию организации большого каталога музыки MusicBox. Суть работы программы заключается в следующем.

Большая коллекция аудио анализируется трек за треком с целью получения характеристик каждого трека по разным критериям (т.н. "audio features"). Простые характеристики - это продолжительность звучания, темп, громкость, более сложные динамические характеристики - тембр, интенсивность, эффективная ширина спектра, гармонический состав и проч. и проч. Аудио характеристик не так уж и много, но несколько десятков, конечно, имеется. Далее, все эти характеристики используются для сортировки и группирования треков в коллекции.

Например, каждому музыкальному жанру можно определить некий типичный для него набор характеристик. Тогда всю коллекцию можно будет отсротировать по жанрам, в соответствии с проанализированной аудио информацией. Причём отображение делает в трёхмерном пространстве, где треки отображаются в виде точек, а в качестве осей пространства используются различные характеристики. Скажем, треки можно расположить так, что слева окажется динамичная музыка, а справа - медленная, вертикально треки будут сортироваться по относительной громкости, а глубина будет определяться продолжительностью. При этом цветом треки будут поделены на жанры (так, как они классифицированы авторами). В такой коллекции можно легко ориентироваться, находя "похожие" композиции и сравнивая жанр музыки с тем, как охарактеризовала музыку система анализа.

Включая или исключая из рассмотрения те или иные аудио характеристики, можно динамически пересортировывать коллекцию. Таким образом, навигация в коллекции становится многомерной. Ещё одной очень интересной возможностью является возможность автоматического обнаружения ближайших по заданным критериям соседей. Скажем, если текущей характеристикой, по которой осуществляется сортировка, является ритм, то треки выстроятся так, что ближайшие соседи будут наиболее точно подходить другу по ритму. Это позволяет делать плавные переходы между треками, составлять плейлисты под настроение и проч. и проч.

Это очень интересная работа. Анита создала целый блог, посвящённый этому проекту. К сожалению, программу в свободном доступе найти нельзя. А вот и сама диссертация.

Вашими мыслями вы можете делиться в комментариях к заметке.

Читать весь 185-й номер 
Перейти в архив выпусков WebSound.Ru 

Ниже располагаются комментарии к этой заметке

Пожалуйста, обратите внимание! Если вы хотите что-то сообщить автору WebSound.Ru, лучше сделать это не здесь, а направить ваше сообщение по e-mail. Пожалуйста, составляйте свои комментарии в вежливой форме. Не засоряйте сайт бессодержательными и невежливыми сообщениями.