Table Drum - интересная игрушка (+ теоретические размышления)

Забавная игрушка - аппликация под названием Table Drum для iPad. Одновременно - игрушка и неплохое демо технологии. Программа анализирует звук микрофона, чем позволяет стучать любыми подручными предметами (карандашом, ключом...) по столу, и точно в такт вопроизводить выбранный звук ударной секции. Вот, посмотрите демо. Обратите внимание, что в качестве триггера можно использовать и просто собственный голос.

Программа - игрушка. Однако меня привлекла сама идея, лежащая в её основе, а также её реализация. Можно заметить, что задержка между звуком-триггером и воспроизведением звука нужного инструмента программой почти незаметна. "Незаметно" лежит в пределе, пожалуй, около 20-30 мс, ибо всякая существенно более длинная задержка будет уже заметна (например, 50 мс уже чувствуются). Таким образом, у алгоритма, анализирующего звук микрофона, есть только 30 мс, чтобы проанализировать звук микрофона и определиться с тем, чем сейчас стукнули. 30 мс это при частоте дискретизации 44.1 КГц - всего около 1300 сэмплов. Использование 44.1 КГц было бы неразумным (потому что реально звук нужно оценивать в полосе, пожалуй, не выше 4 КГц), поэтому, я предполагаю, что использованная частота сэмплирования в программе где-то килогерц 8, не больше. Итого, на 8 Кгц 30 мс - это около 250 сэмплов. Значит программа должна уметь очень быстро ориентироваться и уметь определять звук уже по 250 сэмплам. Это очень короткий промежуток сигнала для анализа, чтобы суметь сделать какие-то выводы о нём. Только фаза атаки звука удара занимает довольно немалую часть этого фрагмента, а решать нужно быстро. По этой причине на видео можно увидеть, что иногда программа ошибается и воспроизводит не тот звук. Наверняка, точность алгоритма можно было бы заметно улучшить, но только за счёт задержки. Вот такая арифметика.

Вашими мыслями вы можете делиться в комментариях к заметке.

Читать весь 206-й номер 
Перейти в архив выпусков WebSound.Ru 

Ниже располагаются комментарии к этой заметке

Пожалуйста, обратите внимание! Если вы хотите что-то сообщить автору WebSound.Ru, лучше сделать это не здесь, а направить ваше сообщение по e-mail. Пожалуйста, составляйте свои комментарии в вежливой форме. Не засоряйте сайт бессодержательными и невежливыми сообщениями.