Согласование музыки
Музыку можно описывать и представлять по-разному, включая ноты , символические изображения и аудиозаписи. Для каждого из этих представлений могут существовать разные версии, соответствующие одному и тому же музыкальному произведению. Общая цель согласования музыки (иногда также называемая синхронизацией музыки ) состоит в том, чтобы автоматически связать различные потоки данных, таким образом связывая между собой несколько наборов информации, связанных с данным музыкальным произведением. Точнее, под выравниванием музыки понимается процедура, которая для заданной позиции в одном представлении музыкального произведения определяет соответствующую позицию в другом представлении. [ 1 ] На рисунке справа такое выравнивание показано красными двунаправленными стрелками. Такие результаты синхронизации лежат в основе новых интерфейсов, которые позволяют пользователям получать доступ, искать и просматривать музыкальный контент удобным способом. [ 2 ] [ 3 ]
Основная процедура
[ редактировать ]
Учитывая два разных музыкальных представления, типичные подходы к выравниванию музыки выполняются в два этапа. [ 1 ] На первом этапе два представления преобразуются в последовательности подходящих признаков. В общем, такие представления функций должны найти компромисс между двумя противоречивыми целями. С одной стороны, функции должны демонстрировать высокую степень устойчивости к изменениям, которые не следует учитывать при выполнении поставленной задачи. С другой стороны, функции должны собирать достаточно характерной информации для выполнения поставленной задачи. Для выравнивания музыки часто используются функции на основе цветности (также называемые хромаграммами или профилями классов высоты тона ), которые фиксируют гармонические и мелодические характеристики музыки, будучи при этом устойчивыми к изменениям тембра и инструментовки.
На втором этапе полученные последовательности признаков должны быть приведены в (временное) соответствие. С этой целью методы, связанные с динамическим искажением времени (DTW) или скрытыми марковскими моделями (HMM) для вычисления оптимального выравнивания между двумя заданными последовательностями объектов используются .
Связанные задачи
[ редактировать ]Выравнивание музыки и связанные с ней задачи синхронизации широко изучались в области поиска музыкальной информации . Далее мы даем некоторые указания по связанным задачам. В зависимости от соответствующих типов представления музыки можно различать различные сценарии синхронизации. Например, выравнивание звука относится к задаче временного выравнивания двух разных аудиозаписей музыкального произведения. Аналогичным образом, цель выравнивания партитуры и звука состоит в том, чтобы согласовать события нот, представленные в представлении партитуры, с аудиоданными. В автономном сценарии два потока данных, подлежащие выравниванию, известны до фактического выравнивания. В этом случае можно использовать процедуры глобальной оптимизации, такие как динамическое искажение времени (DTW), чтобы найти оптимальное выравнивание. В целом сложнее иметь дело со сценариями, в которых потоки данных должны обрабатываться онлайн. Один известный онлайн-сценарий известен как следование партитуре , когда музыкант исполняет произведение в соответствии с заданной партитурой. Цель состоит в том, чтобы идентифицировать воспроизводимые в данный момент музыкальные события, изображенные в партитуре, с высокой точностью и малой задержкой. [ 4 ] [ 5 ] В этом сценарии счет в целом известен заранее, но производительность известна только до текущего момента времени. В этом контексте использовались такие методы выравнивания, как скрытые модели Маркова или фильтры частиц, где текущее положение и темп счета моделируются в статистическом смысле. [ 6 ] [ 7 ] В отличие от классической DTW, такая процедура онлайн-синхронизации по своей сути имеет время выполнения, линейное по длительности выполняемой версии. Однако основным недостатком является то, что онлайн-стратегия очень чувствительна к локальным изменениям темпа и отклонениям от счета — если процедура рассинхронизирована, очень сложно восстановиться и вернуться на правильный путь. Еще одна проблема онлайн-синхронизации известна как автоматическое сопровождение . Имея сольную партию, исполняемую музыкантом, задача компьютера состоит в том, чтобы аккомпанировать музыканту по заданной партитуре, регулируя темп и другие параметры в реальном времени. Такие системы уже были предложены несколько десятилетий назад. [ 8 ] [ 9 ] [ 10 ]
Ссылки
[ редактировать ]- ^ Jump up to: а б Мюллер, Мейнард (2015). Синхронизация музыки. В разделе «Основы обработки музыки», глава 3, страницы 115–166 . Спрингер. дои : 10.1007/978-3-319-21945-5 . ISBN 978-3-319-21944-8 . S2CID 8691186 .
- ^ Дамм, Дэвид; Фремери, Кристиан; Томас, Верена; Клаузен, Майкл; Курт, Фрэнк; Мюллер, Мейнард (2012). «Среда цифровой библиотеки для разнородных музыкальных коллекций: от получения документов до кросс-модального взаимодействия». Международный журнал цифровых библиотек . 12 (2–3): 53–71. дои : 10.1007/s00799-012-0087-y . S2CID 254076612 .
- ^ Мюллер, Мейнард; Клаузен, Майкл; Конц, Верена; Эверт, Себастьян; Фремери, Кристиан (2010). «Мультимодальный способ восприятия и изучения музыки» (PDF) . Междисциплинарные научные обзоры . 35 (2): 138–153. Бибкод : 2010ISRv...35..138M . CiteSeerX 10.1.1.400.245 . дои : 10.1179/030801810X12723585301110 . S2CID 1739507 .
- ^ Продолжение, Аршиа (2010). «Совмещенная архитектура, ориентированная на продолжительность, для согласования музыки и партитуры в реальном времени». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 32 (6): 974–987. CiteSeerX 10.1.1.192.2305 . дои : 10.1109/TPAMI.2009.106 . ISSN 0162-8828 . ПМИД 20431125 . S2CID 3522344 .
- ^ Орио, Никола; Лемутон, Серж; Шварц, Дьемо (2003). «Оценка следующая: современное состояние и новые разработки» (PDF) . Материалы Международной конференции по новым интерфейсам музыкального выражения (NIME) : 36–41.
- ^ Дуань, Чияо; Пардо, Брайан (2011). «Модель пространства состояний для онлайн-выравнивания полифонической аудио-партитуры». Международная конференция IEEE по акустике, речи и обработке сигналов 2011 г. (ICASSP) (PDF) . стр. 197–200. дои : 10.1109/ICASSP.2011.5946374 . ISBN 978-1-4577-0538-0 . S2CID 2296185 .
- ^ Монтеккьо, Никола; Продолжение, Аршиа (2011). Международная конференция IEEE по акустике, речи и обработке сигналов 2011 г. (ICASSP) (PDF) . стр. 193–196. дои : 10.1109/ICASSP.2011.5946373 . ISBN 978-1-4577-0538-0 . S2CID 6581358 .
- ^ Данненберг, Роджер Б. (1984). «Онлайн-алгоритм сопровождения в реальном времени» (PDF) . Материалы Международной компьютерной музыкальной конференции (ICMC) : 193–198.
- ^ Рафаэль, Кристофер (2001). «Вероятностная экспертная система автоматического музыкального сопровождения». Журнал вычислительной и графической статистики . 10 (3): 487–512. CiteSeerX 10.1.1.20.6559 . дои : 10.1198/106186001317115081 . S2CID 2505863 .
- ^ Данненберг, Роджер Б.; Рафаэль, Кристофер (2006). «Музыкальное сопровождение и компьютерное сопровождение» (PDF) . Коммуникации АКМ . 49 (8): 38–43. CiteSeerX 10.1.1.468.2658 . дои : 10.1145/1145287.1145311 . ISSN 0001-0782 . S2CID 207159787 .