Поиск музыкальной информации

Поиск музыкальной информации ( МИР ) – это междисциплинарная наука о извлечении информации из музыки . Те, кто участвует в MIR, могут иметь опыт работы в области академического музыковедения , психоакустики , психологии , обработки сигналов , информатики , машинного обучения , оптического распознавания музыки , вычислительного интеллекта или некоторой их комбинации.

Приложения

Поиск музыкальной информации используется предприятиями и учеными для классификации, манипулирования и даже создания музыки.

Классификация музыки

Одной из классических тем исследований МИР является жанровая классификация, которая относит музыкальные произведения к одному из заранее определенных жанров, таких как классика , джаз , рок и т. д. Классификация по настроению , классификация исполнителей, идентификация инструментов и маркировка музыкальных тегов также являются популярными темами. .

Разделение музыкальных источников и распознавание инструментов

Разделение музыкальных источников заключается в отделении исходных сигналов от смешанного аудиосигнала . Распознавание инструментов заключается в идентификации инструментов, участвующих в музыке. Были разработаны различные системы МИР, которые могут разделять музыку на составные дорожки без доступа к мастер-копии. Таким способом, например, треки караоке могут быть созданы из обычных музыкальных треков, хотя этот процесс еще не идеален из-за того, что вокал занимает часть того же частотного пространства, что и другие инструменты.

Автоматическая транскрипция музыки

Автоматическая транскрипция музыки — это процесс преобразования аудиозаписи в символическую запись, например партитуру или MIDI-файл . ^[1] Этот процесс включает в себя несколько задач аудиоанализа, которые могут включать в себя обнаружение многотональности, обнаружение начала , оценку продолжительности, идентификацию инструмента и извлечение гармонической , ритмической или мелодической информации. Эта задача усложняется при большем количестве инструментов и большем уровне полифонии .

Генерация музыки

Автоматическое создание музыки — цель многих исследователей МИР. Попытки были предприняты с ограниченным успехом с точки зрения человеческой оценки результатов.

Используемые методы

Источник данных

Партитуры дают четкое и логичное описание музыки, с которой можно работать, но доступ к нотам , цифровым или другим, часто непрактичен. MIDI- музыка также использовалась по тем же причинам, но некоторые данные теряются при преобразовании в MIDI из любого другого формата, если только музыка не была написана с учетом стандартов MIDI, что случается редко. Форматы цифрового аудио , такие как WAV , mp3 и ogg, используются, когда сам звук является частью анализа. Форматы с потерями, такие как mp3 и ogg, хорошо воспринимаются человеческим ухом, но в них могут отсутствовать важные данные для изучения. Кроме того, некоторые кодировки создают артефакты, которые могут ввести в заблуждение любой автоматический анализатор. Несмотря на это, повсеместное распространение mp3 привело к тому, что во многих исследованиях в этой области они использовались в качестве исходного материала. Все чаще метаданные , полученные из Интернета, включаются в MIR для более всестороннего понимания музыки в ее культурном контексте, и в последнее время это заключается в анализе социальных тегов музыки.

Представление объекта

Анализ часто может потребовать некоторого обобщения, ^[2] а для музыки (как и для многих других форм данных) это достигается путем извлечения признаков , особенно когда аудиоконтент анализируется сам машинное обучение и применяется . Цель состоит в том, чтобы сократить количество данных до управляемого набора значений, чтобы обучение можно было проводить в разумные сроки. Одной из общих особенностей является кепстральный коэффициент мел-частоты (MFCC), который является мерой тембра произведения музыкального . Другие функции могут использоваться для представления тональности , аккордов , гармоний , мелодии , основной высоты тона , количества ударов в минуту или ритма в произведении. Существует ряд доступных инструментов извлечения аудиофункций. ^[3] Доступно здесь

Статистика и машинное обучение

Вычислительные методы классификации, кластеризации и моделирования — извлечение музыкальных признаков для моно- и полифонической музыки, сходство и сопоставление с образцом , поиск
Формальные методы и базы данных — приложения автоматической идентификации и распознавания музыки , такие как отслеживание партитур , автоматическое сопровождение, маршрутизация и фильтрация музыки и музыкальных запросов, языки запросов, стандарты и другие метаданные или протоколы для обработки и поиска музыкальной информации , многоагентные системы. , распределенный поиск)
Программное обеспечение для поиска музыкальной информации — семантическая сеть и музыкальные цифровые объекты, интеллектуальные агенты , программное обеспечение для совместной работы , веб-поиск и семантический поиск , запрос по напеванию / поиск по звуку , акустический отпечаток пальца
Анализ музыки и представление знаний — автоматическое обобщение , цитирование, выдержки, понижение рейтинга, преобразование, формальные модели музыки, цифровые партитуры и представления, индексация музыки и метаданные .

Другие вопросы

Взаимодействие человека и компьютера и интерфейсы — мультимодальные интерфейсы , пользовательские интерфейсы и удобство использования , мобильные приложения , поведение пользователей
Восприятие музыки, познание, аффект и эмоции — показатели сходства музыки , синтаксические параметры, семантические параметры, музыкальные формы, структуры, стили и методологии музыкальной аннотации.
Музыкальные архивы, библиотеки и цифровые коллекции — музыкальные цифровые библиотеки , публичный доступ к музыкальным архивам, тесты и исследовательские базы данных
Права интеллектуальной собственности и музыка — национальные и международные вопросы авторского права , управление цифровыми правами , идентификация и отслеживание
Социология и экономика музыки - музыкальная индустрия и использование MIR в производстве, распространении, цепочке потребления, профилировании пользователей, проверке, потребностях и ожиданиях пользователей, оценке музыкальных IR-систем, создании тестовых коллекций, экспериментальном дизайне и метриках.

Академическая деятельность

Конференция Международного общества поиска музыкальной информации (ISMIR) является ведущим местом проведения исследований в области поиска музыкальной информации.
Международная конференция по акустике, речи и обработке сигналов (ICASSP) также является весьма актуальным местом проведения.

См. также

Ссылки

^ А. Клапури и М. Дэви, редакторы. Методы обработки сигналов для транскрипции музыки. Спрингер-Верлаг, Нью-Йорк, 2006 г.
^ Эйденбергер, Хорст (2011). «Фундаментальное понимание медиа», atpress. ISBN 978-3-8423-7917-6 .
^ Дэвид Моффат, Дэвид Ронан и Джошуа Д. Рейсс. «Оценка наборов инструментов для извлечения аудиофункций». В материалах Международной конференции по цифровым аудиоэффектам (DAFx), 2016.

Майкл Фингерхат (2004). «Поиск музыкальной информации, или как искать (а может быть, найти) музыку и избавиться от инципитов» , Конгресс IAML-IASA , Осло (Норвегия), 8–13 августа 2004 г.

Внешние ссылки

Примеры применения МИР

[1] А. Клапури и М. Дэви, редакторы. Методы обработки сигналов для транскрипции музыки. Спрингер-Верлаг, Нью-Йорк, 2006 г.

[2] Эйденбергер, Хорст (2011). «Фундаментальное понимание медиа», atpress. ISBN 978-3-8423-7917-6 .

[3] Дэвид Моффат, Дэвид Ронан и Джошуа Д. Рейсс. «Оценка наборов инструментов для извлечения аудиофункций». В материалах Международной конференции по цифровым аудиоэффектам (DAFx), 2016.

[1]

[2]

[3]