Функция цветности

(а) Музыкальная партитура до мажор. (б) Хромаграмма, полученная по партитуре. (в) Аудиозапись гаммы до мажор, исполненной на фортепиано. (г) Хромаграмма, полученная из аудиозаписи.

В западной музыке термин цветность или хромаграмма тесно связан с двенадцатью различными классами высоты тона . Функции, основанные на цветности, которые также называются « профилями классов высоты тона », являются мощным инструментом для анализа музыки, высоту звука которой можно осмысленно классифицировать (часто на двенадцать категорий) и чья настройка приближается к равнотемперированной гамме . Одним из основных свойств функций цветности является то, что они улавливают гармонические и мелодические характеристики музыки, сохраняя при этом устойчивость к изменениям тембра и инструментовки.

Определение

Основное наблюдение заключается в том, что люди воспринимают две музыкальные высоты как одинаковые по цвету, если они различаются на октаву. Основываясь на этом наблюдении, высоту тона можно разделить на два компонента, которые называются высотой тона и цветностью . ^{[ 1 ]} Предполагая равнотемперированную шкалу , можно рассматривать двенадцать значений цветности, представленных набором

{С, С ♯ , D, D ♯ , Е, F, F ♯ , G, G ♯ , А, А ♯ , B}

который состоит из двенадцати атрибутов правописания высоты звука, используемых в западной нотной записи. Обратите внимание, что в равнотемперной гамме разные варианты написания высоты звука, такие как C ♯ и D ♭ относятся к одной и той же цветности. Перечисляя значения цветности, можно идентифицировать набор значений цветности с набором целых чисел {1,2,...,12}, где 1 относится к цветности C, 2 к C ♯ и так далее. Класс высоты звука определяется как набор всех тонов, имеющих одну и ту же цветность. Например, используя научное обозначение высоты тона , класс высоты, соответствующий цветности C, представляет собой набор

{..., C ₋₂ , C ₋ , C0 ₁ , _C1 , C2 _, C3 _... }

состоящий из всех звуков, разделенных целым числом октав. Учитывая музыкальное представление (например, партитуру или аудиозапись), основная идея функций цветности состоит в том, чтобы агрегировать для данного локального временного окна (например, указанного в долях или секундах) всю информацию, относящуюся к данной цветности, в единое целое. коэффициент. Смещение временного окна по музыкальному представлению приводит к появлению последовательности характеристик цветности, каждая из которых выражает то, как содержание высоты тона представления во временном окне распределяется по двенадцати полосам цветности. Результирующее представление временной цветности также называется хромаграммой . На рисунке выше показаны хромаграммы гаммы до мажор, полученные однажды из партитуры и один раз из аудиозаписи. Из-за тесной связи между терминами цветность и класс тональности характеристики цветности также называются профилями класса тона .

Приложения

Определяя высоту звука, отличающуюся на октаву, характеристики цветности демонстрируют высокую степень устойчивости к изменениям тембра и тесно коррелируют с музыкальным аспектом гармонии. Именно по этой причине функции цветности являются хорошо зарекомендовавшим себя инструментом для обработки и анализа музыкальных данных. ^{[ 2 ]} Например, в основном каждая процедура распознавания аккордов основана на некотором виде представления цветности. ^{[ 3 ]}^{[ 4 ]}^{[ 5 ]}^{[ 6 ]} Кроме того, функции цветности стали фактическим стандартом для таких задач, как музыки . выравнивание и синхронизация ^{[ 7 ]}^{[ 8 ]} а также анализ аудиоструктуры. ^{[ 9 ]} Наконец, функции цветности оказались мощным средством представления функций среднего уровня при поиске аудио на основе контента, например, кавер-версии песни. идентификация, ^{[ 10 ]}^{[ 11 ]} аудио согласование ^{[ 12 ]}^{[ 13 ]}^{[ 14 ]}^{[ 15 ]} или хеширование звука. ^{[ 16 ]}^{[ 17 ]}

Расчет аудиохромаграмм

Существует множество способов преобразования аудиозаписи в хромаграмму. Например, преобразование аудиозаписи в представление цветности (или хромаграмму) может быть выполнено либо с использованием кратковременных преобразований Фурье в сочетании со стратегиями биннинга. ^{[ 18 ]}^{[ 19 ]}^{[ 20 ]} или путем использования подходящих блоков многоскоростных фильтров. ^{[ 12 ]} Более того, свойства цветности можно существенно изменить, введение подходящих этапов предварительной и последующей обработки, изменяющих спектральные, временные, и динамический аспекты. Это приводит к большому количеству вариантов цветности, что может демонстрировать совершенно иное поведение в контексте конкретного сценария музыкального анализа. ^{[ 21 ]}

См. также

Ссылки

^ Шепард, Роджер Н. (1964). «Кругообразность в суждениях об относительном слухе». Журнал Акустического общества Америки . 36 (212): 2346–2353. Бибкод : 1964ASAJ...36.2346S . дои : 10.1121/1.1919362 .
^ Мюллер, Мейнард (2015). Основы обработки музыки . Спрингер. дои : 10.1007/978-3-319-21945-5 . ISBN 978-3-319-21944-8 . S2CID 8691186 .
^ Чо, Тэмин; Белло, Хуан Пабло (2014). «Об относительной важности отдельных компонентов систем распознавания аккордов». Транзакции IEEE/ACM по обработке звука, речи и языка . 22 (2): 477–4920. дои : 10.1109/TASLP.2013.2295926 . S2CID 16434636 .
^ Маух, Матиас; Диксон, Саймон (2010). «Одновременная оценка аккордов и музыкального контекста по аудио». Транзакции IEEE по обработке звука, речи и языка . 18 (6): 138–153. CiteSeerX 10.1.1.414.7800 . дои : 10.1109/TASL.2009.2032947 . S2CID 15866073 .
^ Фудзисима, Такуя (1999). «Распознавание аккордов музыкального звука в реальном времени: система, использующая музыку Common Lisp». Материалы Международной компьютерной музыкальной конференции : 464–467.
^ Цзян, Наньчжу; Гроше, Питер; Конц, Верена; Мюллер, Мейнард (2011). «Анализ типов функций цветности для автоматического распознавания аккордов» (PDF) . Материалы конференции AES по семантическому аудио .
^ Ху, Нин; Данненберг, Роджер Б.; Цанетакис, Джордж (2003). «Согласование и выравнивание полифонического аудио для поиска музыки». Труды семинара IEEE по применению обработки сигналов в аудио и акустике .
^ Эверт, Себастьян; Мюллер, Мейнард; Гроше, Питер (2009). «Синхронизация звука высокого разрешения с использованием функций начала цветности» (PDF) . 2009 Международная конференция IEEE по акустике, речи и обработке сигналов . стр. 1869–1872. дои : 10.1109/ICASSP.2009.4959972 . ISBN 978-1-4244-2353-8 . S2CID 16952895 .
^ Паулюс, Йоуни; Мюллер, Мейнард; Клапури, Ансси (2010). «Анализ структуры музыки на основе аудио» (PDF) . Материалы Международной конференции по поиску музыкальной информации : 625–636.
^ Эллис, Дэниел П.В.; Полинер, Грэм (2007). «Определение кавер-версий песен с помощью функций Chroma и динамического программирования отслеживания битов». Материалы Международной конференции IEEE по акустике, речи и обработке сигналов .
^ Серра, Джоан; Гомес, Эмилия; Эррера, Перфекто; Серра, Ксавье (2008). «Двоичное сходство цветности и локальное выравнивание, применяемое для идентификации кавер-песен». Транзакции IEEE по обработке звука, речи и языка . 16 (6): 1138–1151. дои : 10.1109/TASL.2008.924595 . hdl : 10230/16277 . S2CID 10078274 .
^ Jump up to: ^а ^б Мюллер, Мейнард; Курт, Фрэнк; Клаузен, Майкл (2005). «Сопоставление аудио с помощью статистических функций на основе цветности» (PDF) . Материалы Международной конференции по поиску музыкальной информации : 288–295.
^ Курт, Фрэнк; Мюллер, Мейнард (2008). «Эффективное сопоставление аудио на основе индексов». Транзакции IEEE по обработке звука, речи и языка . 16 (2): 382–395. дои : 10.1109/TASL.2007.911552 . S2CID 206601781 .
^ Мюллер, Мейнард (2015). Синхронизация музыки. В разделе «Основы обработки музыки», глава 3, страницы 115–166 . Спрингер. ISBN 978-3-319-21944-8 .
^ Курт, Фрэнк; Мюллер, Мейнард (2008). «Эффективное сопоставление аудио на основе индексов». Транзакции IEEE по обработке звука, речи и языка . 16 (2): 382–395. дои : 10.1109/TASL.2007.911552 . S2CID 206601781 .
^ Ю, Йи; Круциану, Мишель; Ория, Винсент; Дамиани, Эрнесто (2010). «Сочетание гистограммы с несколькими зондами и LSH на основе статистики порядков для масштабируемого поиска аудиоконтента». Материалы международной конференции по мультимедиа-ММ'10 . Материалы 18-й Международной конференции по мультимедиа 2010. С. 381–390. дои : 10.1145/1873951.1874004 . ISBN 9781605589336 . S2CID 9033525 .
^ Ю, Йи; Круциану, Мишель; Ория, Винсент; Чен, Лей (2009). «Локальное суммирование и многоуровневый LSH для извлечения многовариантных звуковых дорожек». Материалы семнадцатой международной конференции ACM по мультимедиа-ММ'09 . Материалы 17-й Международной конференции по мультимедиа 2009. С. 341–350. дои : 10.1145/1631272.1631320 . ISBN 9781605586083 . S2CID 816862 .
^ Барч, Марк А.; Уэйкфилд, Грегори Х. (2005). «Аудио миниатюры популярной музыки с использованием цветных представлений». Транзакции IEEE в мультимедиа . 7 (1): 96–104. CiteSeerX 10.1.1.379.3293 . дои : 10.1109/TMM.2004.840597 . S2CID 12559221 .
^ Гомес, Эмилия (2006). «Тональное описание музыкальных аудиосигналов». Кандидатская диссертация, UPF Барселона, Испания .
^ Мюллер, Мейнард (2015). Синхронизация музыки. В разделе «Основы обработки музыки», глава 3, страницы 115–166 . Спрингер. ISBN 978-3-319-21944-8 .
^ Мюллер, Мейнард; Эверт, Себастьян (2011). «Chroma Toolbox: реализации MATLAB для извлечения вариантов аудиофункций на основе цветности» (PDF) . Материалы конференции Международного общества поиска музыкальной информации : 215–220.

Внешние ссылки

Chroma Toolbox Бесплатные реализации MATLAB различных типов цветности аудиофункций на основе высоты тона и цветности
Плагин профиля класса Harmonic Pitch

[Shepard64_pitch_ASA-1] Шепард, Роджер Н. (1964). «Кругообразность в суждениях об относительном слухе». Журнал Акустического общества Америки . 36 (212): 2346–2353. Бибкод : 1964ASAJ...36.2346S . дои : 10.1121/1.1919362 .

[Mueller15_FundamentalsMusicProcessig_SPRINGER-2] Мюллер, Мейнард (2015). Основы обработки музыки . Спрингер. дои : 10.1007/978-3-319-21945-5 . ISBN 978-3-319-21944-8 . S2CID 8691186 .

[ChoB14_Chord_IEEE-TASLP-3] Чо, Тэмин; Белло, Хуан Пабло (2014). «Об относительной важности отдельных компонентов систем распознавания аккордов». Транзакции IEEE/ACM по обработке звука, речи и языка . 22 (2): 477–4920. дои : 10.1109/TASLP.2013.2295926 . S2CID 16434636 .

[MauchD10_SimultaneousEstimation_TASLP-4] Маух, Матиас; Диксон, Саймон (2010). «Одновременная оценка аккордов и музыкального контекста по аудио». Транзакции IEEE по обработке звука, речи и языка . 18 (6): 138–153. CiteSeerX 10.1.1.414.7800 . дои : 10.1109/TASL.2009.2032947 . S2CID 15866073 .

[Fujishima99_ChordRecognition_ICMC-5] Фудзисима, Такуя (1999). «Распознавание аккордов музыкального звука в реальном времени: система, использующая музыку Common Lisp». Материалы Международной компьютерной музыкальной конференции : 464–467.

[JiangGKM11_Chord_AES-6] Цзян, Наньчжу; Гроше, Питер; Конц, Верена; Мюллер, Мейнард (2011). «Анализ типов функций цветности для автоматического распознавания аккордов» (PDF) . Материалы конференции AES по семантическому аудио .

[HuDT03_audiomatching_WASPAA-7] Ху, Нин; Данненберг, Роджер Б.; Цанетакис, Джордж (2003). «Согласование и выравнивание полифонического аудио для поиска музыки». Труды семинара IEEE по применению обработки сигналов в аудио и акустике .

[EwertMG09_HighResAudioSync_ICASSP-8] Эверт, Себастьян; Мюллер, Мейнард; Гроше, Питер (2009). «Синхронизация звука высокого разрешения с использованием функций начала цветности» (PDF) . 2009 Международная конференция IEEE по акустике, речи и обработке сигналов . стр. 1869–1872. дои : 10.1109/ICASSP.2009.4959972 . ISBN 978-1-4244-2353-8 . S2CID 16952895 .

[PaulusMK10_MusicStructure-STAR_ISMIR-9] Паулюс, Йоуни; Мюллер, Мейнард; Клапури, Ансси (2010). «Анализ структуры музыки на основе аудио» (PDF) . Материалы Международной конференции по поиску музыкальной информации : 625–636.

[EllisP07_CoverSong_ICASSP-10] Эллис, Дэниел П.В.; Полинер, Грэм (2007). «Определение кавер-версий песен с помощью функций Chroma и динамического программирования отслеживания битов». Материалы Международной конференции IEEE по акустике, речи и обработке сигналов .

[SerraGHS08_CoverSong_IEEE-TASLP-11] Серра, Джоан; Гомес, Эмилия; Эррера, Перфекто; Серра, Ксавье (2008). «Двоичное сходство цветности и локальное выравнивание, применяемое для идентификации кавер-песен». Транзакции IEEE по обработке звука, речи и языка . 16 (6): 1138–1151. дои : 10.1109/TASL.2008.924595 . hdl : 10230/16277 . S2CID 10078274 .

[MuellerKC05_ChromaFeatures_ISMIR-12] Jump up to: ^а ^б Мюллер, Мейнард; Курт, Фрэнк; Клаузен, Майкл (2005). «Сопоставление аудио с помощью статистических функций на основе цветности» (PDF) . Материалы Международной конференции по поиску музыкальной информации : 288–295.

[KurthM08_IndexBasedAudioMatching_TASLP-13] Курт, Фрэнк; Мюллер, Мейнард (2008). «Эффективное сопоставление аудио на основе индексов». Транзакции IEEE по обработке звука, речи и языка . 16 (2): 382–395. дои : 10.1109/TASL.2007.911552 . S2CID 206601781 .

[Mueller15_Chapter3FMP_SPRINGER2-14] Мюллер, Мейнард (2015). Синхронизация музыки. В разделе «Основы обработки музыки», глава 3, страницы 115–166 . Спрингер. ISBN 978-3-319-21944-8 .

[KurthM08_IndexBasedAudioMatching_TASLP3-15] Курт, Фрэнк; Мюллер, Мейнард (2008). «Эффективное сопоставление аудио на основе индексов». Транзакции IEEE по обработке звука, речи и языка . 16 (2): 382–395. дои : 10.1109/TASL.2007.911552 . S2CID 206601781 .

[YY10-16] Ю, Йи; Круциану, Мишель; Ория, Винсент; Дамиани, Эрнесто (2010). «Сочетание гистограммы с несколькими зондами и LSH на основе статистики порядков для масштабируемого поиска аудиоконтента». Материалы международной конференции по мультимедиа-ММ'10 . Материалы 18-й Международной конференции по мультимедиа 2010. С. 381–390. дои : 10.1145/1873951.1874004 . ISBN 9781605589336 . S2CID 9033525 .

[YY09-17] Ю, Йи; Круциану, Мишель; Ория, Винсент; Чен, Лей (2009). «Локальное суммирование и многоуровневый LSH для извлечения многовариантных звуковых дорожек». Материалы семнадцатой международной конференции ACM по мультимедиа-ММ'09 . Материалы 17-й Международной конференции по мультимедиа 2009. С. 341–350. дои : 10.1145/1631272.1631320 . ISBN 9781605586083 . S2CID 816862 .

[BartschW05_chroma_IEEEMULTIMEDIA-18] Барч, Марк А.; Уэйкфилд, Грегори Х. (2005). «Аудио миниатюры популярной музыки с использованием цветных представлений». Транзакции IEEE в мультимедиа . 7 (1): 96–104. CiteSeerX 10.1.1.379.3293 . дои : 10.1109/TMM.2004.840597 . S2CID 12559221 .

[Gomez06_PhD-19] Гомес, Эмилия (2006). «Тональное описание музыкальных аудиосигналов». Кандидатская диссертация, UPF Барселона, Испания .

[Mueller15_Chapter3FMP_SPRINGER-20] Мюллер, Мейнард (2015). Синхронизация музыки. В разделе «Основы обработки музыки», глава 3, страницы 115–166 . Спрингер. ISBN 978-3-319-21944-8 .

[MuellerE11_ChromaToolbox_ISMIR-21] Мюллер, Мейнард; Эверт, Себастьян (2011). «Chroma Toolbox: реализации MATLAB для извлечения вариантов аудиофункций на основе цветности» (PDF) . Материалы конференции Международного общества поиска музыкальной информации : 215–220.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]