МУШРА
MUSHRA означает « множественные стимулы со скрытой ссылкой и привязкой» и представляет собой методологию проведения теста прослушивания кодека для оценки воспринимаемого качества выходного сигнала с потерями алгоритмов сжатия звука . Это определено рекомендацией ITU-R BS.1534-3. [1] Методика MUSHRA рекомендуется для оценки «промежуточного качества звука». При очень небольших нарушениях звука Рекомендацию МСЭ-R BS.1116-3 вместо этого рекомендуется использовать (ABC/HR).
Основное преимущество перед методологией средней оценки мнения (MOS) (которая служит той же цели) заключается в том, что MUSHRA требует меньшего количества участников для получения статистически значимых результатов. [ нужна ссылка ] Это связано с тем, что все кодеки представлены одновременно, в одних и тех же выборках, поэтому парный t-критерий или дисперсионный анализ для статистического анализа можно использовать с повторными измерениями. Кроме того, шкала от 0 до 100, используемая MUSHRA, позволяет оценивать очень небольшие различия.
В MUSHRA слушателю предоставляется ссылка (помеченная как таковая), определенное количество тестовых образцов, скрытая версия ссылки и один или несколько якорей. В рекомендации указано, что в тестовые сигналы следует включать якорь низкого и среднего диапазона. Обычно это низкочастотная версия опорного сигнала 7 кГц и 3,5 кГц. Цель якорей — откалибровать шкалу, чтобы мелкие артефакты не подвергались неоправданному наказанию. Это особенно важно при сравнении или объединении результатов из разных лабораторий.
Поведение слушателя
[ редактировать ]Оба теста MUSHRA и ITU BS.1116. [2] приглашайте подготовленных опытных слушателей , которые знают, как звучат типичные артефакты и где они могут возникнуть. Опытные слушатели также лучше усваивают оценочную шкалу, что приводит к более повторяемым результатам, чем у неподготовленных слушателей. требуется меньше слушателей Таким образом, при наличии обученных слушателей для достижения статистически значимых результатов .
Предполагается, что предпочтения опытных слушателей и наивных слушателей одинаковы, и, таким образом, результаты опытных слушателей также являются прогнозирующими для потребителей. В соответствии с этим предположением Шинкель-Билефельд и др. [3] не обнаружил различий в порядке ранжирования между опытными слушателями и неподготовленными слушателями при использовании тестовых сигналов, содержащих только тембр и никаких пространственных артефактов. Однако Рамси и др. [4] показали, что для сигналов, содержащих пространственные артефакты, опытные слушатели оценивают пространственные артефакты немного сильнее, чем неподготовленные слушатели, которые в первую очередь сосредотачиваются на тембральных артефактах.
В дополнение к этому было показано, что опытные слушатели чаще используют возможность многократного прослушивания небольших участков тестируемых сигналов и выполняют больше сравнений между тестируемыми сигналами и эталонными. [3] В отличие от наивного слушателя, который выставляет оценку предпочтений, опытные слушатели таким образом выставляют оценку качества звука, оценивая различия между тестируемым сигналом и несжатым оригиналом, что и является фактической целью теста MUSHRA.
Предварительный или пост-скрининг
[ редактировать ]В рекомендациях MUSHRA упоминается несколько возможностей оценки надежности слушателя.
Самый простой и распространенный — дисквалифицировать слушателей, которые оценивают скрытую ссылку ниже 90 баллов MUSHRA более чем по 15 процентам всех заданий теста. Скрытая ссылка должна быть оценена в 100 баллов MUSHRA, так что это явно ошибка. Хотя может случиться так, что скрытый эталонный сигнал и высококачественный сигнал перепутаны, рейтинг ниже 90 следует присваивать только в том случае, если слушатель уверен, что номинальный сигнал отличается от исходного эталонного сигнала.
Другая возможность оценить работу слушателя — eGauge. [5] структура, основанная на дисперсионном анализе. Он рассчитывает согласие , повторяемость и различимость , хотя только последние два из них рекомендуются для предварительной или последующей проверки. Соглашение анализирует, насколько хорошо слушатель согласен с остальными слушателями. Повторяемость учитывает дисперсию при повторной оценке одного и того же тестового сигнала по сравнению с дисперсией других тестовых сигналов и анализом различимости , если слушатели могут различать тестовые сигналы в разных условиях. Поскольку eGauge требует прослушивания каждого тестового сигнала дважды, применить это сложнее, чем публиковать прослушиватели экрана на основе оценок скрытого эталона. Однако, если слушатель доказал свою надежность с помощью eGauge, его или ее также можно считать надежным слушателем для будущих тестов прослушивания, при условии, что характер теста не изменится; Надежный слушатель для теста стереопрослушивания не обязательно одинаково хорошо воспринимает артефакты в тестовых заданиях формата 5.1 или 22.2.
Тестовые задания
[ редактировать ]Важно выбрать критические элементы тестирования; элементы, которые трудно закодировать и которые могут создавать артефакты. В то же время объекты испытаний должны быть экологически безопасными; они должны быть репрезентативными для радиовещательного материала, а не какими-то синтетическими сигналами, специально разработанными для того, чтобы их было трудно кодировать. Метод выбора критического материала представлен Ekeroot et al. которые предлагают ранжирование методом исключения. [6] Хотя это хороший способ выбрать наиболее важные элементы тестирования, он не гарантирует включение множества элементов тестирования, подверженных различным артефактам.
В идеале характер задания теста MUSHRA должен иметь схожие характеристики на протяжении всего времени выполнения этого задания. [ нужен пример ] В противном случае слушателю может быть сложно определиться с оценкой, если разные части предметов демонстрируют разные или более сильные артефакты, чем другие. [7] Часто более короткие предметы приводят к меньшей изменчивости, чем более длинные, поскольку они более стационарны. [8] Однако даже при попытке выбрать стационарные предметы экологически ценные стимулы [ нужны дальнейшие объяснения ] очень часто будут иметь участки, которые немного более критичны, чем остальная часть сигнала. Таким образом, слушатели, фокусирующиеся на разных участках сигнала, могут оценить его по-разному. В этом случае более критически настроенные слушатели, по-видимому, лучше определяют наиболее важные области стимула, чем менее критически настроенные слушатели. [9]
Язык тестовых заданий
[ редактировать ]Во время испытаний ITU-T P.800 [10] которые обычно используются для оценки качества телефонных кодеков, тестируемые речевые элементы всегда должны быть на родном языке слушателей, в тестах MUSHRA в этом нет необходимости. Исследование, проведенное среди слушателей китайского и немецкого языков, не выявило существенной разницы между оценкой тестовых заданий по иностранному и родному языку. Однако слушателям требовалось больше времени и возможностей для сравнения при оценке заданий на иностранном языке. [11] Такая компенсация невозможна в тестах ACR ITU-T P.800, где элементы слышны только один раз и сравнение с эталоном невозможно. Там материалы на иностранном языке оцениваются как более низкие при низком уровне владения языком слушателей. [12]
Ссылки
[ редактировать ]- ^ Рекомендация МСЭ-R BS.1534
- ^ МСЭ-R BS.1116 (февраль 2015 г.). «Методы субъективной оценки небольших нарушений в аудиосистемах» .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) CS1 maint: числовые имена: список авторов ( ссылка ) - ^ Перейти обратно: а б Шинкель-Билефельд Н., Лотце Н. и Нагель Ф. (май 2013 г.). «Оценка качества звука опытными и неопытными слушателями». Журнал Акустического общества Америки . 133 (5): 3246. Бибкод : 2013ASAJ..133.3246S . дои : 10.1121/1.4805210 .
{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Рамси, Фрэнсис; Зелински, Славомир; Кассир, Рафаэль; Бех, Сорен (31 мая 2005 г.). «Взаимосвязь между оценками опытных слушателей качества многоканального звука и предпочтениями наивных слушателей» . Журнал Акустического общества Америки . 117 (6): 3832–3840. Бибкод : 2005ASAJ..117.3832R . дои : 10.1121/1.1904305 . ISSN 0001-4966 . ПМИД 16018485 .
- ^ Гаэтан, Лорхо; Гийом, Ле Рэй; Ник, Захаров (13 июня 2010 г.). «eGauge — показатель опыта эксперта в оценке качества звука» . Труды Общества звукоинженеров. 38-я Международная конференция по оценке качества звука .
- ^ Экерут, Йонас; Берг, Ян; Нюканен, Арне (25 апреля 2014 г.). «Критичность аудиостимулов для тестов на прослушивание – продолжительность прослушивания во время ранжирования» . 136-й съезд Общества аудиоинженеров .
- ^ Макс, Нойендорф; Фредерик, Нагель (19 октября 2011 г.). «Исследовательские исследования стационарности восприятия в тестах на прослушивание. Часть I: сигналы реального мира, полученные в результате индивидуальных тестов на прослушивание» .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Фредерик, Нагель; Макс, Нойендорф (19 октября 2011 г.). «Исследовательские исследования стационарности восприятия в тесте на прослушивание - Часть II: синтетические сигналы с изменяющимися во времени артефактами» .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) - ^ Надя, Шинкель-Билефельд (11 мая 2017 г.). «Оценка качества звука в тестах MUSHRA – влияние настройки цикла на рейтинги слушателей» . 142-й съезд Общества аудиоинженеров .
- ^ МСЭ-Т P.800 (август 1996 г.). «Р.800: Методы субъективного определения качества передачи» .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) CS1 maint: числовые имена: список авторов ( ссылка ) - ^ Надя, Шинкель-Билефельд; Чжан, Цзяндун; Цинь, Или; Катарина, Лешановская, Анна; Фу, Шаньшань (11 мая 2017 г.). «Сложнее ли воспринимать артефакты кодирования в предметах на иностранном языке? - Исследование с участием слушателей, говорящих на китайском и немецком языках» .
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Блашкова, Любица; Голуб, Ян (2008). «Как слушатели, не являющиеся носителями языка, воспринимают качество передаваемого голоса?» (PDF) . Коммуникации . 10 (4): 11–15. дои : 10.26552/com.C.2008.4.11-14 . S2CID 196699038 .
Внешние ссылки
[ редактировать ]- webMUSHRA: экспериментальное программное обеспечение на основе API веб-аудио, совместимое с MUSHRA, настраиваемое с использованием YAML.
- RateIt: графический интерфейс для проведения экспериментов MUSHRA.
- MUSHRAM - интерфейс Matlab для тестов прослушивания MUSHRA на Wayback Machine (архивировано 19 октября 2008 г.)
- Интерфейс Max/MSP для прослушивания тестов MUSHRA
- Инструмент оценки звука на основе браузера для проведения множества различных тестов, включая MUSHRA. Программирование не требуется.
- BeaqleJS: платформа на основе HTML5 и JavaScript для прослушивания тестов.
- mushraJS+Server: на основе mushraJS с сервером mochiweb, который является веб-сервером erlang.