Поиск мультимедийной информации

Поиск мультимедийной информации ( MMIR или MIR ) — исследовательская дисциплина информатики , целью которой является извлечение семантической информации из источников мультимедийных данных. Источники данных включают непосредственно воспринимаемые медиа, такие как аудио , изображения и видео , косвенно воспринимаемые источники, такие как текст , семантические описания, биосигналы , а также невидимые источники, такие как биоинформация, цены на акции и т. д. Методологию MMIR можно разделить на три группы:

1. Методы обобщения медиаконтента ( выделение признаков ). Результатом выделения признаков является описание.
2. Методы фильтрации медиаописаний (например, устранение избыточности )
3. Методы категоризации описаний мультимедиа по классам.

Методы извлечения признаков

Извлечение признаков мотивируется огромным размером мультимедийных объектов, а также их избыточностью и, возможно, зашумленностью. Как правило, путем извлечения признаков можно достичь двух возможных целей:

• Обобщение медиаконтента. Методы суммирования включают в себя аудиообласть, например, кепстральные коэффициенты мел-частоты , скорость пересечения нуля, кратковременную энергию. В визуальной области цветные гистограммы такой как масштабируемый дескриптор цвета MPEG-7, можно использовать для обобщения.
• Обнаружение закономерностей посредством автокорреляции и/или взаимной корреляции . Шаблоны — это повторяющиеся медиафрагменты, которые можно обнаружить либо путем сравнения фрагментов по медиа-размерам (времени, пространству и т. д.), либо путем сравнения медиафрагментов с шаблонами (например, шаблонами лиц, фразами). Типичные методы включают линейное прогнозирующее кодирование в области аудио/биосигналов, описание текстуры в визуальной области и n-граммы при поиске текстовой информации.

Методы слияния и фильтрации

Поиск мультимедийной информации подразумевает, что для понимания медиаконтента используются несколько каналов. Каждый из этих каналов описывается преобразованиями свойств, специфичными для медиа. Полученные описания необходимо объединить в одно описание для каждого медиа-объекта. Слияние может быть выполнено путем простой конкатенации, если описания имеют фиксированный размер. Описания переменного размера – как они часто встречаются в описании движения – сначала должны быть нормализованы до фиксированной длины.

Часто используемые методы фильтрации описаний включают факторный анализ (например, с помощью PCA), разложение по сингулярным значениям (например, в виде скрытой семантической индексации при поиске текста), а также извлечение и проверку статистических моментов. расширенные концепции, такие как фильтр Калмана Для объединения описаний используются .

Методы категоризации

Как правило, для категоризации мультимедийных описаний можно использовать все формы машинного обучения. хотя некоторые методы чаще используются в одной области, чем в другой. Например, скрытые модели Маркова являются новейшими достижениями в распознавании речи , а динамическое искажение времени (семантически связанный метод) является новейшим достижением в выравнивании последовательностей генов. В перечень применимых классификаторов входят следующие:

• Метрические подходы ( кластерный анализ , модель векторного пространства , расстояния Минковского , динамическое выравнивание)
• Методы ближайших соседей ( алгоритм K-ближайших соседей , K-средние, самоорганизующаяся карта )
• Минимизация риска (регрессия опорных векторов, машина опорных векторов , линейный дискриминантный анализ )
• Плотностные методы (сети Байеса, марковские процессы , модели смесей)
• Нейронные сети ( персептрон , ассоциативная память, спайковые сети)
• Эвристика ( деревья решений , случайные леса и т. д.)

Выбор лучшего классификатора для данной задачи (тестовый набор с описаниями и метками классов, так называемая Ground Truth ) может осуществляться автоматически, например, с помощью Weka Data Miner.

Открытые проблемы

Качество систем MMIR во многом зависит от качества обучающих данных. Дискриминационные описания могут быть извлечены из источников СМИ в различных формах. Машинное обучение предоставляет методы категоризации для всех типов данных. Однако классификатор может быть настолько хорош, насколько хороши данные обучения. С другой стороны, для предоставления меток классов для больших баз данных требуются значительные усилия. Будущий успех MMIR будет зависеть от предоставления таких данных. Ежегодный конкурс TRECVID в настоящее время является одним из наиболее актуальных источников высококачественной достоверной информации.

Связанные области

MMIR предоставляет обзор методов, используемых в области поиска информации. Методы одной области адаптируются и применяются на других типах носителей. Мультимедийный контент объединяется перед выполнением классификации. Поэтому методы MMIR обычно повторно используются из других областей, таких как:

• Биоинформационный анализ
• Обработка биосигналов
• Поиск изображений и видео на основе контента
• Распознавание лиц
• Классификация аудио и музыки (поиск музыкальной информации)
• Автоматическое распознавание контента
• Распознавание речи
• Технический анализ графиков
• просмотр видео
• Поиск текстовой информации
• Получение изображения
• Учимся ранжировать

Международный журнал поиска мультимедийной информации документирует развитие MMIR как исследовательской дисциплины, независимой от этих областей. См. также Справочник по поиску мультимедийной информации. для полного обзора этой исследовательской дисциплины.