Мультимедийный поиск

Мультимедийный поиск информации обеспечивает поиск с использованием запросов в нескольких типах данных, включая текст и другие мультимедийные форматы.Мультимедийный поиск может быть реализован через мультимодальные поисковые интерфейсы, т. е. интерфейсы, позволяющие подавать поисковые запросы не только в виде текстовых запросов, но и через другие носители.В поиске мультимедиа можно выделить две методологии:

Поиск метаданных : поиск осуществляется по слоям метаданных .
Запрос по примеру . Взаимодействие заключается в отправке части информации (например, видео, изображения или аудиозаписи) с целью поиска похожих мультимедийных элементов.

Поиск метаданных

Поиск осуществляется по слоям метаданных, содержащих информацию о содержимом мультимедийного файла. Поиск по метаданным стал проще, быстрее и эффективнее, поскольку вместо работы со сложным материалом, например аудио, видео или изображением, поиск осуществляется с использованием текста.

В этом методе необходимо выполнить три процесса:

Обобщение медиаконтента ( выделение функций ). Результатом выделения признаков является описание.
Фильтрация медиаописаний (например, устранение избыточности )
Категоризация медиаописаний по классам.

Запрос по примеру

В запросе по примеру элементом, используемым для поиска, является мультимедийный контент (изображение, аудио, видео). Другими словами, запрос является носителем. Часто используется аудиовизуальная индексация . Необходимо будет выбрать критерии, которые мы будем использовать для создания метаданных. Процесс поиска можно разделить на три части:

Сгенерируйте дескрипторы для медиа, которые мы собираемся использовать в качестве запроса, и дескрипторы для медиа в нашей базе данных .
Сравните дескрипторы запроса и медиафайлы нашей базы данных.
Перечислите средства массовой информации, отсортированные по максимальному совпадению.

Мультимедийная поисковая система

В зависимости от контента существует два больших семейства поисковых запросов:

Визуальная поисковая система

Внутри этого семейства можно выделить две темы: поиск изображений и поиск видео.

Поиск по изображениям . Хотя обычно используется простой поиск по метаданным, все чаще используются методы индексирования, позволяющие сделать результаты запросов пользователей более точными с использованием запроса по примеру . Например, QR-коды .
Поиск видео : видео можно искать по простым метаданным или по сложным метаданным, созданным путем индексирования. Звук, содержащийся в видео, обычно сканируется аудиопоисковиками.

Аудио поисковая система

Существуют различные методы поиска аудио :

Система голосового поиска : позволяет пользователю осуществлять поиск, используя речь вместо текста. Он использует алгоритмы распознавания речи . Примером этой технологии является голосовой поиск Google . ^[1]
Музыкальная поисковая система: Хотя большинство приложений, которые ищут музыку, работают с простыми метаданными (исполнитель, название трека, альбома…). Есть программы распознавания музыки , например Shazam. ^[2] или СаундХаунд .

См. также

Ссылки

^ «Голосовой поиск Google теперь может легко обрабатывать несколько языков» Engadget . Проверено 17 апреля 2024 г.
^ «Shazam запускает платформу продаж Resonate TV» Рекламный щит . Проверено 17 апреля 2024 г.

[1] «Голосовой поиск Google теперь может легко обрабатывать несколько языков» Engadget . Проверено 17 апреля 2024 г.

[2] «Shazam запускает платформу продаж Resonate TV» Рекламный щит . Проверено 17 апреля 2024 г.

[1]

[2]