Крупномасштабная концептуальная онтология для мультимедиа
Проект «Крупномасштабная концептуальная онтология для мультимедиа» представлял собой серию семинаров, проходивших с апреля 2004 г. по сентябрь 2006 г. [1] с целью определения стандартного формального словаря для аннотирования и поиска видео.
Мандат
[ редактировать ]Проект «Крупномасштабная концептуальная онтология для мультимедиа» спонсировался Управлением прорывных технологий и объединил представителей различных исследовательских сообществ, таких как мультимедийное обучение, информационный поиск, компьютерная лингвистика, библиотечное дело и представление знаний, а также «пользовательские «сообщества, такие как спецслужбы и радиовещательные компании, для совместной работы над определением набора из 1000 концепций. [2] В отдельности каждая концепция должна была соответствовать следующим критериям: [3]
- Полезность: концепции должны поддерживать реалистичные задачи поиска видео.
- Осуществимость: концепции способны или будут способны к обнаружению, учитывая краткосрочное (прогнозируемое на 5 лет) состояние технологий.
- Наблюдаемость: концепции встречаются с относительно высокой частотой в реальных наборах видеоданных.
В совокупности эти концепции должны были соответствовать дополнительному критерию обеспечения широкого (независимого от предметной области) охвата. [3] Целевые области высокого уровня для охвата включали физические объекты, включая одушевленные объекты (такие как люди, мобы и животные), а также неодушевленные объекты, начиная от крупномасштабных (таких как здания и шоссе) и заканчивая мелкими (такими как телефоны и техника); действия и события; локации и настройки; и графика. Работу возглавил доктор Милинд Нафад, который был главным исследователем вместе с исследователями из Университета Карнеги-Меллон , Колумбийского университета и IBM . [1]
Пути развития
[ редактировать ]У проекта было два основных «направления»: разработка и внедрение инструментов аннотации ключевых кадров (в исполнении CMU и Columbia) и разработка самой крупномасштабной концептуальной онтологии для иерархии концепций мультимедиа. Второй этап выполнялся в два этапа: первый заключался в ручном построении иерархии понятий 884 и выполнялся совместно представителями исследователей и сообщества пользователей.
Второй трек, выполненный экспертами по представлению знаний из Cycorp, Inc. , включал отображение концепций в базу знаний Cyc и использование механизма вывода Cyc для полуавтоматического уточнения, исправления и расширения иерархии концепций. Фаза картирования/расширения проекта была мотивирована желанием увеличить широту — картирование привело к переходу от 884 концепций к значительному превышению первоначальной цели в 1000 — и переместить крупномасштабную онтологию концепций для мультимедиа из одной концепции. многомерная иерархия понятий, к полноценной онтологии богатых семантических связей. [3]
Результаты проекта
[ редактировать ]Результаты этих усилий включали: [1]
- «Облегченная» версия иерархии концепций крупномасштабной онтологии концепций мультимедиа, состоящая из подмножества из 449 концепций.
- Корпус из 61 901 ключевого кадра видео, взятый из набора данных TRECVID 2006 года, аннотированный с использованием крупномасштабной концептуальной онтологии для «облегченного» мультимедиа.
- Полная таксономия 2638 концепций, построенная полуавтоматически путем отображения 884 концепций, идентифицированных вручную сотрудниками, в базу знаний Cyc и запроса к механизму вывода Cyc полезных дополнений.
- Полная онтология в виде выпуска ResearchCyc 2006 года, который содержал крупномасштабную концептуальную онтологию для сопоставлений мультимедиа с онтологией Cyc.
Общественные детекторы
[ редактировать ]Было разработано и выпущено в публичное пользование несколько наборов детекторов концептов:
- VIREO-374 , детекторы 374, разработанные Городским университетом Гонконга .
- Columbia374 , 374 детектора, разработанные Колумбийским университетом .
- Детекторы Mediamill101 , 101 разработаны Амстердамским университетом .
Использование в более широком исследовательском сообществе
[ редактировать ]С момента своего выпуска «Крупномасштабная концептуальная онтология для мультимедиа» начала успешно использоваться в исследованиях по визуальному распознаванию: помимо исследований, проведенных участниками проекта, она использовалась независимыми исследованиями по извлечению концепций из изображений, [4] [5] и послужил основой для инструмента для аннотирования видео. [6]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Jump up to: а б с Нафаде и др. , «Крупномасштабная концептуальная онтология для мультимедиа: отчет семинара VACE»,
- ^ Нафаде и др. , «Крупномасштабная концептуальная онтология для понимания мультимедиа», презентация в формате ppt, опубликованная MITRE. Архивировано 6 мая 2006 г. в Wayback Machine.
- ^ Jump up to: а б с Нафаде и др. , «Крупномасштабная концептуальная онтология для мультимедиа», IEEE MultiMedia, vol. 13, нет. 3, стр. 86–91, июль-сентябрь 2006 г.
- ^ Снук и др. , «Добавление семантики к детекторам для поиска видео», ожидается в журнале IEEE Transactions on Multimedia, 2007 г.
- ^ Уорринг и др. , «Механизм предложения концепций с большим словарным запасом MediaMill» , готовится к публикации в материалах Международной конференции IEEE по акустике, речи и обработке сигналов , Гонолулу, Гавайи, США, апрель 2007 г.
- ^ Эмили Гарано, Смитон А. и Коскела М., «Оценка инструмента аннотации видео на основе онтологии LSCOM», в материалах Первой международной конференции по семантике и технологиям цифровых медиа , Афины, Греция, 6–8. Декабрь 2006 г. Архивировано 20 июля 2011 г. в Wayback Machine.