Простое интерактивное извлечение объектов

Простое интерактивное извлечение объектов ( SIOX ) — это алгоритм извлечения объектов переднего плана из цветных изображений и видео с минимальным вмешательством пользователя. ^[1] Он был реализован как инструмент «выбора переднего плана» в GIMP (начиная с версии 2.3.3), как часть инструмента трассировки в Inkscape (начиная с версии 0.44pre3) и как функция в ImageJ и Fiji (плагин). Также сообщалось об экспериментальных реализациях для Blender и Krita . Хотя алгоритм изначально был разработан для видео, практически все реализации используют SIOX в первую очередь для сегментации неподвижных изображений. Фактически, его часто называют текущим стандартом де-факто для этой задачи в мире открытого исходного кода .

Первоначально для указания интересующей области используется инструмент выбора от руки. Он должен содержать все объекты переднего плана для извлечения и как можно меньше фона. Пиксели за пределами интересующей области образуют надежный фон, тогда как внутренняя область определяет надмножество переднего плана, то есть неизвестную область. Затем используется так называемая кисть переднего плана, чтобы отметить репрезентативные области переднего плана. Алгоритм выводит маску выбора. Выделение можно уточнить, добавив дополнительные метки переднего плана или добавив фоновые метки с помощью фоновой кисти.

Технически алгоритм выполняет следующие шаги:

Создайте набор репрезентативных цветов для определенного переднего плана и определенного фона, так называемые цветовые подписи.
Назначьте все точки изображения переднему или заднему плану с помощью взвешенного поиска ближайшего соседа в цветовых подписях.
Примените некоторые стандартные операции обработки изображений, такие как эрозия, расширение и размытие, чтобы удалить артефакты.
Найдите подключенные компоненты переднего плана, которые либо достаточно велики, либо отмечены пользователем.

Для сегментации видео определенные области фона и переднего плана определяются из статистики движения. SIOX также предлагает инструменты, позволяющие с субпиксельной точностью уточнять края и области с высокой текстурой, так называемые «кисти для уточнения деталей».

Как и во всех алгоритмах сегментации , всегда есть изображения, на которых алгоритм не дает идеальных результатов. Самым критичным недостатком SIOX является цветозависимость. Хотя многие фотографии хорошо различаются по цветам, с камуфляжем алгоритм справиться не может. Если передний план и фон имеют много одинаковых оттенков схожих цветов, алгоритм может дать результат с отсутствующими частями или неправильно классифицированными передним планом. SIOX работает примерно одинаково хорошо в различных тестах по сравнению с методами сегментации на основе графов, такими как Grabcut . Однако SIOX более устойчив к шуму и поэтому может использоваться для сегментации видео. Методы сегментации на основе графов ищут минимальный разрез и поэтому имеют тенденцию не работать оптимально со сложными структурами.

Алгоритм изначально был разработан на факультете информатики Свободного университета Берлина . Главный разработчик, Джеральд Фридланд , в настоящее время является преподавателем кафедры EECS Калифорнийского университета в Беркли , а также главным специалистом по данным в Ливерморской национальной лаборатории Лоуренса . Он продолжает поддерживать разработку посредством наставничества, например, на Google Summer of Code .

Примечания

^ Фридланд Г., Янц К., Ленц Т., Визель Ф. и Рохас Р. (2006). «Практический подход к точному выделению нескольких объектов из фотографий и видео». Восьмой международный симпозиум IEEE по мультимедиа (ISM'06) . стр. 307–316. дои : 10.1109/ISM.2006.9 . ISBN 978-0-7695-2746-8 . S2CID 13938666 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

Ссылки

Г. Фридланд, К. Янц, Р. Рохас: SIOX: Простое извлечение интерактивных объектов в неподвижных изображениях, Труды Международного симпозиума IEEE по мультимедиа (ISM2005), стр. 253–259, Ирвин (Калифорния), декабрь 2005 г., онлайн-статья.
Г. Фридланд, К. Янц, Т. Ленц, Ф. Визель, Р. Рохас: вырезание и вставка объектов в изображениях и видео, Международный журнал семантических вычислений, том 1, № 2, стр. 221–247, World Scientific, США , июнь 2007 г., онлайн-статья.

Внешние ссылки

[1] Фридланд Г., Янц К., Ленц Т., Визель Ф. и Рохас Р. (2006). «Практический подход к точному выделению нескольких объектов из фотографий и видео». Восьмой международный симпозиум IEEE по мультимедиа (ISM'06) . стр. 307–316. дои : 10.1109/ISM.2006.9 . ISBN 978-0-7695-2746-8 . S2CID 13938666 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

[1]