Обнаружение переднего плана

Обнаружение переднего плана — одна из основных задач в области компьютерного зрения и обработки изображений , целью которой является обнаружение изменений в последовательностях изображений. Вычитание фона — это любой метод, который позволяет извлечь передний план изображения для дальнейшей обработки (распознавание объектов и т. д.).

Многим приложениям не требуется знать все об эволюции движения в видеопоследовательности, им требуется только информация об изменениях в сцене, поскольку интересующими областями изображения являются объекты (люди, автомобили, текст и т. д.) на переднем плане. После этапа предварительной обработки изображения (который может включать в себя шумоподавление изображения , постобработку, такую ​​как морфология и т. д.) требуется локализация объекта, которая может использовать этот метод.

Обнаружение переднего плана отделяет передний план от фона на основе этих изменений, происходящих на переднем плане. Это набор методов, которые обычно анализируют видеопоследовательности, записанные в реальном времени с помощью стационарной камеры.

Описание

Фоновое изображение (слева) и изображение переднего плана

Все методы обнаружения основаны на моделировании фона изображения, т.е. устанавливают фон и определяют, какие изменения происходят. Определить фон может быть очень сложно, если он содержит формы, тени и движущиеся объекты. При определении фона предполагается, что неподвижные объекты могут меняться по цвету и интенсивности с течением времени.

Сценарии применения этих методов, как правило, очень разнообразны. Могут быть очень разные последовательности, например, изображения с очень разным освещением, интерьерами, экстерьерами, качеством и шумом. Помимо обработки в реальном времени, системы должны иметь возможность адаптироваться к этим изменениям.

Очень хорошая система обнаружения переднего плана должна уметь:

• Разработайте фоновую (оценочную) модель.
• Будьте устойчивы к изменениям освещения, повторяющимся движениям (листья, волны, тени) и долгосрочным изменениям.

Вычитание фона

Вычитание фона — широко используемый подход для обнаружения движущихся объектов на видео со статических камер. Смысл этого подхода заключается в обнаружении движущихся объектов по разнице между текущим кадром и опорным кадром, часто называемой «фоновым изображением» или «фоновой моделью». Вычитание фона обычно выполняется, если рассматриваемое изображение является частью видеопотока. Вычитание фона дает важные подсказки для многочисленных приложений в компьютерном зрении, например, для отслеживания наблюдения или оценки позы человека .

Вычитание фона обычно основано на гипотезе статического фона, которая часто неприменима в реальных условиях. В сценах в помещении отражения или анимированные изображения на экранах приводят к изменению фона. Точно так же из-за ветра, дождя или изменений освещенности, вызванных погодой, методы статического фона испытывают трудности со сценами на открытом воздухе.

Временной средний фильтр

Пример временного среднего фильтра

Временной усредняющий фильтр — это метод, предложенный в компании Velastin. Эта система оценивает модель фона на основе медианы всех пикселей ряда предыдущих изображений. Система использует буфер со значениями пикселей последних кадров для обновления медианы для каждого изображения.

Чтобы смоделировать фон, система исследует все изображения за определенный период времени, называемый временем обучения . В настоящее время мы показываем только изображения и на этот раз находим медиану, пиксель за пикселем, всех графиков в фоновом режиме.

После периода обучения для каждого нового кадра значение каждого пикселя сравнивается с входным значением ранее рассчитанных средств. Если входной пиксель находится в пределах порогового значения, считается, что пиксель соответствует модели фона, и его значение включается в pixbuf. В противном случае, если значение выходит за пределы этого порога, пиксель классифицируется как передний план и не включается в буфер.

Этот метод нельзя считать очень эффективным, поскольку он не имеет строгой статистической основы и требует буфера, требующего высоких вычислительных затрат.

подходы

Надежный алгоритм вычитания фона должен быть в состоянии обрабатывать изменения освещения, повторяющиеся движения из-за беспорядка и долгосрочные изменения сцены. В следующем анализе используется функция V ( x , y , t ) в качестве видеопоследовательности, где t — временное измерение, x и y — переменные местоположения пикселя. например, V (1,2,3) — интенсивность пикселя в (1,2) месте пикселя изображения в момент t = 3 в видеопоследовательности.

Использование разницы кадров

Алгоритм обнаружения движения начинается с части сегментации, где сегментируются объекты переднего плана или движущиеся объекты.фон. Самый простой способ реализовать это — взять изображение в качестве фона и взять кадры, полученные на тот момент.t, обозначенное I(t), для сравнения с фоновым изображением, обозначенным B. Здесь, используя простые арифметические вычисления, мы можемсегментируйте объекты, просто используя технику вычитания изображений компьютерного зрения, что означает для каждого пикселя в I (t), возьмитезначение пикселя, обозначаемое P[I(t)], и вычитаем его из соответствующих пикселей в той же позиции на фоновом изображении.обозначается как P[B].

В математическом уравнении это записывается как:

$P[F(t)]=P[I(t)]-P[B]$

Предполагается, что фоном является кадр в момент времени t . На этом разностном изображении будет видна лишь некоторая интенсивность мест пикселей, которые изменились в двух кадрах. Хотя мы, казалось бы, удалили фон, этот подход будет работать только в тех случаях, когда все пиксели переднего плана движутся, а все пиксели фона статичны. Порог «Порог» устанавливается на это разностное изображение, чтобы улучшить вычитание (см. Пороговое значение изображения ):

$|P[F(t)]-P[F(t+1)]|>\mathrm {Threshold}$

Это означает, что интенсивности пикселей разностного изображения «порогируются» или фильтруются на основе значения «Порог». Точность этого подхода зависит от скорости движения в сцене. Для более быстрых движений могут потребоваться более высокие пороги.

Средний фильтр

Для расчета изображения, содержащего только фон, усредняется серия предшествующих изображений. Для расчета фонового изображения в момент t:

$B(x,y,t)={1 \over N}\sum _{i=1}^{N}V(x,y,t-i)$

где N — количество предыдущих изображений, взятых для усреднения. Это усреднение относится к усреднению соответствующих пикселей на данных изображениях. N будет зависеть от скорости видео (количества изображений в секунду в видео) и количества движения в видео. После расчета фона B ( x , y , t ) мы можем затем вычесть его из изображения V ( x , y , t ) в момент времени t = t и установить пороговое значение. Таким образом, передний план:

$|V(x,y,t)-B(x,y,t)|>\mathrm {Th}$

где Th – пороговое значение. Точно так же мы также можем использовать медиану вместо среднего значения в приведенном выше расчете B ( x , y , t ).

Использование глобальных и независимых от времени порогов (одного и того же значения Th для всех пикселей изображения) может ограничить точность двух вышеупомянутых подходов.

Текущее среднее по Гауссу

Для этого метода Wren et al. предложить аппроксимацию гауссовской вероятностной функции плотности (pdf) на самых последних $n$ рамки. Чтобы избежать установки PDF-файла с нуля в каждый новый кадр. $t$, вычисляется текущее (или кумулятивное) среднее значение.

PDF каждого пикселя характеризуется средним значением $\mu _{t}$ и дисперсия $\sigma _{t}^{2}$ . Ниже приводится возможное начальное условие (при условии, что изначально каждый пиксель является фоновым):

$\mu _{0}=I_{0}$

$\sigma _{0}^{2}=\langle {\text{some default value}}\rangle$

где $I_{t}$ значение интенсивности пикселя в момент времени $t$. Чтобы инициализировать дисперсию, мы можем, например, использовать дисперсию по x и y из небольшого окна вокруг каждого пикселя.

Обратите внимание, что фон может меняться со временем (например, из-за изменения освещения или нестатических фоновых объектов). Чтобы учесть это изменение, в каждом кадре $t$, среднее значение и дисперсия каждого пикселя должны быть обновлены следующим образом:

$\mu _{t}=\rho I_{t}+(1-\rho )\mu _{t-1}$

$\sigma _{t}^{2}=d^{2}\rho +(1-\rho )\sigma _{t-1}^{2}$

$d=|(I_{t}-\mu _{t})|$

Где $\rho$ определяет размер временного окна, которое используется для размещения PDF-файла (обычно $\rho =0.01$ ) и $d$ — евклидово расстояние между средним значением и значением пикселя.

Распределение Гаусса для каждого пикселя

Теперь мы можем классифицировать пиксель как фон, если его текущая интенсивность находится в пределах некоторого доверительного интервала среднего значения его распределения:

${\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}>k\longrightarrow {\text{foreground}}$

${\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}\leq k\longrightarrow {\text{background}}$

где параметр $k$ свободный порог (обычно $k=2.5$ ). Большее значение для $k$ позволяет создать более динамичный фон, в то время как меньший $k$ увеличивает вероятность перехода с заднего плана на передний за счет более тонких изменений.

В варианте метода распределение пикселей обновляется только в том случае, если они классифицируются как фоновые. Это сделано для того, чтобы вновь появившиеся объекты переднего плана не исчезали на заднем плане. Формула обновления среднего значения изменяется соответствующим образом:

$\mu _{t}=M\mu _{t-1}+(1-M)(I_{t}\rho +(1-\rho )\mu _{t-1})$

где $M=1$ когда $I_{t}$ считается передним планом и $M=0$ в противном случае. Итак, когда $M=1$ , то есть, когда пиксель определяется как передний план, среднее значение останется прежним. В результате пиксель, однажды ставший передним планом, может снова стать фоновым только тогда, когда значение интенсивности приблизится к тому, которое было до перехода на передний план. Однако у этого метода есть несколько проблем: он работает только в том случае, если все пиксели изначально являются пикселями фона (или пиксели переднего плана помечены как таковые). Кроме того, он не может справиться с постепенным изменением фона: если пиксель отнесен к категории переднего плана в течение слишком длительного периода времени, интенсивность фона в этом месте могла измениться (поскольку изменилось освещение и т. д.). В результате, как только объект переднего плана исчезнет, ​​новая интенсивность фона может больше не распознаваться как таковая.

Модели фоновой смеси

Метод смеси гауссиан моделирует каждый пиксель как смесь гауссиан и использует онлайн-аппроксимацию для обновления модели. В этом методе предполагается, что значения интенсивности каждого пикселя в видео можно смоделировать с использованием модели смеси Гаусса . Простая эвристика определяет, какая интенсивность, скорее всего, является фоном. Тогда пиксели, которые им не соответствуют, называются пикселями переднего плана. Пиксели переднего плана группируются с помощью 2D- анализа связанных компонентов .

В любой момент времени t конкретный пиксель ( $x_{0},y_{0}$) история такова:

$X_{1},\ldots ,X_{t}=\{V(x_{0},y_{0},i):1\leqslant i\leqslant t\}$

Эта история моделируется смесью K- распределений Гаусса:

$P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)$

где:

$N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)$

Во-первых, каждый пиксель характеризуется своей интенсивностью в цветовом пространстве RGB. Тогда вероятность наблюдения текущего пикселя в многомерном случае определяется следующей формулой:

$P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}\eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)$

Где K — количество распределений, ω — вес, связанный с i-м гауссианом в момент времени t и μ, Σ — среднее и стандартное отклонение указанного гауссиана соответственно.

$\eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)$

После того как инициализация параметров выполнена, можно выполнить первое обнаружение на переднем плане, а затем параметры обновляются. Первое гауссово распределение B, превышающее порог T, сохраняется для фонового распределения:

$B=\operatorname {argmin} \left(\Sigma _{i=1}^{B}\omega _{i,t}>T\right)$

Считается, что другие распределения представляют собой распределение переднего плана. Потом, когда новый кадр доходы в разы $t+1$, для каждого пикселя выполняется проверка соответствия. Пиксель соответствует распределению Гаусса, если расстояние Махаланобиса :

$\left(\left(X_{t+1}-\mu _{i,t}\right)^{T}\sigma _{i,t}^{-1}\left(X_{t+1}-\mu _{i,t}\right)\right)^{0.5}<k\cdot \sigma _{i,t}$

где k — постоянный порог, равный $2.5$. Тогда могут произойти два случая:

Случай 1: найдено совпадение с одним из k гауссианов. Для соответствующего компонента обновление выполняется следующим образом:

$\sigma _{i,t+1}^{2}=\left(1-\rho \right)\sigma _{i,t}^{2}+\rho \left(X_{x+1}-\mu _{x+1}\right)\left(X_{x+1}-\mu _{x+1}\right)^{T}$

Пауэр и Шунис [3] использовали один и тот же алгоритм для сегментации переднего плана изображения:

$\sigma _{i,t+1}=\left(1-\alpha \right)\omega _{i,t}+\alpha P\left(k\mid X_{t},\varphi \right)$

Существенное приближение к $P\left(k\mid \ X_{t},\varphi \right)$ дается $M_{k,t}$:

$M_{k,t}={\begin{cases}1&{\text{match}},\\0&{\text{otherwise}}.\end{cases}}$

Случай 2: совпадений не найдено ни с одним из $K$ Гауссианы. В этом случае наименее вероятное распределение $K$ заменяется на новый с параметрами:

$k_{i.t}={\text{low prior weight}}$

$\mu _{i,t+1}=X_{t+1}$

$\sigma _{i.t+1}^{2}={\text{large initial variance}}$

После выполнения обслуживания параметров можно выполнить обнаружение переднего плана и так далее. онлайн- аппроксимация K-средних Для обновления гауссиан используется . Многочисленные улучшения этого оригинального метода, разработанного Штауффером и Гримсоном. были предложены, а полный обзор можно найти у Bouwmans et al. Стандартный метод адаптивного фона — усреднение изображений по времени, создавая приближение фона, похожее на текущую статическую сцену, за исключением случаев, когда происходит движение.

Опросы

Несколько опросов, касающихся категорий или подкатегорий моделей, можно найти следующим образом:

• Вычитание фона MOG
• Вычитание фона обучения подпространству
• Статистическое вычитание фона
• Нечеткое вычитание фона
• Вычитание фона RPCA ( см. в разделе «Надежный анализ главных компонентов »). Более подробную информацию
• Динамический RPCA для разделения фона и переднего плана ( см. в разделе «Надежный анализ главных компонентов »). Более подробную информацию
• Разложение на матрицы низкого ранга плюс аддитивные матрицы для разделения фона и переднего плана
• Концепции глубоких нейронных сетей для вычитания фона
• Традиционные и новейшие подходы к вычитанию фона

Приложения

• Видеонаблюдение
• Оптический захват движения
• Взаимодействие человека с компьютером
• Кодирование видео на основе контента
• Мониторинг трафика
• движения в реальном времени Распознавание жестов

Более подробную информацию см.

См. также

• Сбор 3D-данных и реконструкция объектов
• Гауссова адаптация
• Регион интереса
• Алгоритм Текномо – Фернандеса
• Атмосфера

Ссылки

Сравнения

В литературе можно найти несколько сравнительных/оценочных статей:

• А. Собрал, А. Вакавант. « Всесторонний обзор алгоритмов вычитания фона, оцененный на синтетических и реальных видео. ". Компьютерное зрение и понимание изображений, CVIU 2014, 2014.
• А. Шахбаз, Дж. Харийоно, К. Джо, « Оценка алгоритмов вычитания фона для видеонаблюдения », FCV 2015, 2015.
• Ю. Сюй, Дж. Донг, Б. Чжан, Д. Сюй, « Методы фонового моделирования в видеоанализе: обзор и сравнительная оценка », CAAI Transactions on Intelligence Technology, страницы 43–60, том 1, выпуск 1, январь 2016 г. .

Книги

• Т. Бауманс, Ф. Порикли, Б. Хорферлин, А. Вакавант, Справочник «Моделирование фона и обнаружение переднего плана для видеонаблюдения: традиционные и новейшие подходы, реализации, сравнительный анализ и оценка» , CRC Press, Taylor and Francisco Group, июнь 2014 г. (Для получения дополнительной информации: http://www.crcpress.com/product/isbn/9781482205374 ) .
• Т. Бауманс, Н. Айбат и Э. Захза. Справочник по устойчивому разложению низкоранговой и разреженной матрицы: приложения для обработки изображений и видео , CRC Press, Taylor and Francisco Group, май 2016 г. (Для получения дополнительной информации: http://www.crcpress.com/product/isbn/9781498724623 )

Журналы

• Т. Бауманс, Л. Дэвис, Дж. Гонсалес, М. Пиккарди, К. Шан, Специальный выпуск « Моделирование фона для обнаружения переднего плана в динамических сценах реального мира », Специальный выпуск по машинному зрению и приложениям , июль 2014 г.
• А. Вакавант, Л. Тунь, Т. Шато, Специальный раздел « Сравнение фоновых моделей », Компьютерное зрение и понимание изображений , CVIU 2014, май 2014 г.
• А. Петрозино, Л. Маддалена, Т. Бауманс, Специальный выпуск « Моделирование фона сцены и инициализация », Pattern Recognition Letters , сентябрь 2017 г.
• Т. Бауманс, специальный выпуск « Обнаружение движущихся объектов », MDPI Journal of Imaging, 2018.

Мастер-классы

• Семинар по базовому обучению обнаружению и отслеживанию на основе видео RGB (RGBD 2017) совместно с ICIAP 2017. (Для получения дополнительной информации: http://rgbd2017.na.icar.cnr.it/ )
• Семинар по моделированию и инициализации фона сцены (SBMI 2015) совместно с ICIAP 2015. (Для получения дополнительной информации: http://sbmi2015.na.icar.cnr.it/ )
• Семинар IEEE по обнаружению изменений совместно с CVPR 2014. (Для получения дополнительной информации: http://www.changedetection.net/ )
• Семинар по проблемам базовой модели (BMC 2012) совместно с ACCV 2012. (Для получения дополнительной информации: http://bmc.iut-auvergne.com/ )

Конкурсы

• Конкурс моделирования фона сцены IEEE (SBMC 2016) совместно с ICPR 2016 (для получения дополнительной информации: http://pione.dinf.usherbrooke.ca/sbmc2016/. Архивировано 10 августа 2019 г. на Wayback Machine )

Внешние ссылки

• Вычитание фона Р. Венкатеша Бабу
• Сегментация и отслеживание переднего плана на основе методов моделирования переднего и заднего плана Жауме Гальего
• Обнаружение и эвакуация самолетов в видеофрагментах Марка Гарсиа и Рамиса

Веб-сайты

• Веб-сайт вычитания фона

Веб -сайт вычитания фона (Т. Бауманс, Университет Ла-Рошели, Франция) содержит полный список ссылок в этой области, а также ссылки на доступные наборы данных и программное обеспечение.

Наборы данных

• ChangeDetection.net (для получения дополнительной информации: http://www.changedetection.net/ )
• Конкурс фоновых моделей (для получения дополнительной информации: http://bmc.iut-auvergne.com/ )
• Штутгартский набор данных по вычитанию искусственного фона (для получения дополнительной информации: http://www.vis.uni-stuttgart.de/index.php?id=sabs, архивировано 27 марта 2015 г. на Wayback Machine )
• Набор данных SBMI (для получения дополнительной информации: http://sbmi2015.na.icar.cnr.it/ )
• Набор данных SBMnet (для получения дополнительной информации: http://pione.dinf.usherbrooke.ca/dataset/. Архивировано 31 октября 2018 г. на Wayback Machine )

Библиотеки

• ФонВычитательCNT

Библиотека BackgroundSubtractorCNT реализует очень быстрый и качественный алгоритм, написанный на C++ на базе OpenCV. Он ориентирован на оборудование с низкими характеристиками, но работает так же быстро на современных Linux и Windows. (Для получения дополнительной информации: https://github.com/sagi-z/BackgroundSubtractorCNT ).

• Библиотека БГС

Библиотека BGS (А. Собрал, Университет Ла-Рошели, Франция) предоставляет среду C++ для выполнения алгоритмов вычитания фона. Код работает как в Windows, так и в Linux. На данный момент библиотека предлагает более 30 алгоритмов BGS. (Для получения дополнительной информации: https://github.com/andrewssobral/bgslibrary )

• Библиотека LRS — низкоранговые и разреженные инструменты для фонового моделирования и вычитания в видео. LRSLibrary (А. Собрал, Университет Ла-Рошели, Франция) предоставляет набор низкоранговых и разреженных алгоритмов декомпозиции в MATLAB. Библиотека была разработана для сегментации движения в видео, но ее также можно использовать или адаптировать для решения других задач компьютерного зрения. В настоящее время LRSLibrary содержит более 100 матричных и тензорных алгоритмов. (Для получения дополнительной информации: https://github.com/andrewssobral/lrslibrary )
• OpenCV — библиотека OpenCV предоставляет ряд алгоритмов сегментации фона и переднего плана .