Оптический поток

Оптический поток или оптический поток — это закономерность видимого движения объектов, поверхностей и краев в визуальной сцене, вызванная относительным движением между наблюдателем и сценой. ^[1]^[2] Оптический поток также можно определить как распределение видимых скоростей движения яркостного рисунка на изображении. ^[3]

Концепция оптического потока была введена американским психологом Джеймсом Дж. Гибсоном в 1940-х годах для описания зрительного стимула, даваемого животным, перемещающимся по миру. ^[4] Гибсон подчеркнул важность оптического потока для восприятия возможностей , способности различать возможности для действия в окружающей среде. Последователи Гибсона и его экологического подхода к психологии далее продемонстрировали роль стимула оптического потока для восприятия движения наблюдателем в мире; восприятие формы, расстояния и движения предметов окружающего мира; и контроль передвижения . ^[5]

Термин «оптический поток» также используется робототехниками, охватывая родственные методы обработки изображений и управления навигацией, включая обнаружение движения , сегментацию объектов , информацию о времени контакта, расчеты фокуса расширения, яркость, кодирование с компенсацией движения и измерение стереодиспаратности. ^[6]^[7]

Оценка [ править ]

Последовательности упорядоченных изображений позволяют оценивать движение как мгновенные скорости изображения, так и дискретные смещения изображения. ^[7] Флит и Вайс представляют собой учебное введение в оптический поток на основе градиента. ^[8]Джон Л. Бэррон, Дэвид Дж. Флит и Стивен Бошемин проводят анализ эффективности ряда методов оптического потока. Это подчеркивает точность и плотность измерений. ^[9]

Методы оптического потока пытаются вычислить движение между двумя кадрами изображения, которые снимаются время от времени. $t$ и $t+\Delta t$ в каждой позиции вокселя . Эти методы называются дифференциальными, поскольку они основаны на локальными рядами Тейлора аппроксимации сигнала изображения ; то есть они используют частные производные по пространственным и временным координатам.

Для (2D + t )-мерного случая (3D- или n -D случаи аналогичны) воксель в местоположении $(x,y,t)$ с интенсивностью $I(x,y,t)$ переедет $\Delta x$ , $\Delta y$ и $\Delta t$ следующее ограничение постоянства яркости между двумя кадрами изображения и можно задать :

I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)

Предполагая, что движение небольшое, ограничение изображения в $I(x,y,t)$ с помощью ряда Тейлора можно получить:

I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}

члены высшего порядка

Путем усечения членов более высокого порядка (что выполняет линеаризацию) следует, что:

{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0

или, разделив на $\Delta t$ ,

{\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0

что приводит к

{\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0

где $V_{x},V_{y}$ являются $x$ и $y$ компоненты скорости или оптического потока $I(x,y,t)$ и ${\tfrac {\partial I}{\partial x}}$ , ${\tfrac {\partial I}{\partial y}}$ и ${\tfrac {\partial I}{\partial t}}$ являются производными изображения в $(x,y,t)$ в соответствующих направлениях. $I_{x}$ , $I_{y}$ и $I_{t}$ для производных можно записать следующее.

Таким образом:

I_{x}V_{x}+I_{y}V_{y}=-I_{t}

или

\nabla I\cdot {\vec {V}}=-I_{t}

Это уравнение с двумя неизвестными и не может быть решено как таковое. Это известно как проблема апертуры алгоритмов оптического потока. Чтобы найти оптический поток, необходим другой набор уравнений, заданный некоторым дополнительным ограничением. Все методы оптического потока вводят дополнительные условия для оценки фактического потока.

Методы определения [ править ]

Фазовая корреляция – обратная нормализованному спектру перекрестной мощности
Блочные методы – минимизация суммы квадратов разностей или суммы абсолютных разностей или максимизация нормализованной взаимной корреляции.
Дифференциальные методы оценки оптического потока, основанные на частных производных сигнала изображения и/или искомого поля потока и частных производных более высокого порядка, таких как:
- Метод Лукаса-Канаде - относительно фрагментов изображения и аффинной модели поля потока. ^[10]
- Метод Хорна – Шунка - оптимизация функционала на основе остатков от ограничения постоянства яркости и особого члена регуляризации, выражающего ожидаемую гладкость поля потока. ^[10]
- Метод Бакстона – Бакстона - основан на модели движения краев в последовательностях изображений. ^[11]
- Метод Блэка – Джепсона – грубый оптический поток посредством корреляции ^[7]
- Общие вариационные методы – ряд модификаций/расширений Хорна – Шунка с использованием других терминов данных и других терминов гладкости.
Методы дискретной оптимизации: пространство поиска квантуется, а затем сопоставление изображений осуществляется путем присвоения метки каждому пикселю, так что соответствующая деформация минимизирует расстояние между исходным и целевым изображением. ^[12] Оптимальное решение часто находится с помощью алгоритмов теоремы о максимальном потоке и минимальном разрезе , линейного программирования или методов распространения убеждений .

Многие из них, в дополнение к современным алгоритмам, оцениваются с помощью эталонного набора данных Миддлбери. ^[13]^[14] Другими популярными наборами эталонных данных являются KITTI и Sintel .

Использует [ править ]

Оценка движения и сжатие видео стали важным аспектом исследования оптического потока. Хотя поле оптического потока внешне похоже на плотное поле движения, полученное с помощью методов оценки движения, оптический поток представляет собой исследование не только определения самого поля оптического потока, но и его использования для оценки трехмерной природы. и структура сцены, а также трехмерное движение объектов и наблюдателя относительно сцены, большинство из которых использует изображение Якобиана. ^[15]

Оптический поток использовался исследователями робототехники во многих областях, таких как: обнаружение и отслеживание объектов , извлечение доминирующей плоскости изображения, обнаружение движения, навигация робота и визуальная одометрия . ^[6] Информация об оптическом потоке признана полезной для управления летательными аппаратами. ^[16]

Применение оптического потока включает в себя задачу определения не только движения наблюдателя и объектов на сцене, но также структуры объектов и окружающей среды. Поскольку осознание движения и создание мысленных карт структуры нашей окружающей среды являются важнейшими компонентами зрения животных (и человека) , преобразование этой врожденной способности в возможности компьютера также имеет решающее значение в области машинного зрения . ^[17]

Рассмотрим пятикадровый клип, в котором мяч движется из нижнего левого угла поля зрения в правый верхний. Методы оценки движения могут определить, что на двумерной плоскости мяч движется вверх и вправо, и векторы, описывающие это движение, могут быть извлечены из последовательности кадров. Для целей сжатия видео (например, MPEG ) последовательность теперь описана так, как это необходимо. Однако в области машинного зрения вопрос о том, движется ли мяч вправо или наблюдатель движется влево, является непознаваемой, но важной информацией. Даже если бы в пяти кадрах присутствовал статический узорчатый фон, мы не могли бы с уверенностью заявить, что мяч движется вправо, потому что узор может иметь бесконечное расстояние до наблюдателя.

Оптический датчик потока [ править ]

Существуют различные конфигурации оптических датчиков потока. Одна конфигурация представляет собой чип датчика изображения, подключенный к процессору, запрограммированному на выполнение алгоритма оптического потока. В другой конфигурации используется чип машинного зрения, который представляет собой интегральную схему, содержащую датчик изображения и процессор на одном кристалле, что обеспечивает компактную реализацию. ^[18]^[19] Примером этого является универсальный датчик оптической мыши, используемый в оптической мыши . В некоторых случаях схема обработки может быть реализована с использованием аналоговых схем или схем смешанных сигналов, чтобы обеспечить быстрое вычисление оптического потока с минимальным потреблением тока.

Одной из областей современных исследований является использование методов нейроморфной инженерии для реализации схем, которые реагируют на оптический поток и, следовательно, могут быть пригодны для использования в датчике оптического потока. ^[20] Такие схемы могут черпать вдохновение из биологических нейронных цепей, которые аналогичным образом реагируют на оптический поток.

Оптические датчики потока широко используются в компьютерных оптических мышах в качестве основного чувствительного компонента для измерения движения мыши по поверхности.

Оптические датчики потока также используются в робототехнике , в первую очередь там, где необходимо измерить визуальное движение или относительное движение между роботом и другими объектами, находящимися вблизи робота. Использование оптических датчиков потока в беспилотных летательных аппаратах (БПЛА) для обеспечения устойчивости и обхода препятствий также является областью текущих исследований. ^[21]

См. также [ править ]

Ссылки [ править ]

^ Бертон, Эндрю; Рэдфорд, Джон (1978). Мышление в перспективе: критические очерки по изучению мыслительных процессов . Рутледж. ISBN 978-0-416-85840-2 .
^ Уоррен, Дэвид Х.; Стрелов, Эдвард Р. (1985). Электронное пространственное зондирование для слепых: вклад восприятия . Спрингер. ISBN 978-90-247-2689-9 .
^ Хорн, Бертольд КП; Шунк, Брайан Г. (август 1981 г.). «Определение оптического потока» (PDF) . Искусственный интеллект . 17 (1–3): 185–203. дои : 10.1016/0004-3702(81)90024-2 . hdl : 1721.1/6337 .
^ Гибсон, Джей-Джей (1950). Восприятие визуального мира . Хоутон Миффлин.
^ Ройден, CS; Мур, К.Д. (2012). «Использование сигналов скорости при обнаружении движущихся объектов движущимися наблюдателями» . Исследование зрения . 59 : 17–24. дои : 10.1016/j.visres.2012.02.006 . ПМИД 22406544 . S2CID 52847487 .
↑ Перейти обратно: Перейти обратно: ^а ^б Айрес, Келсон РТ; Сантана, Андре М.; Медейрос, Аделардо А.Д. (2008). Оптический поток с использованием информации о цвете (PDF) . ACM Нью-Йорк, штат Нью-Йорк, США. ISBN 978-1-59593-753-7 .
↑ Перейти обратно: Перейти обратно: ^а ^б ^с Бошемен, СС; Бэррон, Дж.Л. (1995). «Расчет оптического потока» . Обзоры вычислительной техники ACM . 27 (3). ACM Нью-Йорк, США: 433–466. дои : 10.1145/212094.212141 . S2CID 1334552 .
^ Флит, Дэвид Дж.; Вайс, Яир (2006). «Оценка оптического потока» (PDF) . В Парагиосе Никос; Чен, Юнмей; Фожерас, Оливье Д. (ред.). Справочник по математическим моделям в компьютерном зрении . Спрингер. стр. 237–257. ISBN 978-0-387-26371-7 .
^ Бэррон, Джон Л.; Флит, Дэвид Дж. и Бошемин, Стивен (1994). «Эффективность методов оптического потока» (PDF) . Международный журнал компьютерного зрения . 12 : 43–77. CiteSeerX 10.1.1.173.481 . дои : 10.1007/bf01420984 . S2CID 1290100 .
↑ Перейти обратно: Перейти обратно: ^а ^б Чжан, Г.; Шансон, Х. (2018). «Применение методов локального оптического потока к высокоскоростным потокам со свободной поверхностью: проверка и применение к ступенчатым желобам» (PDF) . Экспериментальная тепловая и гидрологическая наука . 90 : 186–199. Бибкод : 2018ETFS...90..186Z . doi : 10.1016/j.expthermflusci.2017.09.010 .
^ Глин В. Хамфрис и Вики Брюс (1989). Визуальное познание . Психология Пресс. ISBN 978-0-86377-124-8 .
^ Б. Глокер; Н. Комодакис; Г. Циритас; Н. Наваб; Н. Парагиос (2008). Плотная регистрация изображений с помощью MRF и эффективного линейного программирования (PDF) . Журнал анализа медицинских изображений.
^ Бейкер, Саймон; Шарштейн, Дэниел; Льюис, JP; Рот, Стефан; Блэк, Майкл Дж.; Селиски, Ричард (март 2011 г.). «База данных и методология оценки оптического потока» . Международный журнал компьютерного зрения . 92 (1): 1–31. дои : 10.1007/s11263-010-0390-2 . ISSN 0920-5691 . S2CID 316800 .
^ Бейкер, Саймон; Шарштейн, Дэниел; Льюис, JP; Рот, Стефан; Блэк, Майкл Дж.; Селиски, Ричард. «Оптический поток» . Vision.middlebury.edu . Проверено 18 октября 2019 г.
^ Корк, Питер (8 мая 2017 г.). «Образ Якобиана» . Академия роботов QUT .
^ Бэрроуз, ГЛ; Чал, Дж. С.; Шринивасан, М.В. (2003). «Биологически обоснованное визуальное восприятие и управление полетом» . Аэронавигационный журнал . 107 (1069): 159–268. дои : 10.1017/S0001924000011891 . S2CID 108782688 – через издательство Кембриджского университета.
^ Браун, Кристофер М. (1987). Достижения в области компьютерного зрения . Лоуренс Эрлбаум Ассошиэйтс. ISBN 978-0-89859-648-9 .
^ Мойни, Алиреза (2000). Чипы зрения . Бостон, Массачусетс: Springer US. ISBN 9781461552673 . OCLC 851803922 .
^ Мид, Карвер (1989). Аналоговые СБИС и нейронные системы . Ридинг, Массачусетс: Аддисон-Уэсли. ISBN 0201059924 . ОСЛК 17954003 .
^ Стокер, Алан А. (2006). Аналоговые СБИС для восприятия зрительного движения . Чичестер, Англия: Джон Уайли и сыновья. ISBN 0470034882 . OCLC 71521689 .
^ Флореано, Дарио; Зюфери, Жан-Кристоф; Шринивасан, Мандьям В.; Эллингтон, Чарли, ред. (2009). Летающие насекомые и роботы . Гейдельберг: Спрингер. ISBN 9783540893936 . OCLC 495477442 .

Внешние ссылки [ править ]

Нахождение оптического потока
Статья об искусстве оптического потока на fxguide.com (использование оптического потока в визуальных эффектах)
Оценка оптического потока и основные последовательности.
Оценка оптического потока Миддлбери и основные последовательности.
mrf-registration.net — Оценка оптического потока через MRF
Французская аэрокосмическая лаборатория: реализация оптического потока на основе графического процессора Лукаса-Канаде
Реализация CUDA с помощью CUVI (библиотека CUDA Vision & Imaging)
Оптический поток Хорна и Шунка: онлайн-демонстрация и исходный код метода Хорна и Шунка
Оптический поток TV-L1: онлайн-демо и исходный код Zach et al. метод
Надежный оптический поток: онлайн-демо и исходный код Brox et al. метод

[1] Бертон, Эндрю; Рэдфорд, Джон (1978). Мышление в перспективе: критические очерки по изучению мыслительных процессов . Рутледж. ISBN 978-0-416-85840-2 .

[2] Уоррен, Дэвид Х.; Стрелов, Эдвард Р. (1985). Электронное пространственное зондирование для слепых: вклад восприятия . Спрингер. ISBN 978-90-247-2689-9 .

[3] Хорн, Бертольд КП; Шунк, Брайан Г. (август 1981 г.). «Определение оптического потока» (PDF) . Искусственный интеллект . 17 (1–3): 185–203. дои : 10.1016/0004-3702(81)90024-2 . hdl : 1721.1/6337 .

[4] Гибсон, Джей-Джей (1950). Восприятие визуального мира . Хоутон Миффлин.

[5] Ройден, CS; Мур, К.Д. (2012). «Использование сигналов скорости при обнаружении движущихся объектов движущимися наблюдателями» . Исследование зрения . 59 : 17–24. дои : 10.1016/j.visres.2012.02.006 . ПМИД 22406544 . S2CID 52847487 .

[Kelson_R._T._Aires,_Andre_M._Santana,_Adelardo_A._D._Medeiros_2008-6] Перейти обратно: Перейти обратно: ^а ^б Айрес, Келсон РТ; Сантана, Андре М.; Медейрос, Аделардо А.Д. (2008). Оптический поток с использованием информации о цвете (PDF) . ACM Нью-Йорк, штат Нью-Йорк, США. ISBN 978-1-59593-753-7 .

[S._S._Beauchemin,_J._L._Barron_1995-7] Перейти обратно: Перейти обратно: ^а ^б ^с Бошемен, СС; Бэррон, Дж.Л. (1995). «Расчет оптического потока» . Обзоры вычислительной техники ACM . 27 (3). ACM Нью-Йорк, США: 433–466. дои : 10.1145/212094.212141 . S2CID 1334552 .

[8] Флит, Дэвид Дж.; Вайс, Яир (2006). «Оценка оптического потока» (PDF) . В Парагиосе Никос; Чен, Юнмей; Фожерас, Оливье Д. (ред.). Справочник по математическим моделям в компьютерном зрении . Спрингер. стр. 237–257. ISBN 978-0-387-26371-7 .

[9] Бэррон, Джон Л.; Флит, Дэвид Дж. и Бошемин, Стивен (1994). «Эффективность методов оптического потока» (PDF) . Международный журнал компьютерного зрения . 12 : 43–77. CiteSeerX 10.1.1.173.481 . дои : 10.1007/bf01420984 . S2CID 1290100 .

[Zhang2018-10] Перейти обратно: Перейти обратно: ^а ^б Чжан, Г.; Шансон, Х. (2018). «Применение методов локального оптического потока к высокоскоростным потокам со свободной поверхностью: проверка и применение к ступенчатым желобам» (PDF) . Экспериментальная тепловая и гидрологическая наука . 90 : 186–199. Бибкод : 2018ETFS...90..186Z . doi : 10.1016/j.expthermflusci.2017.09.010 .

[11] Глин В. Хамфрис и Вики Брюс (1989). Визуальное познание . Психология Пресс. ISBN 978-0-86377-124-8 .

[12] Б. Глокер; Н. Комодакис; Г. Циритас; Н. Наваб; Н. Парагиос (2008). Плотная регистрация изображений с помощью MRF и эффективного линейного программирования (PDF) . Журнал анализа медицинских изображений.

[13] Бейкер, Саймон; Шарштейн, Дэниел; Льюис, JP; Рот, Стефан; Блэк, Майкл Дж.; Селиски, Ричард (март 2011 г.). «База данных и методология оценки оптического потока» . Международный журнал компьютерного зрения . 92 (1): 1–31. дои : 10.1007/s11263-010-0390-2 . ISSN 0920-5691 . S2CID 316800 .

[14] Бейкер, Саймон; Шарштейн, Дэниел; Льюис, JP; Рот, Стефан; Блэк, Майкл Дж.; Селиски, Ричард. «Оптический поток» . Vision.middlebury.edu . Проверено 18 октября 2019 г.

[15] Корк, Питер (8 мая 2017 г.). «Образ Якобиана» . Академия роботов QUT .

[16] Бэрроуз, ГЛ; Чал, Дж. С.; Шринивасан, М.В. (2003). «Биологически обоснованное визуальное восприятие и управление полетом» . Аэронавигационный журнал . 107 (1069): 159–268. дои : 10.1017/S0001924000011891 . S2CID 108782688 – через издательство Кембриджского университета.

[17] Браун, Кристофер М. (1987). Достижения в области компьютерного зрения . Лоуренс Эрлбаум Ассошиэйтс. ISBN 978-0-89859-648-9 .

[18] Мойни, Алиреза (2000). Чипы зрения . Бостон, Массачусетс: Springer US. ISBN 9781461552673 . OCLC 851803922 .

[19] Мид, Карвер (1989). Аналоговые СБИС и нейронные системы . Ридинг, Массачусетс: Аддисон-Уэсли. ISBN 0201059924 . ОСЛК 17954003 .

[20] Стокер, Алан А. (2006). Аналоговые СБИС для восприятия зрительного движения . Чичестер, Англия: Джон Уайли и сыновья. ISBN 0470034882 . OCLC 71521689 .

[21] Флореано, Дарио; Зюфери, Жан-Кристоф; Шринивасан, Мандьям В.; Эллингтон, Чарли, ред. (2009). Летающие насекомые и роботы . Гейдельберг: Спрингер. ISBN 9783540893936 . OCLC 495477442 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]