Стиксель

Вверху: входное изображение в оттенках серого с наложенными на него стикселями, цвет которых обозначает глубину (от красного — ближе, до синего — дальше). Внизу: плотная карта несоответствия, где более яркая интенсивность обозначает более высокие значения несоответствия (меньшая глубина), более темная интенсивность обозначает более низкие значения несоответствия (более высокая глубина), а черный цвет означает недопустимое несоответствие.

В компьютерном зрении стиксел ( сумма от «палки» и « пикселя ») — это суперпиксельное представление информации о глубине изображения в форме вертикальной палочки, которая аппроксимирует ближайшие препятствия в определенном вертикальном срезе сцены. Представленный в 2009 году, Стикселы находят применение в роботизированной навигации и передовых системах помощи водителю , где их можно использовать для определения представления роботизированной среды и дорожных сцен со средним уровнем абстракции.

Определение

Одной из проблем понимания сцены в компьютерном зрении является определение горизонтального свободного пространства вокруг камеры, по которому может перемещаться агент, и ограничивающих его вертикальных препятствий. Изображение может быть объединено с информацией о глубине (полученной, например, на основе стереодиспаратности , лидарной или монокулярной оценки глубины), что позволяет выполнить плотную трехмерную реконструкцию наблюдаемой сцены. Одним из недостатков плотной реконструкции является большой объем задействованных данных, поскольку каждый пиксель изображения сопоставляется с элементом облака точек. Проблемы со зрением, характеризующиеся плоским свободным пространством, ограниченным в основном вертикальными препятствиями, такими как дорожные сцены или роботизированная навигация, могут выиграть от сжатого представления, которое позволяет сэкономить память и время обработки.

Стиксели — это тонкие вертикальные прямоугольники, представляющие собой срез вертикальной поверхности, принадлежащий ближайшему препятствию в наблюдаемой сцене. Они позволяют значительно сократить объем информации, необходимой для представления сцены в таких задачах. Стиксель характеризуется тремя параметрами: вертикальной координатой дна, высотой палочки и глубиной. Стиксели имеют фиксированную ширину, при этом каждый стиксель охватывает определенное количество столбцов изображения, что позволяет уменьшить разрешение изображения по горизонтали. В исходной формулировке каждый столбец изображения содержал не более одного стиксила, а позже были разработаны расширения, позволяющие использовать несколько стикселей в каждом столбце, что позволяет представлять несколько объектов на разных расстояниях.

Стиксельная оценка

Входными данными для оценки стикселя является плотная карта глубины , которую можно вычислить на основе стереодиспаратности или другими способами. Оригинальный подход вычисляет сетку занятости , которую можно сегментировать для оценки свободного пространства, а динамическое программирование обеспечивает эффективный метод поиска оптимальной сегментации. Вместо картографирования сетки занятости можно использовать альтернативные подходы, например, методы на основе коллекторов.

Граница свободного пространства обеспечивает базовые точки препятствий на ближайшем продольном расстоянии, однако в каждом столбце изображения может появиться несколько объектов на разных расстояниях. Чтобы полностью определить препятствия, необходимо оценить их высоту, что достигается путем отделения глубины объекта от глубины фона. Функция принадлежности для пикселей может быть определена на основе значения глубины, где принадлежность представляет собой достоверность принадлежности пикселя к ближайшему вертикальному препятствию или фону, а разрез, отделяющий препятствия от фона, снова может быть эффективно вычислен с помощью динамическое программирование.

Как только известно свободное пространство и высота препятствия, стиксели можно оценить путем объединения информации по столбцам, охватываемым каждым стикселем, и, наконец, точную глубину стиксила можно оценить путем подгонки модели по глубине пикселей, охватываемых каждым стикселем. стиксель, возможно, в сочетании с достоверной информацией (например, достоверность несоответствия, полученная с помощью таких методов, как полуглобальное сопоставление ).

Источники

• Бадино, Эрнан; Франке, Уве; Пфайффер, Дэвид (2009). Стиксельный мир — компактное представление 3D-мира среднего уровня . Совместный симпозиум по распознаванию образов.
• Бененсон, Родриго; Матиас, Маркус; Тимофте, Раду; Гул, Люк Ван (2012). Быстрое вычисление стикселей для быстрого обнаружения пешеходов . Европейская конференция по компьютерному зрению.
• Эрбс, Фридрих; Барт, Александр; Франке, Уве (2011). Обнаружение движущихся транспортных средств путем оптимальной сегментации динамического мира стикселей . Симпозиум IEEE по интеллектуальным транспортным средствам 2011 г. (IV).
• Пфайффер, Дэвид (2012). Стиксельный мир - компактное представление среднего уровня для эффективного моделирования динамических трехмерных сред (кандидатская диссертация). Берлинский университет имени Гумбольдта.
• Салим, Нур Хайсам; Резаи, Махди; Клетте, Рейнхард (2017). Расширение мира стикселей с использованием аппроксимации полиномиального основного многообразия . 2017 24-я Международная конференция «Мехатроника и машинное зрение на практике» (M2VIP).