Компьютерное зрение

Задачи компьютерного зрения включают методы получения , обработки , анализа и понимания цифровых изображений , а также извлечение высокоразмерных данных из реального мира для получения численной или символической информации, например, в формах решений. Понимание в этом контексте означает преобразование визуальных изображений (ввод в сетчатку в человеческом аналоге) в описания мира, которые имеют смысл для продуманных процессов и могут вызвать соответствующие действия. Это понимание изображения можно рассматривать как отделение символической информации из данных изображений с использованием моделей, построенных с помощью геометрии, физики, статистики и теории обучения.

Научная дисциплина компьютерного видения связана с теорией, лежащей в основе искусственных систем, которые извлекают информацию из изображений. Данные изображения могут принимать множество форм, такие как последовательности видео, представления из нескольких камер, многомерные данные из 3D-сканера, 3D-точечные облака от датчиков LIDAR или медицинские сканирующие устройства. Технологическая дисциплина компьютерного зрения стремится применить свои теории и модели к построению систем компьютерного зрения.

Поддомены компьютерного зрения включают реконструкцию сцены , обнаружение объектов , обнаружение событий , распознавание деятельности , отслеживание видео , распознавание объектов , оценку трехмерной позы , обучение, индексирование, оценка движения , визуальное обслуживание , моделирование 3D сцены и восстановление изображения .

Внедрение технологий компьютерного зрения может быть кропотливой для организаций, поскольку для этого нет единого решения. Очень немногие компании предоставляют унифицированную и распределенную платформу или операционную систему, где приложения Computer Vision могут быть легко развернуты и управляются.

Определение

Компьютерное зрение-это междисциплинарное поле , в котором можно сделать компьютеры, чтобы получить понимание высокого уровня от цифровых изображений или видео . С точки зрения инженерии , он стремится автоматизировать задачи, которые может сделать человеческая визуальная система . «Компьютерное зрение связано с автоматической извлечением, анализом и пониманием полезной информации из одного изображения или последовательности изображений. Он включает в себя разработку теоретической и алгоритмической основы для достижения автоматического визуального понимания». Как научная дисциплина , компьютерное зрение связано с теорией, лежащей в основе искусственных систем, которые извлекают информацию из изображений. Данные изображения могут принимать множество форм, такие как последовательности видео, представления из нескольких камер или многомерные данные из медицинского сканера . Как технологическая дисциплина, компьютерное зрение стремится применить свои теории и модели для построения систем компьютерного зрения. Машино -видение относится к дисциплине системной инженерии, особенно в контексте автоматизации заводов. В более поздние времена термины Computer Vision и Machine Vision сходились в большей степени.

ИИ и компьютерное зрение тесно связаны, а машины ИИ позволяют интерпретировать и понимать визуальные данные. Благодаря методам, таким как распознавание изображений и обнаружение объектов, ИИ поддерживает компьютерное зрение для автоматизации таких задач, как распознавание лиц, автономное вождение и анализ медицинской визуализации.

История

В конце 1960 -х годов началось компьютерное зрение в университетах, которые были новаторским искусственным интеллектом . Он должен был имитировать человеческую визуальную систему как ступеньку, чтобы доставить роботов интеллектуальным поведением. В 1966 году считалось, что это может быть достигнуто с помощью летнего проекта бакалавриата, Подкрепив камеру к компьютеру и, как она «опишите, что она увидела».

То, что отличило компьютерное зрение от распространенного поля цифровой обработки изображений в то время, было желанием извлечь трехмерную структуру из изображений с целью достижения полного понимания сцены. Исследования в 1970-х годах сформировали ранние основы для многих алгоритмов компьютерного зрения , которые существуют сегодня, включая извлечение ребра из изображений, маркировку линий, неполигэдрическое и многогранное моделирование , представление объектов как взаимосвязи меньших структур, оптического потока и и потока и потока и потока и потока и потока и Оценка движения .

В следующем десятилетии были исследования, основанные на более строгих математическом анализе и количественных аспектах компьютерного зрения. К ним относятся концепция масштабного пространства , вывод формы из различных сигналов, таких как затенение , текстура и фокус, а также контурные модели, известные как змеи . Исследователи также поняли, что многие из этих математических концепций могут рассматриваться в одной и той же структуре оптимизации, что и регуляризация и случайные поля Маркова . К 1990 -м годам некоторые предыдущие темы исследования стали более активными, чем другие. Исследования в области проективных трехмерных реконструкций привели к лучшему пониманию калибровки камеры . С появлением методов оптимизации для калибровки камеры было понято, что многие идеи уже были изучены в теории корректировки комплекта с поля фотограмметрии . Это привело к методам разреженных трехмерных реконструкций сцен из нескольких изображений . Прогресс был достигнут в области плотного стерео- переписки и дальнейших многопросмотров стерео методов. В то же время, вариации вырезания графика были использованы для решения сегментации изображения . Это десятилетие также отмечало первые статистические методы обучения, которые были использованы на практике для распознавания лиц на изображениях (см. Собственное место ). К концу 1990 -х годов значительное изменение произошло с повышенным взаимодействием между полями компьютерной графики и компьютерным зрением. Это включало рендеринг на основе изображений , морфинг изображений , интерполяция просмотра, панорамное строчки изображений и ранний рендеринг светового поля .

Недавние работы показали возрождение методов, основанных на функциях , используемых в сочетании с методами машинного обучения и сложными структурами оптимизации. Содействие методам глубокого обучения привело к дальнейшей жизни в области компьютерного зрения. Точность алгоритмов глубокого обучения на нескольких эталонных наборах данных компьютерного зрения для задач, начиная от классификации, Сегментация и оптический поток превзошли предыдущие методы.

Связанные поля

Обнаружение объекта на фотографии

Твердотельная физика

Сплошная физика -это еще одно поле, которое тесно связано с компьютерным зрением. Большинство систем компьютерного зрения полагаются на датчики изображения , которые обнаруживают электромагнитное излучение , которое обычно в форме видимого , инфракрасного или ультрафиолетового света . Датчики разработаны с использованием квантовой физики . Процесс, с помощью которого свет взаимодействует с поверхностями, объясняется с использованием физики. Физика объясняет поведение оптики , которая является основной частью большинства систем визуализации. Сложные датчики изображения даже требуют квантовой механики , чтобы обеспечить полное понимание процесса формирования изображения. Кроме того, различные задачи измерения в физике могут быть решены с использованием компьютерного зрения, например, движения в жидкостях.

Нейробиология

Упрощенный пример обучения нейронной сети в обнаружении объектов: сеть обучается нескольким изображениям, которые, как известно, изображают звездные и морские ежи , которые коррелируют с «узлами», которые представляют визуальные особенности . Звезды сочетаются с кольцевой текстурой и звездным контуром, тогда как большинство морских ежей соответствуют полосатой текстуре и овальной форме. Тем не менее, экземпляр морского ежа, текстурированной кольцом, создает слабо взвешенную связь между ними.

Последующий запуск сети на входном изображении (слева): Сеть правильно обнаруживает звезду. Однако слабо взвешенная связь между кольцевой текстурой и морским ежом также дает слабый сигнал последнему из одного из двух промежуточных узлов. Кроме того, оболочка, которая не была включена в тренировку, дает слабый сигнал для овальной формы, что также приводит к слабому сигналу для выхода морского ежа. Эти слабые сигналы могут привести к ложному положительному результату для морского ежа.
В действительности, текстуры и контуры будут представлены не отдельными узлами, а скорее связанные с ними весовые узоры нескольких узлов.

Нейробиология сильно повлияла на разработку алгоритмов компьютерного зрения. За прошедший век было проведено обширное изучение глаз, нейронов и структур мозга, посвященных обработке зрительных стимулов как у людей, так и у различных животных. Это привело к грубому, но запутанному описанию того, как работают системы естественного зрения, чтобы решить определенные задачи, связанные с зрением. Эти результаты привели к подполе в компьютерном зрении, где искусственные системы предназначены для имитации обработки и поведения биологических систем на разных уровнях сложности. Кроме того, некоторые из методов, основанных на обучении, разработанных в компьютерном зрении ( например, нейронная сеть и глубоком обучении анализ и классификацию и классификацию, основанные на ), имеют свой опыт в нейробиологии. Neocognitron Кунихико , нейронная сеть, разработанная в 1970 -х годах Фукусимой , является ранним примером компьютерного зрения, чередующегося вдохновения от нейробиологии, в частности, основной зрительной коры .

Некоторые нити исследований компьютерного зрения тесно связаны с изучением биологического видения - действительно, так же, как многие нити исследований ИИ тесно связаны с исследованиями человеческого интеллекта и использованием сохраненных знаний для интерпретации, интеграции и использования визуальной информации. Область изучения биологического зрения и моделирует физиологические процессы, лежащие в основе визуального восприятия у людей и других животных. Компьютерное зрение, с другой стороны, разрабатывает и описывает алгоритмы, реализованные в программном и аппаратном обеспечении, стоящих за системами искусственного зрения. Междисциплинарный обмен между биологическим и компьютерным зрением оказался плодотворным для обеих областей.

Обработка сигнала

Еще одним поле, связанным с компьютерным зрением, является обработка сигнала . Многие методы обработки однократных сигналов, обычно временных сигналов, могут быть естественным образом расширяться на обработку двух переменных сигналов или множественных сигналов в компьютерном зрении. Однако из-за конкретной природы изображений в компьютерном зрении разработано много методов, которые не имеют аналога при обработке сигналов с одной переменными. Вместе с мультимерностью сигнала это определяет под поле в обработке сигнала как часть компьютерного зрения.

Роботизированная навигация

Навигация по роботам иногда имеет дело с автономным планированием пути или обсуждением для роботизированных систем для навигации по окружающей среде . Для навигации по ними требуется подробное понимание этих сред. Информация об окружающей среде может быть предоставлена ​​система компьютерного зрения, выступая в качестве датчика зрения и предоставление информации высокого уровня об окружающей среде и роботе

Визуальные вычисления

Этот раздел представляет собой выдержку из визуальных вычислений . [ редактировать ]

Визуальные вычисления - это общий термин для всех дисциплин информатики, связанных с изображениями и трехмерными моделями , такими как компьютерная графика , обработка изображений , визуализация , компьютерное зрение, вычислительная визуализация , виртуальная и дополненная реальность и обработка видео . Визуальные вычисления также включают аспекты распознавания моделей , взаимодействие человека с компьютером , машинное обучение и цифровые библиотеки. Основными проблемами являются приобретение, обработка, анализ и рендеринг визуальной информации (в основном изображения и видео). Области применения включают контроль промышленного качества, обработку и визуализацию медицинского изображения , съемки, робототехника, мультимедийные системы, виртуальное наследие, спецэффекты в фильмах и телевидении, а также компьютерные игры.

Другие поля

Помимо вышеупомянутых взглядов на компьютерное зрение, многие из соответствующих тем исследований также могут быть изучены с чисто математической точки зрения. Например, многие методы в компьютерном зрении основаны на статистике , оптимизации или геометрии . Наконец, значительная часть поля посвящена аспекту реализации компьютерного зрения; Как существующие методы могут быть реализованы в различных комбинациях программного и аппаратного обеспечения, или как эти методы могут быть изменены, чтобы получить скорость обработки, не теряя слишком много производительности. Компьютерное зрение также используется в модной электронной коммерции, управлении запасами, поиском патента, мебели и индустрии красоты.

Различия

Поля, наиболее тесно связанные с компьютерным зрением, - это обработка изображений , анализ изображений и машинное зрение . Существует значительное совпадение в диапазоне методов и приложений, которые охватывают эти. Это подразумевает, что основные методы, которые используются и разрабатываются в этих областях, похожи, что можно интерпретировать, поскольку есть только одно поле с разными именами. С другой стороны, это, по -видимому, необходимо для исследовательских групп, научных журналов, конференций и компаний, чтобы представить или продавать себя как принадлежащие конкретно к одной из этих областей, и, следовательно, различные характеристики, которые отличают каждую из областей от других был представлен. При обработке изображений вход - это изображение, а вывод также является изображением, тогда как в компьютерном зрении изображение или видео снимаются в качестве входа, а вывод может быть улучшенным изображением, понимание содержания изображения или даже поведение компьютерной системы на основе такого понимания.

Компьютерная графика создает данные изображения из 3D -моделей, а компьютерное зрение часто производит 3D -модели из данных изображения. Существует также тенденция к комбинации двух дисциплин, например , как изучено в дополненной реальности .

Следующие характеристики кажутся актуальными, но не должны восприниматься как общепринятые:

• Обработка изображений и анализ изображений, как правило, фокусируются на двухмерных изображениях, как преобразовать одно изображение в другое, например , с помощью пиксельных операций, таких как улучшение контрастности, локальные операции, такие как извлечение краев или удаление шума, или геометрические преобразования, такие как вращение изображения Полем Эта характеристика подразумевает, что обработка/анализ изображений не требует допущений и не дает интерпретации о содержании изображения.
• Компьютерное зрение включает в себя 3D -анализ из 2D -изображений. В этом анализируется 3D -сцена, проецируемой на одно или несколько изображений, например , как реконструировать структуру или другую информацию о трехмерной сцене с одного или нескольких изображений. Компьютерное зрение часто опирается на более или менее сложные предположения о сцене, изображенной на изображении.
• Machine Vision -это процесс применения ряда технологий и методов для обеспечения автоматической проверки на основе изображений, управления процессами и руководства робота в промышленных применениях. Machine Vision имеет тенденцию сосредотачиваться на приложениях, главным образом на производстве, например , роботах и ​​системах на основе зрения для осмотра, измерения или сбора на основе зрений ( например ) Это подразумевает, что технологии датчика изображения и теория управления часто интегрированы с обработкой данных изображения для управления роботом и что обработка в реальном времени подчеркивается с помощью эффективных реализаций в аппаратном и программном обеспечении. Это также подразумевает, что внешние условия, такие как освещение, могут быть и часто более контролируются в области машинного зрения, чем в общем компьютерном зрении, что может позволить использовать различные алгоритмы.
• Существует также поле, называемое визуализацией , которая в основном фокусируется на процессе создания изображений, но иногда также имеет дело с обработкой и анализом изображений. Например, медицинская визуализация включает в себя существенную работу по анализу данных изображений в медицинских приложениях. Прогресс в сверточных нейронных сетях (CNNS) улучшил точное обнаружение заболевания в медицинских изображениях, особенно в кардиологии, патологии, дерматологии и радиологии.
• Наконец, распознавание шаблона - это поле, которое использует различные методы для извлечения информации из сигналов в целом, в основном на основе статистических подходов и искусственных нейронных сетей . Значительная часть этого поля посвящена применению этих методов к данным изображения.

Фотограмметрия также перекрывается с компьютерным зрением, например, стереофотограмметрия против компьютерного стереозвука .

Приложения

Приложения варьируются от таких задач, как системы промышленного машинного зрения , которые, скажем, осматривают ускорение бутылок на производственной линии, до исследований в области искусственного интеллекта и компьютеров или роботов, которые могут понять мир вокруг них. Поля компьютерного зрения и машинного зрения имеют значительное совпадение. Компьютерное зрение охватывает основную технологию автоматического анализа изображений, которая используется во многих областях. Machine Vision обычно относится к процессу объединения автоматизированного анализа изображений с другими методами и технологиями для обеспечения автоматической проверки и руководства робота в промышленных приложениях. Во многих приложениях компьютерного видения компьютеры предварительно запрограммированы для решения конкретной задачи, но методы, основанные на обучении, теперь становятся все более распространенными. Примеры приложений компьютерного зрения включают системы для:

Изучение 3D -форм было сложной задачей в компьютерном зрении. Недавние достижения в области глубокого обучения позволили исследователям создавать модели, которые способны создавать и реконструировать 3D-формы из однократных или многопроцентных карт глубины или силуэтов.

• Автоматический осмотр, например , в производственных приложениях;
• Помощь людям в идентификационных задачах, например, система идентификации видов ;
• Контроль процессов, например , промышленный робот ;
• Обнаружение событий , например , для визуального наблюдения или людей , например, в ресторанной индустрии ;
• Взаимодействие, например , как вход в устройство для компьютерного взаимодействия ;
• открытым исходным кодом трансформаторов с мониторинг сельскохозяйственных культур, например, модель Был разработан, чтобы помочь фермерам автоматически обнаружить болезни клубники с точностью 98,4%.
• Моделирование объектов или средств, например , медицинский анализ изображений или топографическое моделирование;
• Навигация, например , автономным транспортным средством или мобильным роботом ;
• Организация информации, например , для индексации баз данных изображений и последовательностей изображений.
• Отслеживание поверхностей или самолетов в 3D -координатах для обеспечения опыта дополненной реальности.

Лекарство

DARPA Визуальное медиа -мышление

Одним из наиболее заметных полей приложения является медицинское компьютерное зрение или медицинская обработка изображений, характеризующуюся извлечением информации из данных изображения для диагностики пациента . Примером этого является обнаружение опухолей , артериосклероза или других злокачественных изменений, а также различные патологии зубов; Измерения размеров органов, кровотока и т. Д. - еще один пример. Он также поддерживает медицинские исследования, предоставляя новую информацию: например , о структуре мозга или о качестве медицинских методов лечения. Приложения компьютерного зрения в медицинской области также включают в себя улучшение изображений, интерпретируемых людьми-например, образы или рентгеновских изображений-для уменьшения влияния шума.

Машинное зрение

Вторая область применения в компьютерном зрении находится в промышленности, иногда называемой Machine Vision , где информация извлекается с целью поддержки производственного процесса. Одним из примеров является контроль качества, где детали или конечные продукты автоматически проверяются, чтобы найти дефекты. Одним из наиболее распространенных полей для такой проверки является пластинская отрасль, в которой каждая отдельная пластина измеряется и проверяется на наличие неточностей или дефектов, чтобы не допустить выхода компьютерного чипа непригодно. Другим примером является измерение позиции и ориентации деталей, которые будут подхвачены рукой робота. Машинное зрение также широко используется в сельскохозяйственных процессах для удаления нежелательных продуктов питания из объемного материала, процесса, называемого оптической сортировкой .

Военный

Военные применения, вероятно, являются одной из крупнейших областей компьютерного зрения Полем Очевидными примерами являются обнаружение вражеских солдат или транспортных средств и ракетные руководства . Более продвинутые системы для ракетных руководств Отправляют ракету в область, а не определенную цель, и выбор цели производится, когда ракета достигает области на основе локально полученных данных изображений. Современные военные концепции, такие как «осознание поля боя», подразумевают, что различные датчики, включая датчики изображения, предоставляют богатый набор информации о боевой сцене, которая может использоваться для поддержки стратегических решений. В этом случае автоматическая обработка данных используется для уменьшения сложности и для предоставления информации из нескольких датчиков для повышения надежности.

Автономные транспортные средства

Концепция художника о любопытства , пример невозможного наземного автомобиля. Стерео камера установлена ​​на вершине ровера.

Одной из новых зон применения является автономные транспортные средства, которые включают погружения , наземные транспортные средства (небольшие роботы с колесами, автомобилями или грузовиками), воздушные транспортные средства и беспилотные воздушные транспортные средства ( БПЛА ). Уровень автономии варьируется от полностью автономных (беспилотных) транспортных средств до транспортных средств, где системы на основе компьютерного вида поддерживают водителя или пилота в различных ситуациях. Полностью автономные транспортные средства обычно используют компьютерное зрение для навигации, например, для знания, где они находятся или сопоставляют окружающую среду ( SLAM ), для обнаружения препятствий. Его также можно использовать для обнаружения определенных событий, конкретных, например , БПЛА, ищущего лесные пожары. Примерами вспомогательных систем являются системы предупреждения о препятствиях в автомобилях, камерах и датчиках лидара в транспортных средствах, а также системы для автономной посадки самолетов. Несколько производителей автомобилей продемонстрировали системы для автономного вождения автомобилей . Существуют достаточные примеры военных автономных транспортных средств, начиная от продвинутых ракет до беспилотных летательных аппаратов для разведывательных миссий или руководства по ракетам. Исследование космоса уже проводится с автономными транспортными средствами с использованием компьютерного зрения, Например , НАСА любопытство CNSA и 's Rover Yutu-2 .

Тактильная обратная связь

Резиновый искусственный слой кожи с гибкой структурой для оценки формы поверхностей микро-сведения

Выше находится кремниевая форма с камерой, содержащей множество различных точечных маркеров. Когда этот датчик прижимается к поверхности, кремний деформируется, и положение точечных маркеров сдвигается. Затем компьютер может взять эти данные и определить, как именно нажимается плесень на поверхности. Это может быть использовано для калибровки роботизированных рук, чтобы убедиться, что они могут эффективно понять объекты.

Материалы, такие как резина и кремний, используются для создания датчиков, которые позволяют применять такие применения, как обнаружение микроульгаций и калибровка роботизированных рук. Резина можно использовать для создания формы, которая может быть помещена на пальце, внутри этой формы будут многократные датчики. Тогда плесень и датчики пальца могут быть помещены поверх небольшого листа резины, содержащего массив резиновых штифтов. Затем пользователь может носить плесень пальца и проследить поверхность. Затем компьютер может прочитать данные из датчиков деформации и измерить, если один или несколько контактов подталкиваются вверх. Если штифт толкается вверх, то компьютер может распознать это как несовершенство на поверхности. Такая технология полезна для получения точных данных о недостатках на очень большой поверхности. Другим изменением этого датчика плесени являются датчики, которые содержат камеру, подвешенную в кремнии. Кремний образует купол вокруг камеры, а в кремниевом силиконе - точечные маркеры, которые одинаково расположены. Эти камеры могут затем быть размещены на таких устройствах, как роботизированные руки, чтобы компьютер мог получать очень точные тактильные данные.

Другие области применения включают в себя:

• Поддержка создания визуальных эффектов для кино и трансляции, например , отслеживание камеры (Match Moving).
• Наблюдение .
• Обнаружение соска водителя
• Отслеживание и подсчет организмов в биологических науках

Типичные задачи

В каждой из областей применения, описанной выше, используется ряд задач компьютерного зрения; Более или менее четко определенные проблемы измерения или проблемы обработки, которые могут быть решены с использованием различных методов. Некоторые примеры типичных задач компьютерного зрения представлены ниже.

Задачи компьютерного зрения включают методы получения , обработки , анализа и понимания цифровых изображений, а также извлечение высокоразмерных данных из реального мира для получения численной или символической информации, например , в формах решений. Понимание в этом контексте означает преобразование визуальных изображений (ввод сетчатки) в описания мира, которые могут взаимодействовать с другими мыслительными процессами и вызывать соответствующие действия. Это понимание изображения можно рассматривать как отделение символической информации из данных изображений с использованием моделей, построенных с помощью геометрии, физики, статистики и теории обучения.

Признание

Классическая проблема в компьютерном зрения, обработке изображений и машинного зрения - это определение того, содержат ли данные изображения какой -то конкретный объект, функцию или деятельность. Различные разновидности проблемы распознавания описаны в литературе.

• Распознавание объектов (также называемая классификацией объектов )-могут быть распознаны один или несколько предварительно определенных или изученных объектов или классов объектов, обычно вместе с их 2D-позициями на изображении или 3D-позах в сцене. Blippar, Google Goggles и Likethat предоставляют отдельные программы, которые иллюстрируют эту функциональность.
• Идентификация - распознается отдельный экземпляр объекта. Примеры включают в себя идентификацию лица или отпечатков пальцев конкретного человека, идентификацию рукописных цифр или идентификацию конкретного транспортного средства.
• Обнаружение - данные изображения отсканируются для конкретных объектов вместе с их местоположениями. Примеры включают обнаружение препятствия в поле зрения автомобиля и возможных аномальных клеток или тканей в медицинских изображениях или обнаружение транспортного средства в автоматической системе дорожных платы. Обнаружение, основанное на относительно простых и быстрых вычислениях, иногда используется для поиска небольших областей интересных данных изображения, которые могут быть дополнительно проанализированы с помощью более требовательных вычислительных методов для создания правильной интерпретации.

В настоящее время лучшие алгоритмы для таких задач основаны на сверточных нейронных сетях . Иллюстрация их возможностей дается из -за крупномасштабной задачи визуального распознавания ImageNet ; Это эталон в классификации и обнаружении объектов, с миллионами изображений и 1000 классов объектов, используемых в конкурсе. Производительность сверточных нейронных сетей в тестах ImageNet теперь близка к производительности людей. Лучшие алгоритмы по -прежнему борются с маленькими или тонкими предметами, такими как маленький муравей на стебле цветка или человека, держащего перо в руке. У них также есть проблемы с изображениями, которые были искажены фильтрами (все более распространенное явление с современными цифровыми камерами). Напротив, такие изображения редко беспокоят людей. У людей, однако, есть проблемы с другими проблемами. Например, они не умеют классифицировать объекты на мелкозернистые классы, такие как конкретная порода собак или видов птиц, тогда как сверточные нейронные сети с легкостью обрабатывают это.

Существует несколько специализированных задач, основанных на признании, таких как:

• Поиск изображений на основе контента -поиск всех изображений в большем наборе изображений, которые имеют определенное содержание. Содержание может быть указано по-разному, например, с точки зрения сходства по сравнению с целевым изображением (дайте мне все изображения, аналогичные изображению x), используя методы обратного поиска изображения , или с точки зрения критериев поиска высокого уровня, приведенных в качестве текстового ввода (Дайте мне все изображения, которые содержат много домов, принимаются зимой и не имеют в них автомобилей).

Компьютерное зрение для людей противостоят целям в общественных местах, торговых центрах, торговых центрах

• Оценка позы - оценка позиции или ориентации конкретного объекта относительно камеры. Примером применения для этой техники было бы помощь роботу руку в извлечении объектов из конвейерной ленты в ситуации сборочной линии или сбора деталей из мусорного ведра.
• Оптическое распознавание символов (OCR) - идентифицирующие символы в изображениях печатного или рукописного текста, обычно с представлением для кодирования текста в формате, более поддающемся редактированию или индексации ( например, ASCII ). Связанная задача - это чтение 2D -кодов, таких как матрица данных и QR -коды.
• Распознавание лица - технология, которая позволяет сопоставлять лица в цифровых изображениях или видео кадров в базу данных Face, которая теперь широко используется для Facelock мобильного телефона, интеллектуальной блокировки дверей и т. Д.
• Распознавание эмоций - подмножество распознавания лица, распознавание эмоций относится к процессу классификации человеческих эмоций. Однако психологи предупреждают, что внутренние эмоции не могут быть надежно обнаружены от лиц.
• Технология распознавания формы (SRT) у людей противодействие системам, дифференцирующим человеческие существа (схемы головы и плеча) от объектов.
• Распознавание человеческой деятельности - имеет дело с признанием деятельности из серии видео кадров, таких как, если человек собирает объект или ходьба.

Анализ движения

Несколько задач связаны с оценкой движения, где обрабатывается последовательность изображения для получения оценки скорости либо в каждой точках изображения, либо в 3D -сцене, либо даже камеры, которая производит изображения. Примеры таких задач:

• Эгомирование - определение трехмерного жесткого движения (вращение и перевод) камеры из последовательности изображения, создаваемой камерой.
• Отслеживание - следуя движениям (обычно) меньшего набора интересов или объектов ( например , транспортных средств, объектов, людей или других организмов ) в последовательности изображения. Это имеет обширные отраслевые приложения, так как можно контролировать большинство высококачественных машин.
• Оптический поток - чтобы определить, для каждой точки на изображении, как эта точка движется относительно плоскости изображения, то есть его очевидное движение. Это движение является результатом как того, как соответствующая трехмерная точка движется в сцене, так и как камера движется относительно сцены.

Реконструкция сцены

Учитывая один или (обычно) больше изображений сцены или видео, реконструкция сцены направлена ​​на вычисление трехмерной модели сцены. В простейшем случае модель может быть набором 3D -точек. Более сложные методы создают полную трехмерную модель поверхности. Появление 3D -визуализации, не требующая движения или сканирования, и связанных с ними алгоритмов обработки обеспечивает быстрые достижения в этой области. Трехмерное зондирование на основе сетки можно использовать для получения трехмерных изображений с разных сторон. Алгоритмы теперь доступны для объединения нескольких трехмерных изображений в точечные облака и 3D -модели.

Восстановление изображения

Восстановление изображения входит в картинку, когда исходное изображение деградировано или повреждено из -за некоторых внешних факторов, таких как неправильное позиционирование объектива, помехи передачи, низкое освещение или пузырьки движения и т. Д., Которые называются шумом. Когда изображения разлагаются или повреждены, информация, которая будет извлечена из них, также повреждается. Поэтому нам нужно восстановить или восстановить изображение, как это было предназначено. Цель восстановления изображения - удаление шума (шум датчика, размытие движения и т. Д.) Из изображений. Самый простой возможный подход к удалению шума-это различные типы фильтров, такие как фильтры с низким частотой или медианные фильтры. Более сложные методы предполагают модель того, как локальные структуры изображения выглядят, чтобы отличить их от шума. Сначала анализируя данные изображения с точки зрения локальных структур изображения, таких как линии или ребра, а затем контролируя фильтрацию на основе локальной информации с шага анализа, обычно получается лучший уровень удаления шума по сравнению с более простыми подходами.

Примером в этом поле является Inpainting .

Системные методы

Организация системы компьютерного зрения в зависимости от приложения зависит от приложения. Некоторые системы представляют собой автономные приложения, которые решают конкретную проблему измерения или обнаружения, в то время как другие представляют собой подсистему более крупной конструкции, которая, например, также содержит подсистемы для контроля механических приводов, планирования, информационных баз, управления машинные интерфейсы и т. Д. Конкретная реализация системы компьютерного зрения также зависит от того, является ли ее функциональность предварительно определенной или может быть изучена или изменена во время работы. Многие функции уникальны для приложения. Однако существуют типичные функции, которые встречаются во многих системах компьютерного зрения.

• Получение изображений -цифровое изображение производится одним или несколькими датчиками изображения , которые, помимо различных типов светочувствительных камер, включают датчики диапазона , томографические устройства, радар, ультра-москольные камеры и т. Д. В зависимости от типа датчика, датчика, The The The Destury, The The The The The The The The The The Tomography Полученные данные изображения являются обычным 2D -изображением, трехмерным томом или последовательности изображения. Значения пикселя обычно соответствуют интенсивности света в одной или нескольких спектральных полосах (серые изображения или изображения цветов), но также могут быть связаны с различными физическими показателями, такими как глубина, поглощение или отражение звуковых или электромагнитных волн или магнитно -резонансная томография .
• Предварительная обработка -Перед тем, как метод компьютерного видения может быть применен к данным изображения, чтобы извлечь некоторую конкретную информацию, обычно необходимо обработать данные, чтобы убедиться, что они удовлетворяют определенным предположениям, подразумеваемым методом. Примеры:
  • Пересмотреть наборы, чтобы убедиться, что система координат изображения была правильной.
  • Шумоподавление, чтобы гарантировать, что шум датчика не вводит ложную информацию.
  • Улучшение контрастности, чтобы гарантировать, что соответствующая информация может быть обнаружена.
  • Масштабное представление пространства для улучшения структур изображений в локально соответствующих масштабах.
• Извлечение функций - функции изображения на различных уровнях сложности извлекаются из данных изображения. Типичные примеры таких функций:
  • Линии, края и хребты .
  • Локализованные точки интереса, такие как углы , капли или точки.

Более сложные функции могут быть связаны с текстурой, формой или движением.

• Обнаружение / сегментация - в какой -то момент обработки принимается решение о том, какие точки изображения или области изображения имеют отношение к дальнейшей обработке. Примеры:
  • Выбор конкретного набора точек интереса.
  • Сегментация одной или нескольких областей изображения, которые содержат конкретный объект интереса.
  • Сегментация изображения в вложенную архитектуру сцены, включающую передний план, группы объектов, отдельные объекты или заметный объект Части (также называемые иерархией сцены пространственной наводки), в то время как визуальное значение часто реализуется как пространственное и временное внимание .
  • Сегментация или совместная сегментация одного или нескольких видеороликов в серию масок переднего плана на переднем плане, сохраняя при этом временную семантическую непрерывность.
• Обработка высокого уровня -на этом этапе вход, как правило, является небольшим набором данных, например, набор точек или области изображения, который, как предполагается, содержит конкретный объект. Остальная обработка связана, например:
  • Проверка, что данные удовлетворяют модельными и специфичными для приложения допущений.
  • Оценка специфических для приложения параметров, таких как поза объекта или размер объекта.
  • Распознавание изображений - классификация обнаруженного объекта в разные категории.
  • Регистрация изображения - сравнение и объединение двух разных представлений одного и того же объекта.
• Принятие принятия окончательного решения, необходимого для заявки, например:
  • Пропустить/сбой в приложениях автоматического проверки.
  • Match/No Match в приложениях распознавания.
  • Флаг для дальнейшего рассмотрения человека в области медицинских, военных, обеспечения безопасности и признания.

Системы понимания изображений

Системы понимания изображений (IU) включают три уровня абстракции следующим образом: Низкий уровень включает примитивы изображения, такие как ребра, элементы текстуры или области; Промежуточный уровень включает границы, поверхности и объемы; и высокий уровень включает объекты, сцены или события. Многие из этих требований являются полностью темами для дальнейших исследований.

Репрезентативные требования в разработке IU для этих уровней: представление прототипических концепций, концептуальная организация, пространственные знания, временные знания, масштабирование и описание путем сравнения и дифференциации.

Хотя вывод относится к процессу получения новых, не явно представленных фактами из известных в настоящее время фактов, контроль относится к процессу, который выбирает, какой из многих методов вывода, поиска и сопоставления должен применяться на определенном этапе обработки. Требования к выводу и контролю для IU являются: активация поиска и гипотезы, сопоставление и тестирование гипотез, генерация и использование ожиданий, изменения и фокусировка внимания, уверенность и сила веры, вывод и удовлетворение целей.

Аппаратное обеспечение

Model Model IPad Pro с LIDAR 2020 года датчиком

Есть много видов систем компьютерного зрения; Тем не менее, все они содержат эти основные элементы: источник питания, по крайней мере одно устройство сбора изображения (камера, ПЗС и т. Д.), Процессор, а также кабели управления и связи или какой -то беспроводной механизм взаимосвязи. Кроме того, практическая система зрения содержит программное обеспечение, а также дисплей для мониторинга системы. Системы зрения для внутренних пространств, как и большинство промышленных, содержат систему освещения и могут быть размещены в контролируемой среде. Кроме того, заполненная система включает в себя множество аксессуаров, таких как поддержка камеры, кабели и разъемы.

Большинство систем компьютерного зрения используют камеры видимого света, пассивно просмотр сцены с частотой кадров не более 60 кадров в секунду (обычно намного медленнее).

Несколько систем компьютерного зрения используют аппаратное обеспечение с приобретением изображений с активным освещением или чем-то другим, кроме видимого света или оба, такого как 3D-сканеры структурированного света , термографические камеры , гиперспектральные изображения , радиолокационные визуализации , лидарные сканеры, магнитно-резонансные изображения , боковой сонар. , синтетическая апертурная сонар и т. Д. Такое оборудование фиксирует «изображения», которые затем обрабатываются часто с использованием тех же алгоритмов компьютерного зрения, используемых для обработки изображений видимого света.

В то время как традиционные трансляционные и потребительские видеосистемы работают со скоростью 30 кадров в секунду, достижения в области цифровой обработки сигналов и потребительской графики оборудование сделало высокоскоростное получение, обработка и отображение для систем в реальном времени по заказу сотен на тысячи кадров в секунду. Для приложений в робототехнике быстрые видеосистемы в реальном времени критически важны и часто могут упростить обработку, необходимую для определенных алгоритмов. В сочетании с высокоскоростным проектором, быстрое получение изображений позволяет реализовать 3D измерение и отслеживание функций.

Системы эгоцентрического зрения состоят из носимой камеры, которая автоматически делает снимки с точки зрения от первого лица.

По состоянию на 2016 год подразделения по обработке зрения становятся новым классом процессоров для дополнения процессоров и единиц обработки графики (графические процессоры) в этой роли.

Смотрите также

• Обнаружение шахматной доски
• Вычислительная визуализация
• Вычислительная фотография
• Компьютерное прослушивание
• Эгоцентрическое зрение
• Глоссарий машинного зрения
• Космическое картирование
• Teknomo - алгоритм Фернандеса
• Видение науки
• Визуальная агнозия
• Визуальное восприятие
• Визуальная система

Списки

• Схема компьютерного зрения
• Список новых технологий
• Схема искусственного интеллекта

Дальнейшее чтение

• Джеймс Э. Добсон (2023). Рождение компьютерного зрения . Университет Миннесоты Пресс. ISBN  978-1-5179-1421-9 .
• Дэвид Марр (1982). Зрение . WH Freeman and Company. ISBN  978-0-7167-1284-8 .
• Азриэль Розенфельд; Avinash Kak (1982). Цифровая обработка изображений . Академическая пресса. ISBN  978-0-12-597301-4 .
• Barghout, Лорен; Лоуренс В. Ли (2003). Система обработки информации о восприятии . Заявка на патент США 10/618 543. ISBN  978-0-262-08159-7 .
• Бертольд К.П. Хорн (1986). Робот . MIT Press. ISBN  978-0-262-08159-7 .
• Майкл С. Фэйрхерст (1988). Компьютерное зрение для роботизированных систем . Прентис Холл. ISBN  978-0-13-166919-2 .
• Olivier Faugeras (1993). Трехмерное компьютерное зрение, геометрическая точка зрения . MIT Press. ISBN  978-0-262-06158-2 .
• Тони Линдеберг (1994). Теория масштабного пространства в компьютерном зрении . Спрингер. ISBN  978-0-7923-9418-1 .
• Джеймс Л. Кроули; Хенрик И. Кристенсен, ред. (1995). Зрение как процесс . Springer-Verlag. ISBN  978-3-540-58143-7 .
• Гёста Х. Гранлунд; Ганс Кнутссон (1995). Обработка сигнала для компьютерного зрения . Kluwer Academic Publisher. ISBN  978-0-7923-9530-0 .
• Рейнхард поднимается; Шлюты Карнингса; Андреас Кокан (1998). Компьютерное зрение - трехмерные данные из изображений . Спрингс, Сингапур. ISBN  978-981-3083-71-4 .
• Emanuele Trucco; Алессандро Верри (1998). Вводные методы для трехмерного компьютерного зрения . Престарский зал. ISBN  978-0-13-261108-4 .
• Бернд Ян (2002). Цифровая обработка изображений . Спрингер. ISBN  978-3-540-67754-3 .
• Ричард Хартли и Эндрю Зиссерман (2003). Геометрия с множественным представлением в компьютерном зрении . Издательство Кембриджского университета. ISBN  978-0-521-54051-3 .
• Жерард Медиони; Sing Bing Kang (2004). Новые темы в компьютерном зрении . Прентис Холл. ISBN  978-0-13-101366-7 .
• Р. Фишер; К Доусон-Хау; А. Фицгиббон; К. Робертсон; E. Trucco (2005). Словарь компьютерного зрения и обработки изображений . Джон Уайли. ISBN  978-0-470-01526-1 .
• Nikos Paragios и Yunmei Chen и Olivier Faugeras (2005). Справочник по математическим моделям в компьютерном зрении . Спрингер. ISBN  978-0-387-26371-7 .
• Вильгельм Бургер; Марк Дж. Бердж (2007). Цифровая обработка изображений: алгоритмический подход с использованием Java . Спрингер . ISBN  978-1-84628-379-6 Полем Архивировано с оригинала 2014-05-17 . Получено 2007-06-13 .
• Педрам Азад; Тило Гокель; Рудигер Диллманн (2008). Компьютерное зрение - принципы и практика . Избиратель International Media Bv. ISBN  978-0-905705-71-2 .
• Ричард Шелиски (2010). Компьютерное зрение: алгоритмы и приложения . Springer-Verlag. ISBN  978-1848829343 .
• JR Parker (2011). Алгоритмы для обработки изображений и компьютерного зрения (2 -е изд.). Уайли. ISBN  978-0470643853 .
• Ричард Дж. Радке (2013). Компьютерное зрение визуальных эффектов . Издательство Кембриджского университета. ISBN  978-0-521-76687-6 .
• Никсон, Марк; Агуадо, Альберто (2019). Извлечение функций и обработка изображений для компьютерного зрения (4 -е изд.). Академическая пресса. ISBN  978-0128149768 .

Внешние ссылки

• USC Iris Computer Vision Conference
• Документы Computer Vision в Интернете - полный список документов самых релевантных конференций по компьютерному зрению.
• Компьютерное зрение онлайн архивировано 2011-11-30 на The Wayback Machine -Новости, исходный код, наборы данных и предложения о работе, связанные с компьютерным видением
• CVONLINE - Боб Фишер сборник компьютерного зрения.
• Британская ассоциация машинного зрения -поддержка исследований компьютерного видения в Великобритании через конференции BMVC и MIUA , Annals of the BMVA (журнал с открытым исходным кодом), летняя школа BMVA и однодневные встречи
• Контейнер для компьютерного зрения, Joe Hoeller Github: широко принятый контейнер с открытым исходным кодом для ускоренных приложений компьютерного зрения. Используется исследователями, университетами, частными компаниями, а также правительством США.