Машинное зрение
Машинное зрение — это технология и методы, используемые для обеспечения изображений контроля и анализа на основе автоматического для таких приложений, как автоматический контроль, управление процессами и управление роботами, обычно в промышленности. Машинное зрение относится ко многим технологиям, программным и аппаратным продуктам, интегрированным системам, действиям, методам и знаниям. Машинное зрение как дисциплину системной инженерии можно считать отличной от компьютерного зрения , формы информатики . Он пытается по-новому интегрировать существующие технологии и применить их для решения проблем реального мира. Этот термин является распространенным для этих функций в средах промышленной автоматизации, но также используется для этих функций в других средах управления транспортными средствами.
Общий процесс машинного зрения включает в себя детальное планирование требований и проекта, а затем создание решения. Во время выполнения процесс начинается с создания изображения, за которым следует автоматический анализ изображения и извлечение необходимой информации.
Определение [ править ]
Определения термина «Машинное зрение» различаются, но все они включают технологию и методы, используемые для автоматического извлечения информации из изображения, в отличие от обработки изображения , при которой на выходе получается другое изображение. Извлеченная информация может представлять собой простой сигнал «хорошая/плохая часть» или, более того, сложный набор данных, таких как идентичность, положение и ориентация каждого объекта на изображении. Эту информацию можно использовать для таких приложений, как автоматический контроль, управление роботами и процессами в промышленности, мониторинг безопасности и управление транспортными средствами. [1] [2] [3] Эта область охватывает большое количество технологий, программных и аппаратных продуктов, интегрированных систем, действий, методов и опыта. [3] [4] Машинное зрение — практически единственный термин, используемый для обозначения этих функций в приложениях промышленной автоматизации; этот термин менее универсален для этих функций в других средах, таких как безопасность и управление транспортными средствами. Машинное зрение как дисциплину системной инженерии можно считать отличной от компьютерного зрения , формы фундаментальной информатики ; машинное зрение пытается по-новому интегрировать существующие технологии и применить их для решения реальных проблем таким образом, чтобы это отвечало требованиям промышленной автоматизации и аналогичных областей применения. [3] : 5 [5] Этот термин также используется в более широком смысле на выставках и торговых группах, таких как Ассоциация автоматизированной обработки изображений и Европейская ассоциация машинного зрения. Это более широкое определение также охватывает продукты и приложения, чаще всего связанные с обработкой изображений. [4] Основными сферами применения машинного зрения являются автоматический контроль и управление промышленными роботами /процессами. [6] [7] : 6–10 [8] В последнее время термины «компьютерное зрение» и «машинное зрение» стали более сближаться. [9] : 13 См. словарь машинного зрения .
Автоматическая проверка и сортировка на основе изображений [ править ]
Основными сферами применения машинного зрения являются автоматический осмотр и сортировка на основе изображений, а также управление роботами; [6] [7] : 6–10 в этом разделе первое сокращенно обозначается как «автоматическая проверка». Общий процесс включает в себя детальное планирование требований и проекта, а затем создание решения. [10] [11] В этом разделе описан технический процесс, происходящий в процессе эксплуатации решения.
Способы и последовательность действий [ править ]
Первым шагом в последовательности операций автоматического контроля является получение изображения , обычно с использованием камер, объективов и освещения, которое было разработано для обеспечения различения, необходимого для последующей обработки. [12] [13] MV Пакеты программного обеспечения и программы, разработанные в них, затем используют различные методы цифровой обработки изображений для извлечения необходимой информации и часто принимают решения (например, «прошел/не прошел») на основе извлеченной информации. [14]
Оборудование [ править ]
Компоненты системы автоматического контроля обычно включают освещение, камеру или другой формирователь изображения, процессор, программное обеспечение и устройства вывода. [7] : 11–13
Изображение [ править ]
Устройство формирования изображений (например, камера) может быть либо отделено от основного блока обработки изображений, либо объединено с ним, и в этом случае такая комбинация обычно называется интеллектуальной камерой или интеллектуальным датчиком. [15] [16] Включение всех функций обработки в тот же корпус, что и камера, часто называют встроенной обработкой. [17] При разделении соединение может быть выполнено со специализированным промежуточным оборудованием, специальным устройством обработки или устройством захвата кадров на компьютере с использованием аналогового или стандартизированного цифрового интерфейса ( Camera Link , CoaXPress ). [18] [19] [20] [21] Реализации MV также используют цифровые камеры, способные к прямому подключению (без фреймграббера) к компьютеру через FireWire , USB или Gigabit Ethernet . интерфейсы [21] [22]
В то время как традиционная визуализация (2D в видимом свете) чаще всего используется при МВ, альтернативы включают мультиспектральную визуализацию , гиперспектральную визуализацию , визуализацию различных инфракрасных диапазонов, [23] линейное сканирование, 3D-изображение поверхностей и рентгеновское изображение. [6] Ключевыми различиями в визуализации MV 2D в видимом свете являются монохромность и цвет, частота кадров , разрешение, а также то, является ли процесс визуализации одновременным по всему изображению, что делает его подходящим для движущихся процессов. [24]
Хотя подавляющее большинство приложений машинного зрения решаются с использованием двумерных изображений, приложения машинного зрения, использующие 3D-изображения, занимают растущую нишу в отрасли. [25] [26] Наиболее часто используемый метод трехмерной визуализации — это триангуляция на основе сканирования, в которой используется движение продукта или изображения во время процесса визуализации. Лазер проецируется на поверхности объекта. В машинном зрении это достигается с помощью сканирующего движения либо путем перемещения заготовки, либо путем перемещения камеры и системы лазерной визуализации. Линия просматривается камерой под другим углом; отклонение линии представляет собой изменения формы. Линии нескольких сканирований собираются в карту глубины или облако точек. [27] Стереоскопическое зрение используется в особых случаях, связанных с уникальными особенностями, присутствующими в обоих изображениях пары камер. [27] Другие 3D-методы, используемые для машинного зрения, основаны на времени полета и сетке. [27] [25] Одним из методов являются системы на основе сеточных массивов с использованием системы псевдослучайного структурированного освещения, используемой в системе Microsoft Kinect примерно в 2012 году. [28] [29]
Обработка изображений [ править ]
После получения изображения оно обрабатывается. [20] Функции центральной обработки обычно выполняются центральным процессором , графическим процессором , FPGA или их комбинацией. [17] Обучение глубокому обучению и логический вывод предъявляют более высокие требования к производительности обработки. [30] Обычно используются несколько этапов обработки в последовательности, которая в конечном итоге приводит к желаемому результату. Типичная последовательность может начинаться с таких инструментов, как фильтры, которые изменяют изображение, за которым следует извлечение объектов, затем извлечение (например, измерения, считывание кодов) данных из этих объектов с последующей передачей этих данных или сравнением их с целевыми значениями для создавать и сообщать результаты «прошел/не прошел». Методы обработки изображений машинного зрения включают в себя;
- Сшивание / регистрация : Объединение соседних 2D или 3D изображений. [ нужна ссылка ]
- Фильтрация (например, морфологическая фильтрация ) [31]
- Пороговое значение: Пороговое значение начинается с установки или определения значения серого, которое будет полезно для следующих шагов. Затем это значение используется для разделения частей изображения, а иногда и для преобразования каждой части изображения в черно-белое изображение в зависимости от того, находится ли оно ниже или выше значения шкалы серого. [32]
- Подсчет пикселей: подсчитывает количество светлых или темных пикселей. [ нужна ссылка ]
- Сегментация : разделение цифрового изображения на несколько сегментов для упрощения и/или изменения представления изображения во что-то более значимое и более простое для анализа. [33] [34]
- Обнаружение краев : поиск краев объекта [35]
- Цветовой анализ: идентифицируйте детали, продукты и предметы с помощью цвета, оценивайте качество по цвету и изолируйте функции с помощью цвета. [6]
- Обнаружение и извлечение капель : проверка изображения на наличие дискретных капель связанных пикселей (например, черной дыры в сером объекте) в качестве ориентиров изображения. [36]
- Нейронная сеть / глубокое обучение / обработка машинного обучения : взвешенное и самообучающееся принятие решений с несколькими переменными [37] Примерно в 2019 году эта технология значительно расширится: использование глубокого обучения и машинного обучения значительно расширит возможности машинного зрения. Наиболее распространенным результатом такой обработки является классификация. Примерами классификации являются идентификация объектов, классификация идентифицированных объектов «не пройдена» и оптическое распознавание символов. [37]
- Распознавание образов, включая сопоставление шаблонов . Поиск, сопоставление и/или подсчет определенных закономерностей. Сюда может относиться местоположение объекта, который может быть повернут, частично скрыт другим объектом или иметь другой размер. [38]
- штрих-кода , матрицы данных и « 2D-штрих-кода » Чтение [39]
- Оптическое распознавание символов : автоматическое считывание текста, например серийных номеров. [40]
- Измерение/метрология : измерение размеров объекта (например, в пикселях , дюймах или миллиметрах ). [41]
- Сравнение с целевыми значениями для определения результата «пройден или не пройден» или «годен/не пройден». Например, при проверке кода или штрих-кода считанное значение сравнивается с сохраненным целевым значением. При измерении измеренное значение сравнивается с правильным значением и допусками. Для проверки буквенно-цифровых кодов значение OCR сравнивается с правильным или целевым значением. Для проверки на наличие дефектов измеренный размер дефектов можно сравнить с максимальными значениями, допускаемыми стандартами качества. [39]
Выходы [ править ]
Обычным результатом работы автоматических систем проверки является принятие решения о прохождении/несоответствии. [14] Эти решения, в свою очередь, могут активировать механизмы, которые отклоняют неудачные элементы или подают сигнал тревоги. Другие распространенные выходные данные включают информацию о положении и ориентации объекта для систем наведения робота. [6] Кроме того, типы выходных данных включают числовые данные измерений, данные, считанные из кодов и символов, подсчеты и классификацию объектов, отображение процесса или результатов, сохраненные изображения, сигналы тревоги от автоматизированных систем космического мониторинга среднего напряжения и сигналы управления процессом . [10] [13] Сюда же относятся пользовательские интерфейсы, интерфейсы для интеграции многокомпонентных систем и автоматизированного обмена данными. [42]
Глубокое обучение [ править ]
Термин «глубокое обучение» имеет разные значения, большинство из которых применимо к методам, используемым в машинном зрении более 20 лет. Однако использование этого термина в машинном зрении началось в конце 2010-х годов, когда появилась возможность успешно применять такие методы ко всем изображениям в области промышленного машинного зрения. [43] Обычное машинное зрение обычно требует «физического» этапа решения для автоматического контроля машинного зрения, чтобы обеспечить надежную и простую дифференциацию дефектов. Примером «простой» дифференциации является то, что дефекты темные, а хорошие части продукта светлые. Распространенная причина, по которой некоторые приложения были невыполнимы, заключалась в том, что невозможно было достичь «простого»; глубокое обучение устраняет это требование, по сути, «видя» объект больше, чем человек, что делает возможным выполнение этих автоматических приложений. [43] Система обучается на большом количестве изображений на этапе обучения, а затем выполняет проверку во время использования, которая называется «выводом». [43]
роботом на изображений основе Управление
Машинное зрение обычно предоставляет роботу информацию о местоположении и ориентации, чтобы робот мог правильно схватить продукт. Эта возможность также используется для управления движением, которое проще, чем у роботов, например, с помощью 1- или 2-осевого контроллера движения. [6] Общий процесс включает в себя детальное планирование требований и проекта, а затем создание решения. В этом разделе описан технический процесс, происходящий в процессе эксплуатации решения. Многие этапы процесса такие же, как и при автоматическом контроле, за исключением того, что в результате основное внимание уделяется предоставлению информации о положении и ориентации. [6]
Рынок [ править ]
Совсем недавно, в 2006 году, один отраслевой консультант сообщил, что рынок MV в Северной Америке составляет 1,5 миллиарда долларов. [44] Однако главный редактор профессионального журнала MV заявил, что «машинное зрение — это не отрасль как таковая», а скорее «интеграция технологий и продуктов, которые предоставляют услуги или приложения, которые приносят пользу настоящим отраслям, таким как автомобилестроение или производство потребительских товаров». , сельское хозяйство и оборона». [4]
См. также [ править ]
- Глоссарий машинного зрения
- Обнаружение функций (компьютерное зрение)
- Обнаружение переднего плана
- Блок обработки изображений
- Оптическая сортировка
Ссылки [ править ]
- ^ Стегер, Карстен; Маркус Ульрих; Кристиан Видеманн (2018). Алгоритмы и приложения машинного зрения (2-е изд.). Вайнхайм: Wiley-VCH . п. 1. ISBN 978-3-527-41365-2 . Проверено 30 января 2018 г.
- ^ Бейерер, Юрген; Пуэнте Леон, Фернандо и Фрезе, Кристиан (2016). Машинное зрение — автоматизированный визуальный контроль: теория, практика и приложения . Берлин: Шпрингер . дои : 10.1007/978-3-662-47794-6 . ISBN 978-3-662-47793-9 . Проверено 11 октября 2016 г.
- ^ Jump up to: Перейти обратно: а б с Грейвс, Марк и Брюс Г. Бэтчелор (2003). Машинное зрение для проверки натуральных продуктов . Спрингер . п. 5. ISBN 978-1-85233-525-0 . Проверено 2 ноября 2010 г.
- ^ Jump up to: Перейти обратно: а б с Холтон, В. Конард (октябрь 2010 г.). «Под любым другим именем» . Проектирование систем технического зрения . 15 (10). ISSN 1089-3709 . Проверено 5 марта 2013 г.
- ^ Оуэн-Хилл, Алекс (21 июля 2016 г.). «Роботическое зрение и компьютерное зрение: в чем разница?» . Робототехника завтра.
- ^ Jump up to: Перейти обратно: а б с д и ж г Турек, Фред Д. (июнь 2011 г.). «Основы машинного зрения. Как заставить роботов видеть» . Технические обзоры НАСА . 35 (6): 60–62 . Проверено 29 ноября 2011 г.
- ^ Jump up to: Перейти обратно: а б с Когнекс (2016). «Введение в машинное зрение» (PDF) . Журнал «Ассамблея» . Проверено 9 февраля 2017 г.
- ^ Люкенхаус, Максимилиан (1 мая 2016 г.). «Машинное зрение в IIoT» . Журнал «Качество» .
- ^ компьютерного зрения , 5-е издание, издательство ER Davies Academic Press, Elselvier, 2018 ISBN 978-0-12-809284-2 Принципы, алгоритмы, приложения, обучение
- ^ Jump up to: Перейти обратно: а б Уэст, Перри. Дорожная карта создания системы машинного зрения. Страницы 1–35.
- ^ Дешоу, Дэвид (январь 2009 г.). «Интеграция: как заставить это работать» . Зрение и сенсоры : 16–20. Архивировано из оригинала 14 марта 2020 г. Проверено 12 мая 2012 г.
- ^ Хорнберг, Александр (2006). Справочник по машинному зрению . Вайли-ВЧ . п. 427. ИСБН 978-3-527-40584-8 . Проверено 5 ноября 2010 г.
- ^ Jump up to: Перейти обратно: а б Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. ISBN 3-540-66410-6 . [ нужна страница ]
- ^ Jump up to: Перейти обратно: а б Хорнберг, Александр (2006). Справочник по машинному зрению . Вайли-ВЧ. п. 429. ИСБН 978-3-527-40584-8 . Проверено 5 ноября 2010 г.
- ^ Бельбахир, Ахмед Набиль, изд. (2009). Умные камеры . Спрингер. ISBN 978-1-4419-0952-7 . [ нужна страница ]
- ^ Дешоу, Дэвид (февраль 2013 г.). «Изучите основы машинного зрения: часть 1» . Проектирование систем технического зрения . 18 (2): 14–15 . Проверено 5 марта 2013 г.
- ^ Jump up to: Перейти обратно: а б Критические соображения по проектированию встраиваемых систем машинного зрения, авторы Дэйв Райс и журнал Amber Thousand Photonics Spectra, опубликованный Laurin Publishing Co., выпуск за июль 2019 г., страницы 60–64
- ^ Уилсон, Эндрю (31 мая 2011 г.). «Стандарт CoaXPress получает поддержку камеры и захвата кадров» . Проектирование систем технического зрения . Проверено 28 ноября 2012 г.
- ^ Уилсон, Дэйв (12 ноября 2012 г.). «Камеры сертифицированы как соответствующие стандарту CoaXPress» . Проектирование систем технического зрения . Проверено 5 марта 2013 г.
- ^ Jump up to: Перейти обратно: а б Дэвис, скорая помощь (1996). Машинное зрение - Теория, практические аспекты алгоритмов (2-е изд.). Харкорт и компания. ISBN 978-0-12-206092-2 . [ нужна страница ] .
- ^ Jump up to: Перейти обратно: а б Динев, Петко (март 2008 г.). «Цифровая или аналоговая? Выбор подходящей камеры для конкретного применения зависит от того, чего пытается достичь система машинного зрения» . Зрение и сенсоры : 10–14. Архивировано из оригинала 14 марта 2020 г. Проверено 12 мая 2012 г.
- ^ Уилсон, Эндрю (декабрь 2011 г.). «Фокус на продукте – взгляд в будущее» . Проектирование систем технического зрения . 16 (12) . Проверено 5 марта 2013 г.
- ^ Уилсон, Эндрю (апрель 2011 г.). «Инфракрасный выбор» . Проектирование систем технического зрения . 16 (4): 20–23 . Проверено 5 марта 2013 г.
- ^ Уэст, Perry High Speed, Кибероптика машинного зрения в реальном времени , страницы 1-38
- ^ Jump up to: Перейти обратно: а б Мюррей, Чарльз Дж (февраль 2012 г.). «Машинное 3D-зрение становится в центре внимания» . Новости дизайна . Архивировано из оригинала 5 июня 2012 г. Проверено 12 мая 2012 г.
- ^ Дэвис, скорая помощь (2012). Компьютерное и машинное зрение: теория, алгоритмы, практика (4-е изд.). Академическая пресса. стр. 410–411. ISBN 9780123869081 . Проверено 13 мая 2012 г.
- ^ Jump up to: Перейти обратно: а б с Трехмерная визуализация: практический обзор машинного зрения. Автор: Фред Турек и Ким Джексон. Журнал Quality Magazine, мартовский выпуск 2014 г., том 53/номер 3, страницы 6–8.
- ^ http://research.microsoft.com/en-us/people/fengwu/length-icip-12.pdf ГИБРИДНЫЙ СТРУКТУРИРОВАННЫЙ СВЕТ ДЛЯ МАСШТАБИРУЕМОГО ЗОНДИРОВАНИЯ ГЛУБИНЫ Юэи Чжан, Чживэй Сюн, Китайский университет науки и технологий Фэн Ву, Хэфэй , Китай Microsoft Research Asia, Пекин, Китай
- ^ Р.Морано, К.Озтюрк, Р.Конн, С.Дубин, С.Зиц, Дж.Ниссано, «Структурированный свет с использованием псевдослучайных кодов», Транзакции IEEE по анализу шаблонов и машинному интеллекту 20 (3) (1998) 322– 327
- ^ Поиск оптимального оборудования для глубокого обучения в машинном зрении Майка Фасселла Журнал Vision Systems Design, выпуск, сентябрь 2019 г., страницы 8-9
- ^ Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 39. ИСБН 3-540-66410-6 .
- ^ Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 96. ИСБН 3-540-66410-6 .
- ^ Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279–325, Нью-Джерси, Прентис-Холл, ISBN 0-13-030796-3
- ^ Лорен Баргоут. Визуальный таксометрический подход. Сегментация изображений с использованием нечетко-пространственного разреза таксонов дает контекстуально релевантные регионы. Обработка информации и управление неопределенностью в наукоемких Системы. CCIS Шпрингер-Верлаг. 2014 год
- ^ Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 108. ИСБН 3-540-66410-6 .
- ^ Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 95. ИСБН 3-540-66410-6 .
- ^ Jump up to: Перейти обратно: а б Турек, Фред Д. (март 2007 г.). «Введение в нейросетевое машинное зрение» . Проектирование систем технического зрения . 12 (3) . Проверено 5 марта 2013 г.
- ^ Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 111. ИСБН 3-540-66410-6 .
- ^ Jump up to: Перейти обратно: а б Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 125. ИСБН 3-540-66410-6 .
- ^ Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 132. ИСБН 3-540-66410-6 .
- ^ Демант С.; Штрайхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Спрингер-Верлаг. п. 191. ИСБН 3-540-66410-6 .
- ^ Хорнберг, Александр (2006). Справочник по машинному зрению . Вайли-ВЧ . п. 709. ИСБН 978-3-527-40584-8 . Проверено 5 ноября 2010 г.
- ^ Jump up to: Перейти обратно: а б с Место для глубокого обучения в журнале качества машинного зрения, май 2022 г., том 61, номер 5, опубликовано BNP Media II
- ^ Хэпгуд, Фред (15 декабря 2006 г. - 1 января 2007 г.). «Фабрики будущего» . ИТ-директор . 20 (6): 46. ISSN 0894-9301 . Проверено 28 октября 2010 г.