Обнаружение небольших объектов
Обнаружение мелких объектов — это частный случай обнаружения объектов , при котором для обнаружения мелких объектов на цифровых изображениях и видео используются различные методы. «Маленькие объекты» — это объекты, имеющие небольшой размер пикселя во входном изображении. В таких областях, как аэрофотосъемка , современные методы обнаружения объектов неэффективны из-за небольших объектов.
Использует [ править ]
Обнаружение мелких объектов находит применение в различных областях, таких как видеонаблюдение ( видеонаблюдение за дорожным движением, [1] [2] Поиск мелких предметов , [3] [4] Обнаружение аномалий , [5] Морское наблюдение , Съемка с дронов , Анализ транспортных потоков , [6] и отслеживание объектов .
Проблемы с мелкими предметами [ править ]
- Современные алгоритмы обнаружения объектов, такие как You Only Look Once (YOLO) [7] [8] [9] [10] [11] [12] [13] активно использует слои свертки для изучения функций . Когда объект проходит через слои свертки, его размер уменьшается. Таким образом, небольшой объект исчезает после нескольких слоев и становится необнаружимым.
- Иногда тень объекта обнаруживается как часть самого объекта. [14] Таким образом, размещение ограничивающей рамки имеет тенденцию концентрироваться вокруг тени, а не объекта. В случае обнаружения транспортных средств из-за этого страдает обнаружение пешеходов и двухколесных транспортных средств.
- В настоящее время дроны очень широко используются в аэрофотосъемке. [15] Они оснащены аппаратным обеспечением ( датчиками ) и программным обеспечением ( алгоритмами ), которые помогают сохранять определенное устойчивое положение во время полета. В ветреную погоду дрон автоматически совершает точные движения, чтобы сохранить свое положение, что меняет вид вблизи границы. Возможно, вблизи границы изображения появятся какие-то новые объекты. В целом это влияет на классификацию, обнаружение и, в конечном итоге, на точность отслеживания.
Методы [ править ]
Различные методы [16] доступны для обнаружения мелких объектов, которые делятся на три категории:
существующих техник Импровизация
Существуют различные способы обнаружения мелких объектов с помощью существующих методов. Некоторые из них упомянуты ниже,
Выбор набора данных, содержащего небольшие объекты [ править ]
Результат модели машинного обучения зависит от того, «насколько хорошо она обучена». [17] Итак, набор данных должен включать в себя небольшие объекты для обнаружения таких объектов. Кроме того, современные детекторы, такие как YOLO, используют якоря. Последние версии YOLO (начиная с YOLOv5 [18] ) использует алгоритм автоматической привязки для поиска хороших привязок на основе характера размеров объектов в наборе данных. Поэтому в наборе данных обязательно должны быть объекты меньшего размера.
Генерация дополнительных данных посредством дополнения, если необходимо [ править ]
Модели глубокого обучения имеют миллиарды нейронов, которые после обучения приобретают определенный вес. Следовательно, для лучшего обучения требуется большое количество количественных и качественных данных. [19] Увеличение данных — полезный метод для создания более разнообразных данных. [17] из существующего набора данных.
Увеличение разрешения захвата изображения и входного разрешения модели [ править ]
Это помогает получить больше возможностей от объектов и в конечном итоге извлечь из них максимум пользы. Например, объект велосипеда на изображении с разрешением 1280 X 1280 имеет больше функций, чем с разрешением 640 X 640.
Якоря автоматического обучения [ править ]
Выбор размера якоря играет жизненно важную роль в обнаружении небольших объектов. [20] Вместо того, чтобы выбирать его вручную, используйте алгоритмы, которые идентифицируют его на основе набора данных. YOLOv5 использует алгоритм K-средних для определения размера привязки.
Тайлинговый подход во время обучения и вывода [ править ]
Современные детекторы объектов допускают только фиксированный размер изображения и в соответствии с ним изменяют размер входного изображения. Это изменение может деформировать мелкие объекты на изображении. Тайловый подход [21] помогает, когда изображение имеет более высокое разрешение, чем фиксированный входной размер модели; вместо уменьшения масштаба изображение разбивается на плитки и затем используется при обучении. Тот же подход используется и при выводе.
Функциональная пирамидальная сеть (FPN) [ править ]
функций пирамиды Используйте сеть [22] изучить функции в нескольких масштабах: например, Twin Feature Pyramid Networks (TFPN), [23] Сеть пирамиды расширенных функций (EFPN). [24] FPN помогает сохранить особенности небольших объектов на фоне слоев свертки.
Дополнительные методы [ править ]
Вместо модификации существующих методов существуют некоторые дополнительные методы, которые можно разместить непосредственно поверх существующих подходов для обнаружения более мелких объектов. Одним из таких методов является метод среза с помощью гипервывода (SAHI). [25] Изображение разбивается на несколько перекрывающихся участков разного размера. Гиперпараметры определяют их размеры. Затем размеры патчей изменяются, сохраняя соотношение сторон во время тонкой настройки. Эти патчи затем предоставляются для обучения модели.
обнаружения небольших объектов Хорошо оптимизированные методы
Доступны различные методы глубокого обучения, которые фокусируются на таких проблемах обнаружения объектов: например, SSD с объединением функций, [26] ЙОЛО-З. [27] Такие методы работают над темой «Как сохранить особенности небольших объектов, пока они проходят через сети свертки».
Другие приложения [ править ]
- Подсчет толпы [28] [29] [30] [31]
- Переидентификация автомобиля [32]
- Обнаружение животных [33] [34] [35] [36]
- Обнаружение рыбы [37]
См. также [ править ]
- Сверточная нейронная сеть
- Использование БПЛА в правоохранительных органах
- Подводное компьютерное зрение
- Интеллектуальная транспортная система
Ссылки [ править ]
- ^ Саран КБ; Шрилекха Г (2015). «Видеонаблюдение за дорожным движением: Обнаружение и классификация транспортных средств» . 2015 Международная конференция по управляющим коммуникациям и вычислениям, Индия (ICCC) . Тривандрам, Керала, Индия: IEEE. стр. 516–521. дои : 10.1109/ICCC.2015.7432948 . ISBN 978-1-4673-7349-4 . S2CID 14779393 .
- ^ Немаде, Бхушан (01 января 2016 г.). «Автоматическое наблюдение за дорожным движением с помощью видеослежения» . Procedia Информатика . Материалы Международной конференции по коммуникациям, вычислениям и виртуализации (ICCCV), 2016. 79 : 402–409. дои : 10.1016/j.procs.2016.03.052 . ISSN 1877-0509 .
- ^ Го, Хайюнь; Ван, Цзиньцяо; Сюй, Мин; Чжа, Чжэн-Цзюнь; Лу, Ханьцин (13 октября 2015 г.). «Изучение глубоких функций многопросмотрового поиска для поиска небольших объектов в сценариях наблюдения» . Материалы 23-й международной конференции ACM по мультимедиа . ММ '15. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 859–862. дои : 10.1145/2733373.2806349 . ISBN 978-1-4503-3459-4 . S2CID 9041849 .
- ^ Галиявала, Хирен; Раваль, Мехул С.; Патель, знакомьтесь (20 мая 2022 г.). «Поиск людей на видео наблюдения с использованием распознавания атрибутов» . Журнал окружающего интеллекта и гуманизированных вычислений . дои : 10.1007/s12652-022-03891-0 . ISSN 1868-5145 . S2CID 248951090 .
- ^ Ингл, Палаш Юврадж; Ким, Янг-Габ (19 мая 2022 г.). «Обнаружение аномальных объектов в режиме реального времени для видеонаблюдения в умных городах» . Датчики . 22 (10): 3862. Бибкод : 2022Senso..22.3862I . дои : 10.3390/s22103862 . ISSN 1424-8220 . ПМЦ 9143895 . ПМИД 35632270 .
- ^ Цубои, Цутому; Ёсикава, Нориаки (01 марта 2020 г.). «Анализ транспортных потоков в Ахмедабаде (Индия)» . Тематические исследования по транспортной политике . 8 (1): 215–228. дои : 10.1016/j.cstp.2019.06.001 . ISSN 2213-624X . S2CID 195543435 .
- ^ Редмон, Джозеф; Диввала, Сантош; Гиршик, Росс; Фархади, Али (9 мая 2016 г.). «Вы смотрите только один раз: унифицированное обнаружение объектов в реальном времени». arXiv : 1506.02640 [ cs.CV ].
- ^ Редмон, Джозеф; Фархади, Али (25 декабря 2016 г.). «YOLO9000: лучше, быстрее, сильнее». arXiv : 1612.08242 [ cs.CV ].
- ^ Редмон, Джозеф; Фархади, Али (08 апреля 2018 г.). «YOLOv3: постепенное улучшение». arXiv : 1804.02767 [ cs.CV ].
- ^ Бочковский, Алексей; Ван, Цзянь-Яо; Ляо, Хун-Юань Марк (22 апреля 2020 г.). «YOLOv4: Оптимальная скорость и точность обнаружения объектов». arXiv : 2004.10934 [ cs.CV ].
- ^ Ван, Цзянь-Яо; Бочковский, Алексей; Ляо, Хун-Юань Марк (21 февраля 2021 г.). «Scaled-YOLOv4: Масштабирование межэтапной частичной сети». arXiv : 2011.08036 [ cs.CV ].
- ^ Ли, Лулу; Вэн, Гэн, Ифэй; Ли, Цинъюань; Не, Вэйцян; Ли, Идуо; : платформа одноэтапного обнаружения объектов для промышленных приложений » Юфэй; Чжоу, Линьюань ; Сяомин ( 07.09.2022 . ). « YOLOv6 Сюй ,
- ^ Ван, Цзянь-Яо; Бочковский, Алексей; Ляо, Хун-Юань Марк (6 июля 2022 г.). «YOLOv7: Обучаемый набор подарков устанавливает новый уровень развития детекторов объектов в реальном времени». arXiv : 2207.02696 [ cs.CV ].
- ^ Чжан, Минжуй; Чжао, Вэньбин; Ли, Сийин; Ван, Дэн (11 декабря 2020 г.). «Обнаружение теней движущихся объектов в видео мониторинга дорожного движения» . 2020 IEEE 9-я совместная международная конференция по информационным технологиям и искусственному интеллекту (ITAIC) . Том. 9. Чунцин, Китай: IEEE. стр. 1983–1987. дои : 10.1109/ITAIC49862.2020.9338958 . ISBN 978-1-7281-5244-8 . S2CID 231824327 .
- ^ «Интерактивный мастер-класс «Как дроны меняют мир, в котором мы живем» » . 2016 Интегрированная коммуникационная навигация и наблюдение (ICNS) . Херндон, Вирджиния: IEEE. 2016. стр. 1–17. дои : 10.1109/ICNSURV.2016.7486437 . ISBN 978-1-5090-2149-9 . S2CID 21388151 .
- ^ Нгуен, Нхат-Дуй; Делай, Тьен; Нго, Тхань Дык; Ле, Дуй-Динь (2020). «Оценка методов глубокого обучения для обнаружения небольших объектов» . Журнал электротехники и вычислительной техники . 2020 : 1–18. дои : 10.1155/2020/3189691 .
- ↑ Перейти обратно: Перейти обратно: а б Гун, Чжицян; Чжун, Пин; Ху, Вэйдун (2019). «Разнообразие в машинном обучении» . Доступ IEEE . 7 : 64323–64350. arXiv : 1807.01477 . дои : 10.1109/ACCESS.2019.2917620 . ISSN 2169-3536 . S2CID 206491718 .
- ^ Джохер, Гленн; Чаурасия, Аюш; Стокен, Алекс; Боровец, Йирка; Нанокод012; Квон, Ёнхе; Таосе; Майкл, Кален; Фан, Цзяконг (17 августа 2022 г.). «ultralytics/yolov5: v6.2 — модели классификации YOLOv5, интеграция Apple M1, воспроизводимости, ClearML и Deci.ai» . дои : 10.5281/zenodo.3908559 . Проверено 14 сентября 2022 г.
{{cite journal}}: Для цитирования журнала требуется|journal=( помощь ) CS1 maint: числовые имена: список авторов ( ссылка ) - ^ «Размер и качество набора данных | Машинное обучение» . Разработчики Google . Проверено 14 сентября 2022 г.
- ^ г.) «Оптимизация поля привязки для обнаружения объектов». Ван, Цзяньфэн ; Чжун, Юаньи ; Чжан, Лэй ( 26 Цзянь ; января 2020 Пэн ,
- ^ Унель, Ф. Озге; Озкалайчи, Бурак О.; Чигла, Джевахир (2019). «Сила тайлинга для обнаружения мелких объектов» . Конференция IEEE/CVF 2019 года по компьютерному зрению и распознаванию образов (CVPRW) . Лонг-Бич, Калифорния, США: IEEE. стр. 582–591. дои : 10.1109/CVPRW.2019.00084 . ISBN 978-1-7281-2506-0 . S2CID 198903617 .
- ^ Линь, Цунг-И; Доллар, Петр; Гиршик, Росс; Он, Кайминг; Харихаран, Бхарат; Белонги, Серж (19 апреля 2017 г.). «Функциональные пирамидальные сети для обнаружения объектов». arXiv : 1612.03144 [ cs.CV ].
- ^ Лян, И; Чанцзянь, Ван; Фанчжао, Ли; Юйсин, Пэн; Цинь, Льв; Юань, Юань; Чжэнь, Хуан (2019). «TFPN: двойные пирамидальные сети для обнаружения объектов» . 31-я Международная конференция IEEE по инструментам с искусственным интеллектом (ICTAI) , 2019 г. Портленд, Орегон, США: IEEE. стр. 1702–1707. дои : 10.1109/ICTAI.2019.00251 . ISBN 978-1-7281-3798-8 . S2CID 211211764 .
- ^ Дэн, Чуньфан; Ван, Мэнмэн; Лю, Лян; Лю, Юн (09 апреля 2020 г.). «Пирамидная сеть с расширенными функциями для обнаружения мелких объектов». arXiv : 2003.07021 [ cs.CV ].
- ^ Акьон, Фатих Чагатай; Алтынук, Синан Онур; Темизель, Альптекин (12 июля 2022 г.). «Нарезка с помощью гипервывода и точная настройка для обнаружения небольших объектов». Международная конференция IEEE по обработке изображений (ICIP) 2022 года . стр. 966–970. arXiv : 2202.06934 . дои : 10.1109/ICIP46576.2022.9897990 . ISBN 978-1-6654-9620-9 . S2CID 246823962 .
- ^ Цао, Гуймэй; Се, Сюэмэй; Ян, Вэньчжэ; Ляо, Цюань; Ши, Гуанмин; Ву, Цзиньцзянь (10 апреля 2018 г.). «Твердотельный накопитель с множеством функций: быстрое обнаружение мелких объектов» . Ин Донг, Джунюй; Ю, Хуэй (ред.). Девятая международная конференция по обработке графики и изображений (ICGIP 2017) . Том. 10615. ШПИОН. стр. 381–388. arXiv : 1709.05054 . Бибкод : 2018SPIE10615E..1EC . дои : 10.1117/12.2304811 . ISBN 9781510617414 . S2CID 20592770 .
- ^ Бенхумеа, Адуэн; Теети, Иззеддин; Куццолин, Фабио; Брэдли, Эндрю (23 декабря 2021 г.). «YOLO-Z: Улучшение обнаружения мелких объектов в YOLOv5 для автономных транспортных средств». arXiv : 2112.11798 [ cs.CV ].
- ^ Раджендран, Логеш; Шьям Шанкаран, R (2021). «Большие данные позволили осуществлять наблюдение за толпой в реальном времени с использованием искусственного интеллекта и глубокого обучения» . Международная конференция IEEE по большим данным и интеллектуальным вычислениям (BigComp) 2021 года . Остров Чеджу, Корея (Юг): IEEE. стр. 129–132. дои : 10.1109/BigComp51126.2021.00032 . ISBN 978-1-7281-8924-6 . S2CID 232236614 .
- ^ Сивачандиран, С.; Мохан, К. Джаган; Назер, Г. Мохаммед (29 марта 2022 г.). «Глубокое трансферное обучение позволило обнаруживать и классифицировать скопления людей высокой плотности с использованием аэрофотоснимков» . 2022 6-я Международная конференция по вычислительным методологиям и коммуникациям (ICCMC) . Эрод, Индия: IEEE. стр. 1313–1317. дои : 10.1109/ICCMC53470.2022.9753982 . ISBN 978-1-6654-1028-1 . S2CID 248131806 .
- ^ Сантини, К.; Гомати, В. (2018). «Анализ массовых сцен с использованием сети глубокого обучения» . Международная конференция по текущим тенденциям в области конвергентных технологий (ICCTCT) 2018 года . стр. 1–5. дои : 10.1109/ICCTCT.2018.8550851 . ISBN 978-1-5386-3702-9 . S2CID 54438440 .
- ^ Шарат, СВ; Бирадар, Видьядеви; Праджвал, Миссисипи; Ашвини, Б. (19 ноября 2021 г.). «Подсчет толпы на изображениях с высокой плотностью с использованием глубокой сверточной нейронной сети» . Международная конференция IEEE 2021 по распределенным вычислениям, СБИС, электрическим цепям и робототехнике (ОТКРОЙТЕ ДЛЯ СЕБЯ) . Нитте, Индия: IEEE. стр. 30–34. doi : 10.1109/ОТКРОЙТЕ ДЛЯ СЕБЯ 52564.2021.9663716 . ISBN 978-1-6654-1244-5 . S2CID 245707782 .
- ^ Ван, Хунбо; Хоу, Цзяин; Чен, На (2019). «Обследование повторной идентификации транспортных средств на основе глубокого обучения» . Доступ IEEE . 7 : 172443–172469. дои : 10.1109/ACCESS.2019.2956172 . ISSN 2169-3536 . S2CID 209319743 .
- ^ Сантанам, Санджай; Б, Судхир Сидхартан; Паниграхи, Саи Судха; Кашьяп, Сурьякант Кумар; Дурисети, Бхаргав Кришна (26 ноября 2021 г.). «Обнаружение животных для обеспечения безопасности дорожного движения с использованием глубокого обучения» . Международная конференция по вычислительному интеллекту и вычислительным приложениям (ICCICA) 2021 года . Нагпур, Индия: IEEE. стр. 1–5. дои : 10.1109/ICCICA52458.2021.9697287 . ISBN 978-1-6654-2040-2 . S2CID 246663727 .
- ^ Ли, Ноппарут; Кусакунниран, Ворапан; Хотта, Сейджи (2020). «Обнаружение животных за клетками с использованием сверточной нейронной сети» . 2020 17-я Международная конференция по электротехнике/электронике, компьютерам, телекоммуникациям и информационным технологиям (ECTI-CON) . Пхукет, Таиланд: IEEE. стр. 242–245. doi : 10.1109/ECTI-CON49241.2020.9158137 . ISBN 978-1-7281-6486-1 . S2CID 221086279 .
- ^ Оиси, Ю; Мацунага, Цунео (2010). «Автоматическое обнаружение движущихся диких животных на изображениях дистанционного зондирования Земли» . 2010 Международный симпозиум IEEE по геонаукам и дистанционному зондированию . стр. 517–519. дои : 10.1109/IGARSS.2010.5654227 . ISBN 978-1-4244-9565-8 . S2CID 16812504 .
- ^ Раманан, Д.; Форсайт, Д.А.; Барнард, К. (2006). «Построение моделей животных по видео» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 28 (8): 1319–1334. дои : 10.1109/TPAMI.2006.155 . ISSN 0162-8828 . ПМИД 16886866 . S2CID 1699015 .
- ^ Цуй, Суся; Чжоу, Ю; Ван, Юнхуэй; Чжай, Луджун (2020). «Обнаружение рыбы с помощью глубокого обучения» . Прикладной вычислительный интеллект и мягкие вычисления . 2020 : 1–13. дои : 10.1155/2020/3738108 .
Внешние ссылки [ править ]
- Набор данных VisDrone , созданный командой AISKYEYE в Лаборатории машинного обучения и интеллектуального анализа данных, Тяньцзиньский университет, Китай.