Обратный поиск изображений
Обратный поиск изображений — это поиска изображений на основе контента (CBIR) метод запроса , который включает в себя предоставление системе CBIR образца изображения, на котором она затем будет основывать свой поиск; с точки зрения поиска информации образец изображения очень полезен. В частности, обратный поиск изображений характеризуется отсутствием поисковых терминов. Это эффективно избавляет пользователя от необходимости угадывать ключевые слова или термины, которые могут возвращать или не возвращать правильный результат. Обратный поиск изображений также позволяет пользователям находить контент, связанный с конкретным образцом изображения. [1] или популярность изображения, а также обнаружить подделанные версии и производные работы. [2]
Визуальная поисковая система — поисковая система, предназначенная для поиска информации во Всемирной паутине посредством обратного поиска изображений. Информация может состоять из веб-страниц , местоположений, других изображений и других типов документов. Этот тип поисковых систем чаще всего используется для поиска в мобильном Интернете по изображению неизвестного объекта (неизвестный поисковый запрос). Примерами являются здания в чужом городе. Эти поисковые системы часто используют методы поиска изображений на основе контента .
Визуальная поисковая система ищет изображения, шаблоны на основе алгоритма , который она может распознать , и выдает относительную информацию на основе метода выборочного или прикладного сопоставления шаблонов.
Использование
[ редактировать ]Обратный поиск изображений может использоваться для: [3]
- Найдите источник изображения.
- Найдите версии с более высоким разрешением.
- Откройте для себя веб-страницы, на которых появляется изображение.
- Найдите создателя контента.
- Получить информацию об изображении.
Алгоритмы
[ редактировать ]Обычно используемые алгоритмы поиска обратного изображения включают в себя: [4]
- Преобразование масштабно-инвариантных признаков — для извлечения локальных особенностей изображения. [5]
- Максимально устойчивые экстремальные области
- Словарное дерево
Поисковики визуальной информации
[ редактировать ]
Поиск изображений
[ редактировать ]Поисковая система изображений — это поисковая система, предназначенная для поиска изображения. Поиск может быть основан на ключевых словах, изображении или веб- ссылке на изображение. Результаты зависят от критерия поиска, такого как метаданные , распределение цвета, формы и т. д., а также от метода поиска, который использует браузер.
Методы поиска изображений
[ редактировать ]В настоящее время при поиске изображений используются два метода:
Поиск по метаданным. Поиск изображений основан на сравнении метаданных, связанных с изображением, таких как ключевые слова, текст и т. д., и получается путем использования набора изображений, отсортированных по релевантности. Метаданные, связанные с каждым изображением, могут ссылаться на заголовок изображения, формат, цвет и т. д. и могут генерироваться вручную или автоматически. Этот процесс генерации метаданных называется аудиовизуальным индексированием.
Поиск по примеру. В этом методе, также называемом обратным поиском изображений , результаты поиска получаются путем сравнения изображений с использованием для поиска изображений на основе контента методов компьютерного зрения . Во время поиска исследуется содержимое изображения, такое как цвет, форма, текстура или любая визуальная информация, которую можно извлечь из изображения. Эта система требует более высокой вычислительной сложности , но более эффективна и надежна, чем поиск по метаданным.
Существуют программы поиска изображений, сочетающие в себе оба метода поиска. Например, первый поиск осуществляется путем ввода текста. Полученные изображения затем используются для уточнения поиска.
Поиск видео
[ редактировать ]Видеопоисковая система — поисковая система, предназначенная для поиска видео в сети. Некоторые видеопоисковики обрабатывают поиск непосредственно в Интернете, а другие скрывают видео, по которым осуществляется поиск. Некоторые поисковики также позволяют использовать в качестве параметров поиска формат или продолжительность видео. Обычно результаты представляют собой миниатюрный снимок видео.
Методы поиска видео
[ редактировать ]В настоящее время почти все средства поиска видео для выполнения поиска основаны на ключевых словах (поиск по метаданным). Эти ключевые слова можно найти в названии видео, тексте, сопровождающем видео, или они могут быть определены автором. Примером такого типа поиска является YouTube .
Поиск 3D-моделей
[ редактировать ]Целью поисковика 3D-моделей является поиск файла объекта 3D-моделирования в базе данных или сети. На первый взгляд внедрение такого типа поисковиков может показаться ненужным, но из-за непрерывной документальной инфляции Интернета с каждым днем становится все более необходимой индексируемая информация.
Методы поиска 3D-моделей
[ редактировать ]
Они использовались с традиционными текстовыми поисковыми системами (ключевые слова/теги), где авторы индексируемых материалов или пользователи Интернета вносили эти теги или ключевые слова. Поскольку это не всегда эффективно, недавно было исследовано применение поисковых систем, которые сочетают поиск по тексту с поиском по 2D-чертежам, 3D-чертежам и 3D-моделям.
Принстонский университет разработал поисковую систему, которая объединяет все эти параметры для выполнения поиска, тем самым повышая эффективность поиска. [6] Также на портале 3DfindIT.com предусмотрена система поиска 3D-моделей на основе эскизов, рисунков, текста и т. д. https://www.3dfindit.com/
Мобильный визуальный поиск
[ редактировать ]Мобильный поисковик изображений — это тип поисковой системы , предназначенной исключительно для мобильных телефонов, с помощью которой вы можете найти любую информацию в Интернете с помощью изображения, сделанного с помощью собственного мобильного телефона или с использованием определенных слов ( ключевых слов ). Решения Mobile Visual Search позволяют интегрировать возможности программного обеспечения для распознавания изображений в мобильные приложения под вашим собственным брендом. Мобильный визуальный поиск (MVS) устраняет разрыв между онлайн- и офлайн- медиа, позволяя вам связать своих клиентов с цифровым контентом .
Введение
[ редактировать ]Мобильные телефоны превратились в мощные устройства обработки изображений и видео, оснащенные камерами высокого разрешения, цветными дисплеями и графикой с аппаратным ускорением. Они также все чаще оснащаются системой глобального позиционирования и подключаются к широкополосным беспроводным сетям. Все это позволяет создать новый класс приложений, использующих камеру телефона для инициирования поисковых запросов об объектах, находящихся в визуальной близости от пользователя (рис. 1). Такие приложения можно использовать, например, для идентификации продуктов, сравнения покупок, поиска информации о фильмах, компакт-дисках (CD), недвижимости, печатных СМИ или произведениях искусства.
Процесс
[ редактировать ]Обычно поисковая система этого типа использует методы запроса по примеру или запроса изображения по примеру , которые используют содержимое, форму, текстуру и цвет изображения для сравнения их в базе данных , а затем выдают приблизительные результаты запроса.
Процесс, используемый при таком поиске на мобильных телефонах, выглядит следующим образом:
Сначала изображение отправляется серверному приложению. Уже на сервере изображение будет анализироваться разными аналитическими командами, поскольку каждая из них специализируется на разных областях, составляющих изображение. Затем каждая команда решит, содержит ли представленное изображение области их специализации или нет.
Как только вся эта процедура будет завершена, центральный компьютер проанализирует данные и создаст страницу с результатами, отсортированными с учетом эффективности каждой команды, которая в конечном итоге будет отправлена на мобильный телефон .
Применение в популярных поисковых системах
[ редактировать ]Yandex
[ редактировать ]Яндекс Картинки предлагает глобальный обратный поиск изображений и фотографий. Сайт использует стандартную технологию поиска изображений на основе контента (CBIR), используемую многими другими сайтами, но дополнительно использует технологию на основе искусственного интеллекта для поиска дополнительных результатов на основе запроса. [7] Пользователи могут перетаскивать изображения на панель инструментов сайта, чтобы выполнить поиск в Интернете похожих изображений. Изображения Яндекса сканируют некоторые малоизвестные сайты социальных сетей в дополнение к более распространенным, предлагая владельцам контента средства отслеживания плагиата интеллектуальной собственности изображений или фотографий.
Картинки Google
[ редактировать ]Google Поиск по изображению — это функция, которая использует обратный поиск изображений и позволяет пользователям искать похожие изображения, загружая изображение или копируя URL-адрес изображения. Google достигает этого, анализируя отправленное изображение и создавая его математическую модель. Затем оно сравнивается с другими изображениями в базах данных Google, прежде чем возвращать совпадающие и похожие результаты. Если они доступны, Google также использует метаданные об изображении, например описание. В 2022 году эта функция была заменена Google Lens в качестве метода визуального поиска по умолчанию в Google, а старая функция поиска по изображению остается доступной в Google Lens. [8]
TinEye
[ редактировать ]TinEye — поисковая система, специализирующаяся на обратном поиске изображений. После отправки изображения TinEye создает «уникальную и компактную цифровую подпись или отпечаток пальца» указанного изображения и сопоставляет его с другими проиндексированными изображениями. [9] Эта процедура позволяет сопоставить даже сильно отредактированные версии отправленного изображения, но обычно не возвращает в результатах похожие изображения. [10]
Пикси
[ редактировать ]Технология обратного поиска изображений Pixsy обнаруживает совпадения изображений [11] в общедоступном Интернете для изображений, загруженных на платформу Pixsy. [12] Новые совпадения обнаруживаются автоматически, и пользователю отправляются оповещения. За несанкционированное использование Pixsy предлагает услугу восстановления компенсации. [13] [14] для коммерческого использования изображений работают владельцы изображений. Pixsy сотрудничает с более чем 25 юридическими фирмами и адвокатами по всему миру, чтобы добиться разрешения нарушений авторских прав. Pixsy — это стратегический сервис мониторинга изображений для платформы Flickr и пользователей. [15]
eBay
[ редактировать ]eBay ShopBot использует обратный поиск по изображениям, чтобы находить товары по загруженной пользователем фотографии. eBay использует сеть ResNet-50 для распознавания категорий, хэши изображений хранятся в Google Bigtable ; Задания Apache Spark управляются Google Cloud Dataproc для извлечения хэша изображений; а служба ранжирования образов развернута Kubernetes . [16]
СК Планета
[ редактировать ]SK Planet использует обратный поиск изображений, чтобы найти соответствующие модные товары на своем веб-сайте электронной коммерции. Компания разработала сеть видеокодеров на основе TensorFlow inception-v3 , обеспечивающую скорость сходимости и обобщения для производственного использования. Рекуррентная нейронная сеть используется для многоклассовой классификации, а обнаружение области интереса модных товаров основано на Faster R-CNN . Система поиска по обратным изображениям SK Planet построена менее чем за 100 человеко-месяцев. [17]
Алибаба
[ редактировать ]Alibaba выпустила приложение Pailitao в 2014 году. Pailitao ( китайский : 拍立淘 , буквально означает «покупки через камеру») позволяет пользователям искать товары на платформе электронной коммерции Alibaba, фотографируя объект запроса. Приложение Pailitao использует глубокую модель CNN с ветвями для совместного обнаружения и обучения признаков, чтобы обнаружить маску обнаружения и точный отличительный признак без фоновых помех. GoogLeNet V1 используется в качестве базовой модели для прогнозирования категорий и изучения функций. [18] [19]
Пинтерест
[ редактировать ]Pinterest приобрела стартап VisualGraph в 2014 году и внедрила на своей платформе визуальный поиск. [20] доклад, В 2015 году Pinterest опубликовал на конференции ACM посвященный раскрытию знаний и интеллектуальному анализу данных , и раскрыл архитектуру системы. Конвейер использует Apache Hadoop с открытым исходным кодом Caffe , среду сверточных нейронных сетей , Cascading для пакетной обработки, PinLater для обмена сообщениями и Apache HBase для хранения. Характеристики изображения, включая локальные особенности, глубокие особенности, заметные цветовые характеристики и заметные пиксели, извлекаются из пользовательских загрузок. Система управляется Amazon EC2 , и для ежедневной загрузки изображений на Pinterest требуется кластер из 5 экземпляров графического процессора. Используя обратный поиск изображений, Pinterest может извлекать визуальные особенности из предметов моды (например, обуви, платья, очков, сумки, часов, брюк, шорт, бикини, сережек) и предлагать похожие рекомендации по продуктам. [21] [22]
JD.com
[ редактировать ]JD.com раскрыла дизайн и реализацию своей системы визуального поиска в реальном времени на конференции Middleware '18 . В рецензируемом документе основное внимание уделяется алгоритмам, используемым распределенной иерархической системой извлечения, индексирования и поиска изображений JD, которой ежедневно пользуются 300 миллионов активных пользователей. На момент запуска в эксплуатацию в 2018 году система могла поддерживать 80 миллионов обновлений своей базы данных в час. [23]
Бинг
[ редактировать ]Microsoft Bing опубликовала архитектуру своей системы поиска по обратным изображениям на конференции KDD'18. В документе говорится, что для описания его контента используются различные функции изображения запроса, отправленного пользователем, в том числе использование глубоких нейронных сетей кодировщиков , функции распознавания категорий, функции распознавания лиц , цветовые функции и функции обнаружения дубликатов. [24]
Амазонка
[ редактировать ]Amazon.com раскрыл архитектуру визуальной поисковой системы по модным и домашним товарам под названием Amazon Shop the Look в статье, опубликованной на конференции KDD'22. В документе описываются уроки, извлеченные Amazon при развертывании в производственной среде, включая увеличение данных на основе синтеза изображений для оптимизации производительности поиска и повышения точности. [25]
Исследовательские системы
[ редактировать ]Пекинская лаборатория Microsoft Research Asia опубликовала в журнале Proceedings of IEEE статью о системах Arista-SS (похожий поиск) и Arista-DS (поиск дубликатов). Arista-DS выполняет только алгоритмы поиска дубликатов, такие как анализ главных компонентов глобальных функций изображения, чтобы снизить затраты на вычисления и память. Arista-DS может выполнять поиск дубликатов на 2 миллиардах изображений с помощью 10 серверов, но с компромиссом в том, что не обнаруживается близкое количество дубликатов. [26]
Реализации с открытым исходным кодом
[ редактировать ]В 2007 году библиотека Puzzle выпущена под лицензией ISC . Головоломка предназначена для обратного поиска изображений, визуально похожих изображений, даже после того, как изображения были изменены в размере, повторно сжаты, перекрашены и/или слегка изменены. [27]
image -match Проект с открытым исходным кодом был выпущен в 2016 году. Проект, распространяемый по лицензии Apache License , реализует систему обратного поиска изображений, написанную на Python . [28]
И библиотека Puzzle , и проекты сопоставления изображений используют алгоритмы, опубликованные на конференции IEEE ICIP. [29]
опубликовал книгу, в которой В 2019 году О'Рейли описано, как за несколько часов можно создать простую систему поиска по обратным изображениям. В книге рассматриваются извлечение признаков изображения и поиск по сходству, а также более сложные темы, включая масштабируемость с использованием графических процессоров и настройку повышения точности поиска. [30] Код системы был выложен в свободный доступ на GitHub . [31]
Обратный поиск видео
[ редактировать ]Требования к обработке для выполнения обратного поиска видео будут поразительно высокими. Не существует простого инструмента, позволяющего просто загрузить видео и найти соответствующие результаты. В настоящее время не существует технологии, которая могла бы успешно выполнить обратный поиск видео. [32] [33]
Системы поиска обратных изображений производства
[ редактировать ]См. также
[ редактировать ]
Ссылки
[ редактировать ]- ^ «Как искать по изображению» . Проверено 2 ноября 2013 г.
- ^ «Поиск видео с Frompo» . Frompo.com . Проверено 2 ноября 2013 г.
- ^ «Часто задаваемые вопросы — TinEye — Зачем использовать TinEye?» . ТинАй .
- ^ Объединение функций для крупномасштабного частичного поиска изображений в Интернете Microsoft .
- ^ Новая система поиска изображений в Интернете с использованием алгоритма SIFT Computer.org
- ^ Фанкхаузер, Томас; Мин, Патрик; Каждан, Михаил; Чен, Джойс; Хальдерман, Алекс; Добкин, Дэвид; Джейкобс, Дэвид (2002). «Поисковая система для 3D-моделей» (PDF) . Транзакции ACM с графикой . 22 (1): 83–105. дои : 10.1145/588272.588279 . S2CID 1178691 .
- ^ Радж, Абхишек, изд. (27 февраля 2022 г.). «Как работает обратный поиск по изображениям Яндекса? Подробное руководство» . www.buddinggeek.com . Начинающий компьютерщик . Проверено 5 мая 2022 г.
- ^ Ли, Абнер (10 августа 2022 г.). «Google Картинки в Интернете теперь используют Google Lens» . 9to5Google . Проверено 2 декабря 2022 г.
- ^ «Часто задаваемые вопросы — TinEye — Как работает TinEye?» . ТинАй .
- ^ «Часто задаваемые вопросы — TinEye — Может ли TinEye найти похожие изображения?» . ТинАй .
- ^ «Найти украденные изображения — Пикси» . Пикси . Проверено 20 октября 2017 г.
- ^ «Обзор Pixsy.com: Найдите и боритесь с кражей изображений — Интернет-маркетинг для художников —» . Интернет-маркетинг для художников . 02 июля 2015 г. Проверено 20 октября 2017 г.
- ^ «Пикси: найди и получи плату за кражу изображений» . artlawjournal.com . 18 октября 2014 г. Проверено 20 октября 2017 г.
- ^ «Решение проблемы кражи изображений — Pixsy» . Пикси . Проверено 20 октября 2017 г.
- ^ «Flickr объединяется с Pixsy, чтобы заставить вас платить за кражу фотографий» . petapixel.com . 9 апреля 2019 года . Проверено 12 декабря 2019 г.
- ^ Ян, Фань; Кале, Аджинкья; Бубнов Юрий; Штейн, Леон; Ван, Цяосун; Киапур, Хади; Пирамуту, Робинсон (2017). «Визуальный поиск на eBay». Материалы 23-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . стр. 2101–2110. arXiv : 1706.03154 . дои : 10.1145/3097983.3098162 . ISBN 9781450348874 . S2CID 22367645 .
{{cite book}}:|work=игнорируется ( помогите ) - ^ Визуальный поиск модных товаров на SK Planet
- ^ Чжан, Яньхао; Пан, Пан; Чжэн, Юн; Чжао, Кан; Чжан, Инья; Рен, Сяофэн; Джин, Ронг (2018). «Визуальный поиск на Alibaba». Материалы 24-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . стр. 993–1001. arXiv : 2102.04674 . дои : 10.1145/3219819.3219820 . ISBN 9781450355520 . S2CID 50776405 .
{{cite book}}:|work=игнорируется ( помогите ) - ^ «Покупки с помощью камеры: визуальный поиск изображений и электронная коммерция на Alibaba» . Алибаба Тех . Сентябрь 2020.
- ^ Джош Констин (6 января 2014 г.). «Pinterest приобретает стартап VisualGraph, занимающийся распознаванием изображений и визуальным поиском» . ТехКранч . АОЛ.
- ^ Цзин, Юши; Лю, Дэвид; Кислюк Дмитрий; Чжай, Эндрю; Сюй, Цзяцзин; Донахью, Джефф; Тавель, Сара (2015). «Визуальный поиск в Pinterest». Материалы 21-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . стр. 1889–1898. дои : 10.1145/2783258.2788621 . ISBN 9781450336642 . S2CID 1153609 .
{{cite book}}:|work=игнорируется ( помогите ) - ^ «Создание масштабируемого конвейера машинного зрения» . Пинтерест Инжиниринг . Архивировано из оригинала 6 сентября 2015 г.
- ^ Ли, Цзе; Лю, Хайфэн; Гуй, Чуанхуа; Чен, Цзяньюй; Ни, Чжэньюань; Ван, Нин; Чен, Юань (2018). «Проектирование и реализация системы визуального поиска в реальном времени на платформе электронной коммерции JD». Материалы 19-й Международной конференции по связующему программному обеспечению. Индустрия . стр. 9–16. arXiv : 1908.07389 . дои : 10.1145/3284028.3284030 . ISBN 9781450360166 . S2CID 53713854 .
{{cite book}}:|website=игнорируется ( помогите ) - ^ Ху, Хоудонг; Ван, Ян; Ян, Линцзюнь; Комлев, Павел; Хуанг, Ли; Чен, Си (Стивен); Хуан, Цзяпэй; Ву, Йе; Купец, Миназ; Сачети, Арун (2018). «Отзывчивый визуальный поиск в веб-масштабе в Bing». Материалы 24-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . стр. 359–367. дои : 10.1145/3219819.3219843 . ISBN 9781450355520 . S2CID 3427399 .
{{cite book}}:|website=игнорируется ( помогите ) - ^ Amazon Shop the Look: система визуального поиска для моды и дома.
- ^ Аннотации к изображениям на основе поиска дубликатов с использованием данных веб-масштаба Microsoft.
- ^ Библиотека головоломок
- ^ ProvenanceLabs / image-match
- ^ Подпись изображения для любого изображения.
- ^ Коул, Анируд (октябрь 2019 г.). «Глава 4. Создание поисковой системы с обратным изображением: понимание встраивания». Практическое глубокое обучение для облачных, мобильных и периферийных устройств . О'Рейли Медиа . ISBN 9781492034865 .
- ^ Репозиторий исходных текстов книги по практическому глубокому обучению.
- ^ VКак использовать обратный поиск видео (и почему это полезно) . Сентябрь 2022.
{{cite book}}:|work=игнорируется ( помогите ) - ^ «Как найти источник видео с помощью обратного поиска изображений?» . Alibaba DigitBin . Октябрь 2020.
- ^ Как выполнить обратный поиск изображений со своего телефона