Трансформатор зрения

Трансформатор зрения ( ВИТ ) — преобразователь, предназначенный для компьютерного зрения. ViT разбивает входное изображение на ряд фрагментов (вместо того, чтобы разбивать текст на токены ), сериализует каждый фрагмент в вектор и отображает его в меньшее измерение с помощью одного матричного умножения . Эти векторные внедрения затем обрабатываются преобразователем -кодером, как если бы они были встраиваниями токенов.

ViT нашел применение в распознавании изображений , сегментации изображений и автономном вождении .

История

Трансформеры были представлены в 2017 году в статье « Внимание — это все, что вам нужно ». и нашли широкое применение в обработке естественного языка . В 2020 году их адаптировали для компьютерного зрения, получив ВИТ.

В 2021 году модель чистого трансформатора продемонстрировала лучшую производительность и большую эффективность, чем CNN, при классификации изображений.

Исследование, проведенное в июне 2021 года, добавило в ResNet серверную часть-трансформер , что значительно снизило затраты и повысило точность.

В том же году было предложено несколько важных вариантов Vision Transformers. Эти варианты в основном предназначены для того, чтобы быть более эффективными, более точными или лучше подходящими для конкретной области. Среди наиболее актуальных – Swin Transformer, который благодаря некоторым модификациям механизма внимания и многоэтапному подходу достиг самых современных результатов в некоторых наборах данных обнаружения объектов, таких как COCO . Еще одним интересным вариантом является TimeSformer, предназначенный для задач понимания видео и способный захватывать пространственную и временную информацию за счет использования разделенного пространственно-временного внимания.

Обзор

Базовая архитектура, использованная в оригинальной статье 2020 года: заключается в следующем. Таким образом, это BERT-подобный преобразователь, предназначенный только для кодировщика.

Входное изображение имеет тип $\mathbb {R} ^{H\times W\times C}$, где $H,W,C$ высота, ширина, канал ( RGB ). Затем он разбивается на участки квадратной формы типа $\mathbb {R} ^{P\times P\times C}$.

Для каждого патча патч пропускается через линейный оператор для получения вектора («встраивание патча»). Положение патча также преобразуется в вектор посредством «кодирования положения». Два вектора складываются, а затем пропускаются через несколько кодировщиков Transformer.

Механизм внимания в ViT неоднократно преобразует векторы представления фрагментов изображения, включая все больше и больше семантических отношений между фрагментами изображения в изображении. Это аналогично тому, как при обработке естественного языка, когда векторы представления проходят через преобразователь, они включают в себя все больше и больше семантических отношений между словами, от синтаксиса до семантики.

Вышеуказанная архитектура превращает изображение в последовательность векторных представлений. Чтобы использовать их для последующих приложений, необходимо обучить дополнительного руководителя их интерпретации.

Например, чтобы использовать его для классификации, можно добавить поверх него неглубокий MLP, который выводит распределение вероятностей по классам. В оригинальной статье используется сеть Linear- GeLU -linear-softmax.

Варианты

Оригинальный ВИТ

Архитектура Vision Transformer для классификации изображений

Трансформаторы нашли свое первоначальное применение в задачах обработки естественного языка , о чем свидетельствуют такие языковые модели, как BERT и GPT-3 . Напротив, типичная система обработки изображений использует сверточную нейронную сеть (CNN). Среди известных проектов — Xception, ResNet , EfficientNet, Плотная сеть, и Начало.

Трансформаторы измеряют отношения между парами входных токенов (слов в случае текстовых строк), называемые вниманием . Стоимость квадратична по количеству токенов. Для изображений основной единицей анализа является пиксель . Однако вычисление отношений для каждой пары пикселей в типичном изображении является непомерно трудным с точки зрения памяти и вычислений. Вместо этого ViT вычисляет отношения между пикселями в различных небольших участках изображения (например, 16x16 пикселей) при значительно меньших затратах. Разделы (с позиционными вложениями) располагаются последовательно. Вложения представляют собой обучаемые векторы. Каждый раздел упорядочивается в линейную последовательность и умножается на матрицу внедрения. Результат с вложением позиции подается на преобразователь.

Как и в случае с BERT , фундаментальную роль в задачах классификации играет токен класса. Специальный токен, который используется в качестве единственного входного сигнала для финальной головы MLP, поскольку на него повлияли все остальные.

Архитектура классификации изображений является наиболее распространенной и использует только преобразователь-кодер для преобразования различных входных токенов. Однако существуют и другие приложения, в которых также используется декодерная часть традиционной архитектуры трансформатора.

Маскированный автоэнкодер

В Masked Autoencoder есть два ViT, соединенных друг с другом. Первый принимает фрагменты изображения с позиционным кодированием и выводит векторы, представляющие каждый патч. Второй принимает векторы с позиционным кодированием и снова выводит фрагменты изображения. Во время обучения используются оба ViT. Изображение разрезается на патчи, и в первый ВИТ кладется только 25% патчей. Второй ViT принимает закодированные векторы и выводит реконструкцию полного изображения. Во время использования используется только первый ВиТ.

Свин-трансформатор

Swin Transformer (« Сдвинутые окна » ) черпает вдохновение из стандартных сверточных нейронных сетей:

• Вместо выполнения самообработки всей последовательности токенов, по одному для каждого патча, он выполняет самообладание на основе «смещенного окна», что означает выполнение внимания только над блоками патчей квадратной формы. Один блок патчей аналогичен рецептивному полю одной извилины.
• После каждых нескольких блоков внимания существует «слой слияния», который объединяет соседние токены 2x2 в один токен. Это аналогично объединению (по ядрам свертки 2x2 с шагом 2). Слияние означает конкатенацию с последующим умножением на матрицу.

Он улучшен Swin Transformer V2, который модифицирует ViT с помощью другого механизма внимания (рис. 1):

• Layernorm сразу после каждого уровня внимания и прямой связи («res-post-norm»);
• масштабированное косинусное внимание для замены исходного внимания скалярного произведения;
• с логарифмическим интервалом Непрерывное смещение относительного положения , что позволяет переносить обучение в разные разрешения окон.

ВиТ-ВКГАН

В ВиТ-ВКГАН, есть два энкодера ViT и дискриминатор. Каждый фрагмент изображения размером 8x8 кодируется в список векторов, по одному на каждый фрагмент. Векторы могут поступать только из дискретного набора «кодовой книги», как при векторном квантовании . Другой кодирует квантованные векторы обратно в фрагменты изображения. Цель обучения – сделать реконструкцию изображения (выходное изображение) точной входному изображению. Дискриминатор (обычно сверточная сеть, но допускаются и другие сети) пытается решить, является ли изображение исходным реальным изображением или изображением, реконструированным с помощью ViT.

Идея по существу такая же, как у векторного квантованного вариационного автоэнкодера (VQVAE) плюс генеративно-состязательная сеть (GAN).

После обучения такого ViT-VQGAN его можно использовать для кодирования произвольного изображения в список символов и кодирования произвольного списка символов в изображение. Список символов можно использовать для обучения стандартному авторегрессионному преобразователю (например, GPT) для авторегрессионной генерации изображения. Кроме того, можно взять список пар «подпись-изображение», преобразовать изображения в строки символов и обучить стандартный преобразователь в стиле GPT. Затем во время тестирования можно просто указать подпись к изображению и автоматически сгенерировать изображение. Это структура Google Parti.

со сверточными

Из-за обычно используемого (сравнительно) большого размера патча производительность ViT в большей степени зависит от решений, включая решения оптимизатора, гиперпараметры , специфичные для набора данных , и глубину сети, чем сверточные сети. Предварительная обработка со слоем перекрывающихся сверточных фильтров меньшего размера (шаг <размер) помогает повысить производительность и стабильность.

CNN преобразует базовый уровень пикселей в карту объектов. Токенизатор преобразует карту объектов в серию токенов, которые затем передаются в преобразователь, который применяет механизм внимания для создания серии выходных токенов. Наконец, проектор повторно подключает выходные токены к карте объектов. Последнее позволяет при анализе использовать потенциально важные детали на уровне пикселей. Это резко сокращает количество токенов, которые необходимо проанализировать, что соответственно снижает затраты.

Различий между CNN и Vision Transformers много, и они заключаются главным образом в их архитектурных различиях.

Фактически, CNN достигают отличных результатов даже при обучении на основе объемов данных, которые не так велики, как те, которые требуются Vision Transformers.

Такое различное поведение, по-видимому, проистекает из различных индуктивных предубеждений, которыми они обладают. Эти сети могут каким-то образом использовать ориентированную на фильтры архитектуру CNN для более быстрого понимания особенностей анализируемых изображений, даже если, с другой стороны, они в конечном итоге ограничивают их, усложняя понимание глобальных отношений.

С другой стороны, Vision Transformers обладают другим видом предвзятости к исследованию топологических отношений между патчами, что позволяет им улавливать также глобальные и более широкие отношения, но за счет более обременительного обучения с точки зрения данных.

Vision Transformers также оказались гораздо более устойчивыми к искажениям входного изображения, таким как состязательные пятна или перестановки.

Однако выбор одной архитектуры вместо другой не всегда является самым разумным выбором, и отличные результаты были получены в нескольких задачах компьютерного зрения с помощью гибридных архитектур, сочетающих сверточные слои с преобразователями зрения.

самостоятельного

Значительная потребность в данных на этапе обучения привела к необходимости поиска альтернативных методов обучения этих моделей, и центральную роль теперь играют методы самоконтроля . Используя эти подходы, можно обучать нейронную сеть практически автономно, позволяя ей выявлять особенности конкретной проблемы без необходимости создавать большой набор данных или снабжать его точно присвоенными метками. Возможность обучать Vision Transformer без необходимости иметь в своем распоряжении огромный набор видеоданных может стать ключом к широкому распространению этой многообещающей новой архитектуры.

Приложения

Vision Transformers использовались во многих задачах компьютерного зрения и давали отличные результаты, а в некоторых случаях даже были самыми современными.

Среди наиболее актуальных областей применения можно выделить:

• Классификация изображений
• Обнаружение объектов
• Обнаружение видео-дипфейков
• Сегментация изображений
• Обнаружение аномалий
• Синтез изображений
• Кластерный анализ
• Автономное вождение

Алгоритмы на основе Vision Transformer, такие как DINO ( самодистилляция без меток ) также демонстрируют многообещающие свойства в наборах биологических данных, таких как изображения, созданные с помощью анализа Cell Painting . Было продемонстрировано, что DINO изучает представления изображений, которые можно использовать для кластеризации изображений и исследования морфологических профилей в пространстве признаков.

См. также

• Трансформатор (модель машинного обучения)
• Внимание (машинное обучение)
• Воспринимающий
• Глубокое обучение
• PyTorch
• Тензорфлоу