Капсульная нейронная сеть

Капсульная нейронная сеть ( CapsNet ) — это система машинного обучения, которая представляет собой тип искусственной нейронной сети (ИНС), которую можно использовать для лучшего моделирования иерархических отношений. Этот подход представляет собой попытку более точно имитировать биологическую нейронную организацию.

Идея состоит в том, чтобы добавить структуры, называемые «капсулами», в сверточную нейронную сеть (CNN) и повторно использовать выходные данные нескольких из этих капсул для формирования более стабильных (по отношению к различным возмущениям) представлений для более высоких капсул. Выходными данными является вектор, состоящий из вероятности наблюдения и положения для этого наблюдения . Этот вектор аналогичен тому, что делается, например, при классификации с локализацией в CNN.

Помимо других преимуществ, сети capsnet решают «проблему Пикассо» при распознавании изображений: изображения, которые имеют все нужные части, но не находятся в правильном пространственном отношении (например, в «лице» положение рта и одного глаза меняется местами). ). Для распознавания изображений Capsnet используют тот факт, что, хотя изменения точки обзора имеют нелинейный эффект на уровне пикселей, они имеют линейный эффект на уровне детали/объекта. Это можно сравнить с инвертированием рендеринга объекта, состоящего из нескольких частей.

История

В 2000 году Джеффри Хинтон и др. описал систему визуализации, которая объединила сегментацию и распознавание в единый процесс вывода с использованием деревьев синтаксического анализа . Так называемые сети достоверности описывали совместное распределение по скрытым переменным и по возможным деревьям разбора. Эта система оказалась полезной в базе данных рукописных цифр MNIST .

Механизм динамической маршрутизации для капсульных сетей был представлен Хинтоном и его командой в 2017 году. Утверждалось, что этот подход снижает частоту ошибок в MNIST и уменьшает размеры обучающего набора. Утверждалось, что результаты значительно лучше, чем у CNN для сильно перекрывающихся цифр.

В первоначальной идее Хинтона один мини-столбец должен был представлять и обнаруживать один многомерный объект.

Преобразования

Инвариант — это свойство объекта, которое не изменяется в результате какого-либо преобразования. Например, площадь круга не изменится, если круг сместить влево.

Неформально эквивариант — это свойство, которое предсказуемо изменяется при трансформации. Например, центр круга перемещается на ту же величину, что и сам круг при смещении.

Неэквивариант — это свойство, значение которого не меняется предсказуемым образом при преобразовании. Например, преобразование круга в эллипс означает, что его периметр больше не может быть вычислен как произведение диаметра в π.

В компьютерном зрении ожидается, что класс объекта будет инвариантом для многих преобразований. Т. е. кошка все равно остается кошкой, если ее сместили, перевернули или уменьшили в размерах. Однако многие другие свойства вместо этого являются эквивариантными. Объем кошки меняется при ее масштабировании.

Эквивариантные свойства, такие как пространственные отношения, фиксируются в позе , масштаб и отражение объекта , данных, которые описывают перемещение , вращение . Трансляция — это изменение местоположения в одном или нескольких измерениях. Ротация – это изменение ориентации. Масштаб – это изменение размера. Отражение – это зеркальное отражение.

Неконтролируемые сети изучают глобальное линейное многообразие между объектом и его положением как матрицу весов. Другими словами, капснеты могут идентифицировать объект независимо от его положения, вместо того, чтобы учиться распознавать объект, включая его пространственные отношения как часть объекта. В капснетах поза может включать в себя свойства, отличные от пространственных отношений, например, цвет (кошки могут быть разного цвета).

Умножение объекта на многообразие помещает объект (для объекта в пространство).

Объединение

Сети Capsnet отвергают стратегию уровня пула обычных CNN, которая уменьшает количество деталей, подлежащих обработке на следующем более высоком уровне. Объединение в пул обеспечивает определенную степень трансляционной инвариантности (он может распознавать один и тот же объект в несколько другом месте) и позволяет представлять большее количество типов объектов. Сторонники Capsnet утверждают, что объединение в пул:

• нарушает биологическое восприятие формы, поскольку не имеет собственной системы координат;
• обеспечивает инвариантность (отбрасывание позиционной информации) вместо эквивариантности (распутывание этой информации);
• игнорирует линейное многообразие, лежащее в основе множества вариаций изображений;
• маршрутизирует статически вместо того, чтобы сообщать о потенциальной «находке» функции, которая может ее оценить;
• повреждает близлежащие детекторы функций, удаляя информацию, на которую они полагаются.

Капсулы

Капсула — это набор нейронов, которые индивидуально активируются для различных свойств типа объекта, таких как положение, размер и оттенок. Формально капсула представляет собой набор нейронов, которые совместно создают вектор активности с одним элементом для каждого нейрона, который хранит значение экземпляра этого нейрона (например, оттенок). Графические программы используют значение экземпляра для рисования объекта. Capsnets пытаются получить их из своих входных данных. Вероятность присутствия объекта в определенных входных данных — это длина вектора, а ориентация вектора определяет количественные свойства капсулы.

Искусственные нейроны традиционно выдают скалярную активацию с действительным значением, которая в общих чертах представляет вероятность наблюдения. Capsnet заменяют детекторы функций скалярного вывода капсулами векторного вывода, а максимальное объединение в пул — маршрутизацией по соглашению.

Поскольку капсулы независимы, при согласовании нескольких капсул вероятность правильного обнаружения намного выше. Минимальная группа из двух капсул, рассматривающая шестимерную сущность, случайно совпадет с точностью до 10% только один раз из миллиона испытаний. По мере увеличения количества измерений вероятность случайного соглашения в более крупном кластере с более высокими измерениями уменьшается экспоненциально.

Капсулы на более высоких уровнях принимают выходные данные от капсул на более низких уровнях и принимают те, чьи выходные данные кластеризуются. Кластер заставляет высшую капсулу выводить высокую вероятность наблюдения присутствия сущности, а также выводить высокомерную (20-50+) позу.

Капсулы более высокого уровня игнорируют выбросы, концентрируясь на кластерах. Это похоже на преобразование Хафа , RHT и RANSAC из классической цифровой обработки изображений .

Маршрутизация по договоренности

Выходные данные из одной капсулы (дочерней) направляются в капсулы следующего слоя (родительского) в соответствии со способностью ребенка прогнозировать выходные данные родителей. В течение нескольких итераций результаты каждого родителя могут совпадать с предсказаниями одних детей и отличаться от прогнозов других, что означает, что этот родитель присутствует или отсутствует на сцене.

Для каждого возможного родителя каждый дочерний элемент вычисляет вектор прогнозирования, умножая его выходные данные на матрицу весов (обученную методом обратного распространения ошибки ). Затем выходные данные родителя вычисляются как скалярное произведение прогноза с коэффициентом, представляющим вероятность того, что этот дочерний элемент принадлежит этому родителю. Ребенок, чьи прогнозы относительно близки к полученному результату, последовательно увеличивает коэффициент между этим родителем и ребенком и уменьшает его для родителей, которым он соответствует менее хорошо. Это увеличивает вклад, который этот дочерний элемент вносит в родительский, тем самым увеличивая скалярное произведение предсказания капсулы на выходные данные родителя. После нескольких итераций коэффициенты прочно связывают родителя с его наиболее вероятными дочерними элементами, указывая на то, что присутствие дочерних элементов подразумевает присутствие родителя в сцене. Чем больше детей, чьи прогнозы близки к результатам родителей, тем быстрее растут коэффициенты, что способствует сходимости. Поза родителя (отраженная в его выводе) постепенно становится совместимой с позицией его дочерних элементов.

Начальные логиты коэффициентов представляют собой лог априорных вероятностей того, что дочерний элемент принадлежит родителю. Априорные значения можно обучать дискриминационно вместе с весами. Приоритеты зависят от местоположения и типа дочерней и родительской капсул, но не от текущего ввода. На каждой итерации коэффициенты корректируются с помощью softmax «маршрутизации» , так что они продолжают суммироваться до 1 (чтобы выразить вероятность того, что данная капсула является родителем данного дочернего элемента). Softmax усиливает большие значения и уменьшает меньшие значения за пределы их. доля от общего количества. Аналогичным образом, вероятность присутствия признака во входных данных преувеличивается нелинейной функцией «сжатия», которая уменьшает значения (меньшие значения резко, а большие — меньше 1).

Этот механизм динамической маршрутизации обеспечивает необходимое исключение альтернатив («объяснение»), необходимое для сегментации перекрывающихся объектов.

Эта выученная маршрутизация сигналов не имеет четкого биологического эквивалента. Некоторые операции можно встретить в корковых слоях, но они, похоже, не относятся к этой методике.

Математика/код

Вектор позы ${\textstyle \mathbf {u} _{i}}$ вращается и транслируется матрицей ${\textstyle \mathbf {W} _{ij}}$ в вектор ${\textstyle \mathbf {\hat {u}} _{j|i}}$ который предсказывает выход родительской капсулы.

$$\mathbf {\hat {u}} _{j|i}=\mathbf {W} _{ij}\mathbf {u} _{i}$$

Капсулы ${\textstyle s_{j}}$ на следующий более высокий уровень подается сумма прогнозов от всех капсул нижнего уровня, каждая из которых имеет коэффициент связи. ${\textstyle c_{ij}}$

$$s_{j}=\sum {c_{ij}\mathbf {\hat {u}} _{j|i}}$$

Процедура софтмакс

Коэффициенты связи из капсулы ${\textstyle i}$ в слое ${\textstyle l}$ ко всем капсулам в слое ${\textstyle l+1}$ сумма равна единице и определяется «маршрутизацией softmax ». Начальные логиты ${\textstyle b_{ij}}$ — априорные вероятности журнала для маршрутизации. Это априорная вероятность того, что капсула ${\textstyle i}$ в слое ${\textstyle l}$ должен подключаться к капсуле ${\textstyle j}$ в слое ${\textstyle l+1}$. Нормализация коэффициентов связи:

$${\begin{array}{lcl}1:\mathbf {procedure} ~\mathrm {softmax} (\mathbf {b} ,i)\\2:\quad \triangleright {\mbox{argument matrix}}\\3:\quad \triangleright {\mbox{argument scalar}}\\4:\quad \triangleright {\mbox{memorize on}}~\mathbf {b} \\5:\quad \triangleright {\mbox{return vector}}\\6:\quad \mathbf {foreach} ~{\mbox{index}}~i,j~\mathbf {do} \\7:\qquad c_{ij}\leftarrow {\frac {e^{b_{ij}}}{\sum _{k}{e^{b_{ik}}}}}\\8:\quad \mathbf {return} ~\mathbf {c} _{i}\\\end{array}}$$

Чтобы эта процедура была оптимальной, необходимо запомнить несколько значений и сбрасывать эти значения на каждой итерации. Это если вектор $\mathbf {b}$ изменения, то запомненные значения необходимо обновить. Не показано, как это должно быть сделано. Никакого запоминания делителя не показано.

Процедура сквоша

Поскольку длина векторов представляет собой вероятность, она должна быть между нулем и единицей, и для этого применяется функция сжатия:

$${\begin{array}{lcl}1:\mathbf {procedure} ~\mathrm {squash} (\mathbf {a} )\\2:\quad \triangleright {\mbox{argument vector}}\\2:\quad \triangleright {\mbox{return vector}}\\3:\qquad \mathbf {a} \leftarrow {\frac {\|\mathbf {a} \|^{2}}{1+\|\mathbf {a} \|^{2}}}{\frac {\mathbf {a} }{\|\mathbf {a} \|}}\\4:\quad \mathbf {return} ~\mathbf {a} \\\end{array}}$$

Вектор, сжатый до нуля, имеет исчезающий градиент.

Маршрутизация процедур

Один из подходов к маршрутизации заключается в следующем.

$${\begin{array}{lcl}~~1:\mathbf {procedure} ~\mathrm {routing} (\mathbf {\hat {u}} _{j|i},r,l)\\~~2:\quad \triangleright {\mbox{argument vector}}\\~~3:\quad \triangleright {\mbox{argument scalar}}\\~~4:\quad \triangleright {\mbox{argument scalar}}\\~~5:\quad \triangleright {\mbox{return vector}}\\~~6:\quad \mathbf {foreach} ~{\mbox{capsule}}~i~{\mbox{in layer}}~l,~{\mbox{capsule}}~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~b_{ij}\leftarrow 0\\~~7:\quad \mathbf {for} ~{\mbox{iteration}}~r~\mathbf {do} \\~~8:\qquad \mathbf {foreach} ~{\mbox{capsule}}~i~{\mbox{in layer}}~l~\mathbf {do} ~\mathbf {c} _{i}\leftarrow \operatorname {softmax} (\mathbf {b} ,i)\\~~9:\qquad \mathbf {foreach} ~{\mbox{capsule}}~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~\mathbf {s} _{j}\leftarrow \sum _{i}{c_{ij}\mathbf {\hat {u}} _{j|i}}\\10:\qquad \mathbf {foreach} ~{\mbox{capsule}}~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~\mathbf {v} _{j}\leftarrow \operatorname {squash} (\mathbf {s} _{j})\\11:\qquad \mathbf {foreach} ~{\mbox{capsule}}~i~{\mbox{in layer}}~l,~j~{\mbox{in layer}}~(l+1)~\mathbf {do} ~\mathbf {b} _{ij}\leftarrow \mathbf {b} _{ij}+\mathbf {\hat {u}} _{j|i}\cdot \mathbf {v} _{j}\\12:\quad \mathbf {return} ~\mathbf {v} _{j}\\\end{array}}$$

В строке 8 функцию softmax можно заменить на любой тип сети, в которой победитель получает все . Биологически это чем-то напоминает клетки-люстры , но они также могут участвовать в расчете коэффициентов связи (строка 9) или расчете соглашений (строка 11).

В строке 9 показаны весовая матрица коэффициентов связи и скрытая матрица прогнозирования. Структура слоев I и II несколько похожа на структуру коры головного мозга, если предположить, что звездчатые клетки участвуют в транспонировании входных векторов. Неясно, выполняют ли оба типа звездчатых клеток одну и ту же функцию, поскольку слой I содержит возбуждающие шиповидные клетки, а слой II имеет тормозные шиповидные клетки. Последнее указывает на совершенно другую сеть.

В строке 10 функцию сквош можно заменить другими функциями и топологиями сети, сохраняющими направление вектора.

Процедура проводит ${\textstyle r}$ итераций, обычно 4–5, с ${\textstyle l}$ индекс исходного слоя капсулы или основного уровня, откуда идет маршрутизация , и уровень капсулы ${\textstyle l+1}$ следующий более высокий слой.

Обучение

Обучение проходит под контролем . Сеть обучается путем минимизации евклидова расстояния между изображением и выходными данными CNN, которая восстанавливает входные данные на основе выходных данных терминальных капсул.

Сеть обучается дискриминационно с использованием итеративной маршрутизации по соглашению.

Векторы активности всех родителей, кроме правильного, маскируются.

Потеря маржи

Длина вектора реализации представляет вероятность присутствия объекта капсулы в сцене. Капсула верхнего уровня имеет длинный вектор тогда и только тогда, когда присутствует связанный с ней объект. Чтобы учесть несколько сущностей, отдельная потеря маржи для каждой капсулы рассчитывается . Уменьшение веса потерь для отсутствующих сущностей не позволяет обучению сокращать длину векторов активности для всех сущностей. Общий убыток представляет собой сумму убытков всех субъектов. В примере Хинтона функция потерь следующая: $${\begin{aligned}L_{k}&=\underbrace {T_{k}~{\max \left(0,m^{+}-\|\mathbf {v} _{k}\|\right)}^{2}} _{\mbox{class present}}+\underbrace {\lambda \left(1-T_{k}\right)~{\max \left(0,\|\mathbf {v} _{k}\|-m^{-}\right)}^{2}} _{\mbox{class not present}},&T_{k}={\begin{cases}1,&{\mbox{digit of class}}~k~{\mbox{present}}\\0,&{\mbox{otherwise}}\\\end{cases}}\end{aligned}}$$

Этот тип функции потерь распространен в ИНС. Параметры ${\textstyle m^{+}}$ и ${\textstyle m^{-}}$ установлены таким образом, чтобы длина не превышала максимум и не сжималась, ${\textstyle m^{+}=0.9}$ и ${\textstyle m^{-}=0.1}$. Понижение начальных весов для отсутствующих классов контролируется ${\textstyle \lambda }$, с ${\textstyle \lambda =0.5}$ как разумный выбор.

Потери на реконструкцию

Дополнительные потери при реконструкции побуждают объекты кодировать параметры создания экземпляров своих входов. Окончательный вектор активности затем используется для восстановления входного изображения через декодер CNN, состоящий из 3 полностью связанных слоев. Реконструкция минимизирует сумму квадратов разностей между выходными данными логистических единиц и интенсивностями пикселей. Эти потери при реконструкции уменьшаются на 0,0005, чтобы они не доминировали над потерями запаса во время обучения.

Пример конфигурации

Первые сверточные слои выполняют извлечение признаков. Для теста изображения MNIST размером 28x28 пикселей исходные 256 размером 9x9 пикселей сверточных ядер (с использованием шага 1 и активации выпрямленной линейной единицы 20x20 (ReLU), определяющих рецептивные поля ) преобразуют входные пиксели в активации 1D-функций и вызывают нелинейность.

Первичный (самый нижний) слой капсул делит 256 ядер на 32 капсулы по 8 ядер размером 9x9 в каждой (с использованием шага 2, определяющего рецептивные поля 6x6). Активации капсулы эффективно инвертируют процесс рендеринга графики, переходя от пикселей к функциям. Каждая капсула использует единую весовую матрицу для всех рецептивных полей. Каждая первичная капсула видит все выходные данные нижнего уровня, поля которых перекрываются с центром поля первичного слоя. Выходные данные каждой первичной капсулы (для конкретного поля) представляют собой 8-мерный вектор.

Второй слой капсул цифр содержит одну 16-мерную капсулу для каждой цифры (0–9). Динамическая маршрутизация соединяет (только) первичный уровень и уровень цифровой капсулы. Матрица весов [32x6x6] x 10 управляет сопоставлением между слоями.

Сети Capsnet являются иерархическими, поскольку каждая капсула более низкого уровня вносит значительный вклад только в одну капсулу более высокого уровня.

Однако копирование полученных знаний остается ценным. Для достижения этой цели нижние слои capsnet являются сверточными , включая скрытые слои капсулы. Таким образом, более высокие слои охватывают более крупные области, сохраняя при этом информацию о точном положении каждого объекта внутри региона. Для капсул низкого уровня информация о местоположении «закодирована» в соответствии с тем, какая капсула активна. Выше все больше и больше позиционной информации кодируется в выходном векторе капсулы. Этот переход от кодирования места к кодированию скорости в сочетании с тем фактом, что капсулы более высокого уровня представляют собой более сложные объекты с большим количеством степеней свободы, предполагает, что размерность капсулы увеличивается с уровнем.

Человеческое видение

Человеческое зрение исследует последовательность фокусных точек (направленных саккадами ), обрабатывая лишь часть сцены с самым высоким разрешением. Capsnets основаны на корковых миниколонках (также называемых кортикальными микроколоннами) в коре головного мозга . Миниколонка представляет собой структуру, содержащую 80–120 нейронов диаметром около 28–40 мкм, охватывающую все слои коры головного мозга. Все нейроны в более крупных миниколонках имеют одинаковое рецептивное поле и выдают свои активации в виде потенциалов действия или спайков. Нейроны внутри микроколонки получают общие входные данные, имеют общие выходные данные, взаимосвязаны и могут составлять фундаментальную вычислительную единицу коры головного мозга .

Capsnets исследуют интуитивное понимание того, что зрительная система человека создает древовидную структуру для каждой точки фокусировки и координирует эти деревья для распознавания объектов. Однако с помощью capsnet каждое дерево «вырезается» из фиксированной сети (путем корректировки коэффициентов), а не собирается на лету.

Альтернативы

Утверждается, что CapsNets имеет четыре основных концептуальных преимущества перед сверточными нейронными сетями (CNN):

• Инвариантность точки зрения: использование матриц поз позволяет капсульным сетям распознавать объекты независимо от точки зрения, с которой они рассматриваются.
• Меньше параметров: поскольку капсулы группируют нейроны, связи между слоями требуют меньше параметров.
• Лучшее обобщение для новых точек зрения: CNN, обученные понимать вращения, часто узнают, что объект можно рассматривать одинаково при нескольких разных вращениях. Однако капсульные сети лучше обобщают новые точки зрения, поскольку матрицы поз могут фиксировать эти характеристики в виде линейных преобразований.
• Защита от состязательных атак «белого ящика»: метод знаков быстрого градиента (FGSM) является типичным методом атаки на CNN. Он оценивает градиент каждого пикселя относительно потерь сети и изменяет каждый пиксель не более чем на эпсилон (член ошибки), чтобы максимизировать потери. Хотя этот метод может резко снизить точность CNN (например, ниже 20%), капсульные сети сохраняют точность выше 70%.

Чисто сверточные сети не могут обобщать необученные точки зрения (кроме перевода). Для других аффинных преобразований либо детекторы признаков должны повторяться в сетке, которая растет экспоненциально с количеством измерений преобразования, либо размер помеченного обучающего набора должен (экспоненциально) расширяться, чтобы охватить эти точки зрения. Эти экспоненциальные взрывы делают их непригодными для решения более серьезных задач.

Матрицы преобразования Capsnet изучают (независимые от точки зрения) пространственные отношения между частью и целым, позволяя распознавать последнее на основе таких отношений. Однако сети capsnet предполагают, что в каждом месте отображается не более одного экземпляра объекта капсулы. Это предположение позволяет капсуле использовать распределенное представление (вектор активности) объекта для представления этого объекта в этом месте.

Capsnet использует нейронную активность, которая варьируется в зависимости от точки зрения. Им не нужно нормализовать объекты (как в сетях пространственных преобразователей ) и они могут даже распознавать многократно преобразованные объекты. Capsnets также может обрабатывать сегментированные объекты.

См. также

• Сверточная нейронная сеть
• Джеффри Хинтон
• база данных МНИСТ

Внешние ссылки

• Реализация сети капсул в PyTorch, исправление нескольких ошибок в предыдущих реализациях , 16 апреля 2018 г. , получено 16 апреля 2018 г.
• Код Pytorch: Capsule Routing via Variational Bayes , февраль 2020 г. , получено 23 октября 2020 г.
• Реализация PyTorch статьи NIPS 2017 «Динамическая маршрутизация между капсулами» , Gram.AI, 08 декабря 2017 г. , получено 8 декабря 2017 г.
• Что не так со сверточными нейронными сетями на YouTube
• «Глубокое обучение» . www.cedar.buffalo.edu . Проверено 7 декабря 2017 г.
• Бурдакос, Ник (12 февраля 2018 г.). «Понимание капсульных сетей — привлекательная новая архитектура искусственного интеллекта» . freeCodeCamp.org . Проверено 23 апреля 2019 г.
• Ху, Хань, Ичэн (17 марта Дай, Цзифэн; Сюн, Ювэнь ; 2017 г. Чжан, Годун ; ) .
• Де Брабандер, Берт; Цзя, Сюй; Туителаарс, Тинне; Ван Гул, Люк (31 мая 2016 г.). «Динамические фильтрационные сети». arXiv : 1605.09673 [ cs.LG ].
• Го, Сифэн (08 декабря 2017 г.), CapsNet-Keras: реализация CapsNet в Keras в статье NIPS2017 «Динамическая маршрутизация между капсулами». Теперь ошибка теста ＝ 0,34%. , получено 8 декабря 2017 г.
• Хинтон, Джеффри; Сабур, Сара; Фрост, Николас (ноябрь 2017 г.). «МАТРИЧНЫЕ КАПСУЛЫ С ЭМ МАРШРУТИЕЙ» .
• Хинтон и Google Brain – Capsule Networks на YouTube
• Ляо, Хуадун (08 декабря 2017 г.), CapsNet-Tensorflow: реализация CapsNet (Capsules Net) в Tensorflow в статье Хинтона «Динамическая маршрутизация между капсулами» , получено 8 декабря 2017 г.
• Цай, Фангюй (18 декабря 2020 г.). « Мы можем это сделать» — Джеффри Хинтон и команда UBC, UT, Google и UVic предлагают неконтролируемую капсулу…» Medium . Проверено 18 января 2021 г.
• Сунь, Вэйвэй; Тальясакки, Андреа; Дэн, Боян; Сабур, Сара; Яздани, Соруш; Хинтон, Джеффри; Йи, Кван Му (08 декабря 2020 г.). «Канонические капсулы: капсулы без присмотра в канонической позе». arXiv : 2012.04718 [ cs.CV ].