Топологическое глубокое обучение

Топологическое машинное обучение (TML) — это область исследований, расположенная на стыке вычислительной топологии и машинного обучения . В отличие от многих других методов машинного обучения , методы TML предлагают единую перспективу, которая позволяет изучать различные виды данных, включая облака точек , сетки , временные ряды , скалярные поля (например, изображения ), графики или общие топологические пространства, такие как симплициальные комплексы и Комплексы ХО .

Особого внимания заслуживает ветвь топологического машинного обучения — топологическое глубокое обучение (TDL) . Точно так же, как методы глубокого обучения устраняют необходимость в явном проектировании признаков , методы TDL могут изучать представления для конкретных задач на основе входных данных. Более того, методы TDL можно использовать модульным образом, например, в качестве слоев глубокой нейронной сети, что обеспечивает их плавную интеграцию в существующие глубокого обучения . архитектуры моделей TDL также включает в себя методы вычислительной и алгебраической топологии , которые позволяют изучать свойства нейронных сетей и их процесса обучения, такие как их прогнозирующая производительность или свойства обобщения.

История и мотивация

Традиционные методы глубокого обучения часто работают в предположении, что набор данных находится в высокоструктурированном пространстве (например, в изображениях , где сверточные нейронные сети демонстрируют выдающуюся производительность по сравнению с альтернативными методами) или евклидовом пространстве . Распространение новых типов данных, в частности графов , сеток и молекул , привело к разработке новых методов, кульминацией которых стала область геометрического глубокого обучения , которая изначально предлагала перспективу обработки сигналов для обработки таких типов данных. Первоначально ограничиваясь графами, где связность определяется на основе узлов и ребер, последующая работа расширила концепции на более широкий спектр типов данных, включая симплициальные комплексы. и комплексы ХО , с недавней работой, предлагающей единый взгляд на передачу сообщений в общих комбинаторных комплексах.

Независимый взгляд на различные типы данных возник в результате топологического анализа данных , который предложил новую структуру для описания структурной информации данных, то есть их «формы», которая по своей сути учитывает множество масштабов данных, начиная от локальной информации до глобальной информации. . Хотя сначала они ограничивались меньшими наборами данных, в последующей работе были разработаны новые дескрипторы, которые эффективно суммировали топологическую информацию наборов данных, чтобы сделать их доступными для традиционных методов машинного обучения, таких как машины опорных векторов или случайные леса . Такие дескрипторы варьировались от новых методов проектирования признаков до новых способов предоставления подходящих координат для топологических дескрипторов. или создание более эффективных мер по устранению различий .

Современные исследования в этой области в основном связаны либо с интеграцией информации о базовой топологии данных в существующие модели глубокого обучения , либо с поиском новых способов обучения в топологических областях.

Введение в топологические области

Одной из основных концепций топологического глубокого обучения является область, в которой определяются и поддерживаются эти данные. В случае евклидовых данных, таких как изображения, этот домен представляет собой сетку, на которой поддерживается значение пикселя изображения. В более общей ситуации этот домен может быть топологическим доменом . Далее мы представляем наиболее распространенные топологические области, которые встречаются в условиях глубокого обучения. Эти области включают, помимо прочего, графы, симплициальные комплексы, клеточные комплексы, комбинаторные комплексы и гиперграфы.

Учитывая конечное множество S абстрактных сущностей, функция окрестности ${\mathcal {N}}$ на S — это присваивание, которое привязывается к каждой точке $x$ в S подмножество S или отношение . Такую функцию можно индуцировать, снабдив S структурой вспомогательной . Ребра предоставляют один из способов определения отношений между сущностями S . Более конкретно, ребра в графе позволяют определить понятие соседства, используя, например, понятие соседства с одним переходом. Однако возможности моделирования ребер ограничены, поскольку их можно использовать только для моделирования бинарных отношений между объектами S, поскольку каждое ребро обычно связано с двумя объектами. Во многих приложениях желательно разрешить отношения, включающие более двух объектов. Идея использования отношений, включающих более двух сущностей, занимает центральное место в топологических областях. Такие отношения более высокого порядка позволяют определить более широкий диапазон функций соседства на S, чтобы фиксировать многосторонние взаимодействия между объектами S .

Далее мы рассмотрим основные свойства, преимущества и недостатки некоторых часто изучаемых топологических областей в контексте глубокого обучения, включая (абстрактные) симплициальные комплексы, регулярные клеточные комплексы, гиперграфы и комбинаторные комплексы.

(a): Группа S состоит из базовых частей (вершин) без каких-либо связей. (b): Граф представляет простые связи между его частями (вершинами), которые являются элементами S. (c): Симплициальный комплекс показывает способ соединения частей (отношений) друг с другом, но со строгими правилами относительно того, как они связаны. (d): Как и симплициальные комплексы, клеточный комплекс показывает, как части (отношения) связаны, но он более гибок в том, как они связаны. меняют форму (как «ячейки»). (f): Гиперграф показывает любые связи между частями S, но эти связи не организованы в каком-либо определенном порядке. (e): CC смешивает элементы из клеточных комплексов (связи с порядком) и гиперграфы (различные связи), охватывающие оба типа установок.

Сравнение топологических областей

Каждая из перечисленных топологических областей имеет свои особенности, преимущества и ограничения:

• Симплициальные комплексы
  • Простейшая форма доменов высшего порядка.
  • Расширения графовых моделей.
  • Допустите иерархические структуры, что сделает их пригодными для различных приложений.
  • Теорию Ходжа можно естественным образом определить на симплициальных комплексах.
  • Требовать, чтобы отношения были подмножествами более крупных отношений, что накладывает ограничения на структуру.

• Клеточные комплексы
  • Обобщите симплициальные комплексы.
  • Обеспечьте большую гибкость в определении отношений более высокого порядка.
  • Каждая клетка клеточного комплекса гомеоморфна открытому шару, соединенному между собой посредством прикрепления карт.
  • Граничные клетки каждой клетки клеточного комплекса также являются клетками комплекса.
  • Представлено комбинаторно через матрицы инцидентности.

• Гиперграфики
  • Разрешить произвольные отношения типа множества между сущностями.
  • Отношения не навязываются другими отношениями, что обеспечивает большую гибкость.
  • Не кодируйте явно размерность ячеек или отношений.
  • Полезно, когда отношения в данных не подчиняются ограничениям, налагаемым другими моделями, такими как симплициальные и клеточные комплексы.

• Комбинаторные комплексы :
  • Обобщите и ликвидируйте пробелы между симплициальными комплексами, клеточными комплексами и гиперграфами.
  • Разрешить иерархические структуры и отношения типа множества.
  • Объедините функции других комплексов, обеспечивая при этом большую гибкость при моделировании отношений.
  • Могут быть представлены комбинаторно, подобно клеточным комплексам.

Иерархическая структура и отношения типа множества

Свойства симплициальных комплексов, клеточных комплексов и гиперграфов порождают две основные особенности отношений в областях более высокого порядка, а именно иерархию отношений и отношения множественного типа.

Функция ранга

Функция ранга в области высшего порядка X — это функция, сохраняющая порядок rk : X → Z , где rk ( x ) присваивает неотрицательное целочисленное значение каждому отношению x в X , сохраняя включение множества в X . Клеточные и симплициальные комплексы являются распространенными примерами областей высшего порядка, оснащенных функциями ранга и, следовательно, иерархиями отношений.

Отношения типа множества

Отношения в области более высокого порядка называются отношениями множественного типа, если существование отношения не подразумевается другим отношением в области. Гиперграфы представляют собой примеры областей высшего порядка, оснащенных отношениями типа множества. Учитывая ограничения моделирования симплициальных комплексов, клеточных комплексов и гиперграфов, мы разрабатываем комбинаторный комплекс, область более высокого порядка, которая включает в себя как иерархии отношений, так и отношения множественного типа.

Изучение топологических пространств

Задачи обучения в топологических областях можно разделить на три категории: классификация ячеек, прогнозирование ячеек и комплексная классификация. .

Задачи обучения в TDL можно разделить на три категории:

• Классификация ячеек : прогнозирование целей для каждой ячейки в комплексе. Примеры включают сегментацию треугольной сетки, где задача состоит в том, чтобы предсказать класс каждой грани или края в данной сетке.
• Сложная классификация : прогнозирование целей для всего комплекса. Например, предскажите класс каждой входной сетки.
• Предсказание ячейки : предскажите свойства межклеточных взаимодействий в комплексе и, в некоторых случаях, предскажите, существует ли ячейка в комплексе. Примером может служить прогнозирование связей между сущностями в гиперребрах гиперграфа.

На практике для решения вышеупомянутых задач необходимо построить и реализовать модели глубокого обучения, предназначенные для конкретных топологических пространств. Эти модели, известные как топологические нейронные сети, созданы для эффективной работы в этих пространствах.

Топологические нейронные сети

Центральное место в TDL занимают топологические нейронные сети (TNN) , специализированные архитектуры, предназначенные для работы с данными, структурированными в топологических доменах. В отличие от традиционных нейронных сетей, предназначенных для сетчатых структур, TNN способны обрабатывать более сложные представления данных, такие как графы, симплициальные комплексы и комплексы ячеек. Используя внутреннюю топологию данных, TNN могут фиксировать как локальные, так и глобальные взаимосвязи, обеспечивая детальный анализ и интерпретацию.

Топологические нейронные сети передачи сообщений

В общей топологической области передача сообщений более высокого порядка включает обмен сообщениями между объектами и ячейками с использованием набора функций соседства.

Определение: передача сообщений высшего порядка в общей топологической области.

Передача сообщений более высокого порядка — это модель глубокого обучения, определенная в топологической области и основанная на информации о передаче сообщений между объектами в базовом домене для выполнения задачи обучения. .

Позволять ${\mathcal {X}}$ быть топологической областью. Определим набор функций окрестности ${\mathcal {N}}=\{{\mathcal {N}}_{1},\ldots ,{\mathcal {N}}_{n}\}$ на ${\mathcal {X}}$. Рассмотрим ячейку $x$ и пусть $y\in {\mathcal {N}}_{k}(x)$ для некоторых ${\mathcal {N}}_{k}\in {\mathcal {N}}$. Сообщение ​ $m_{x,y}$ между клетками $x$ и $y$ — это вычисление, зависящее от этих двух ячеек или данных, содержащихся в них. Обозначим ${\mathcal {N}}(x)$ как мультисет $\{\!\!\{{\mathcal {N}}_{1}(x),\ldots ,{\mathcal {N}}_{n}(x)\}\!\!\}$, и пусть $\mathbf {h} _{x}^{(l)}$ представляют некоторые данные, поддерживаемые в ячейке $x$ на слое $l$. сообщения высшего порядка Передача ${\mathcal {X}}$, вызванный ${\mathcal {N}}$, определяется следующими четырьмя правилами обновления:

1. $m_{x,y}=\alpha _{{\mathcal {N}}_{k}}(\mathbf {h} _{x}^{(l)},\mathbf {h} _{y}^{(l)})$
2. $m_{x}^{k}=\bigoplus _{y\in {\mathcal {N}}_{k}(x)}m_{x,y}$, где $\bigoplus$ — функция агрегирования внутри соседства.
3. $m_{x}=\bigotimes _{{\mathcal {N}}_{k}\in {\mathcal {N}}}m_{x}^{k}$, где $\bigotimes$ — функция агрегирования между районами.
4. $\mathbf {h} _{x}^{(l+1)}=\beta (\mathbf {h} _{x}^{(l)},m_{x})$, где $\alpha _{{\mathcal {N}}_{k}},\beta$ являются дифференцируемыми функциями.

Некоторые замечания по приведенному выше определению заключаются в следующем.

Во-первых, уравнение 1 описывает, как сообщения вычисляются между ячейками. $x$ и $y$. Сообщение $m_{x,y}$ влияют как данные $\mathbf {h} _{x}^{(l)}$ и $\mathbf {h} _{y}^{(l)}$ связанный с клетками $x$ и $y$, соответственно. Кроме того, он включает в себя характеристики, специфичные для самих клеток, такие как ориентация в случае клеточных комплексов. Это обеспечивает более богатое представление пространственных отношений по сравнению с традиционными системами передачи сообщений на основе графов.

Во-вторых, уравнение 2 определяет, как сообщения из соседних ячеек агрегируются внутри каждого района. Функция $\bigoplus$ объединяет эти сообщения, позволяя эффективно обмениваться информацией между соседними ячейками в одном районе.

В-третьих, уравнение 3 описывает процесс объединения сообщений из разных районов. Функция $\bigotimes$ объединяет сообщения из различных районов, облегчая связь между ячейками, которые могут не быть связаны напрямую, но имеют общие отношения соседства.

В-четвертых, уравнение 4 определяет, как агрегированные сообщения влияют на состояние ячейки на следующем уровне. Здесь функция $\beta$ обновляет состояние ячейки $x$ исходя из его текущего состояния $\mathbf {h} _{x}^{(l)}$ и агрегированное сообщение $m_{x}$ полученные из соседних ячеек.

Топологические нейронные сети без передачи сообщений

Хотя большинство TNN следуют парадигме передачи сообщений из обучения графов , было предложено несколько моделей, которые не следуют этому подходу. Например, Мэггс и др. использовать геометрическую информацию из встроенных симплициальных комплексов, т. е. симплициальных комплексов с многомерными характеристиками, прикрепленными к их вершинам. Это обеспечивает интерпретируемость и геометрическую согласованность, не полагаясь на передачу сообщений. Кроме того, в для изучения симплициального представления был предложен контрастный метод, основанный на потерях.

Приложения

TDL быстро находит новые приложения в различных областях, включая сжатие данных, повышение выразительности и прогнозирующей производительности графовых нейронных сетей , признание действий, и прогнозирование траектории.