Гиперпространственные вычисления

Гиперпространственные вычисления ( HDC ) — это подход к вычислениям, в частности к искусственному интеллекту . HDC мотивирован наблюдением, что кора мозжечка оперирует многомерными представлениями данных. ^[1] Таким образом, в HDC информация представляется в виде гиперразмерного (длинного) вектора, называемого гипервектором (массив чисел). Гиперпространственный вектор (гипервектор) может включать в себя тысячи чисел, которые представляют точку в пространстве тысяч измерений. ^[2] Векторные символические архитектуры — старое название того же широкого подхода. ^[2]

Процесс

Данные преобразуются из входного пространства в разреженное пространство HD с помощью функции кодирования φ: X → H. Представления HD хранятся в структурах данных, которые подвержены повреждению из-за шума или сбоев оборудования. Зашумленные/поврежденные HD-представления по-прежнему могут служить входными данными для обучения, классификации и т. д. Их также можно декодировать для восстановления входных данных. H обычно ограничивается целыми числами, ограниченными диапазоном (-vv). ^[3]

Это аналогично процессу обучения, проводимому обонятельной системой плодовых мух . Входные данные представляют собой примерно 50-мерный вектор, соответствующий типам нейронов рецепторов запаха. Представление HD использует около 2000 измерений. ^[3]

Прозрачность

Алгебра HDC раскрывает логику того, как и почему системы принимают решения, в отличие от искусственных нейронных сетей . Объекты физического мира могут быть отображены в гипервекторы для обработки алгеброй. ^[2]

Производительность

HDC подходит для «вычислительных систем в памяти», которые вычисляют и хранят данные на одном кристалле, избегая задержек при передаче данных. Аналоговые устройства работают при низком напряжении. Они энергоэффективны, но склонны к шуму, вызывающему ошибки. HDC могут допустить такие ошибки. ^[2]

Различные команды разработали маломощные аппаратные ускорители HDC. ^[3]

Наноразмерные мемристивные устройства можно использовать для выполнения вычислений. Гиперпространственная вычислительная система в памяти может реализовывать операции на двух мемристивных перекрестных механизмах вместе с периферийными цифровыми КМОП- схемами. Эксперименты с использованием 760 000 устройств памяти с фазовым переходом, выполняющих аналоговые вычисления в памяти, достигли точности, сравнимой с программными реализациями. ^[4]

Ошибки

HDC устойчив к таким ошибкам, как отдельная битовая ошибка (0 меняется на 1 или наоборот), пропущенная механизмами исправления ошибок. Отказ от таких механизмов исправления ошибок может сэкономить до 25 % затрат на вычисления. Это возможно, поскольку такие ошибки оставляют результат «близким» к правильному вектору. Рассуждения с использованием векторов не подвергаются риску. HDC как минимум в 10 раз более устойчив к ошибкам, чем традиционные искусственные нейронные сети , которые уже на порядки более устойчивы, чем традиционные вычисления. ^[2]

Пример

Простой пример рассматривает изображения, содержащие черные круги и белые квадраты. Гипервекторы могут представлять переменные SHAPE и COLOR и содержать соответствующие значения: CIRCLE, SQUARE, BLACK и WHITE. Связанные гипервекторы могут содержать пары ЧЕРНЫЙ, КРУГ и т. д. ^[2]

Ортогональность

Многомерное пространство допускает множество взаимно ортогональных векторов. Однако если вместо этого векторам позволить быть почти ортогональными , количество различных векторов в многомерном пространстве будет значительно больше. ^[2]

HDC использует концепцию распределенных представлений, в которой объект/наблюдение представляется набором значений во многих измерениях, а не одной константой. ^[3]

Операции

HDC может объединять гипервекторы в новые гипервекторы, используя четко определенные операции с векторным пространством .

Группы , кольца и поля над гипервекторами становятся базовыми вычислительными структурами со сложением, умножением, перестановкой, отображением и обратными операциями в качестве примитивных вычислительных операций. ^[4] Все вычислительные задачи выполняются в многомерном пространстве с использованием простых операций, таких как поэлементное сложение и скалярное произведение . ^[3]

Привязка создает упорядоченные кортежи точек и также является функцией ⊗: H × H → H. Входные данные — это две точки в H , а выходные данные — разнородная точка. Умножение вектора SHAPE на CIRCLE связывает их, представляя идею «SHAPE — это КРУГ». Этот вектор «почти ортогонален» SHAPE и CIRCLE. Компоненты можно восстановить из вектора (например, ответить на вопрос «является ли форма кругом?»). ^[3]

Сложение создает вектор, объединяющий понятия. Например, добавление «ФОРМА — КРУГ» к «ЦВЕТ — КРАСНЫЙ» создает вектор, представляющий красный круг.

Перестановка переставляет элементы вектора. Например, переставляя трехмерный вектор со значениями, помеченными x , y и z , можно поменять местами x на y , y на z и z на x . События, представленные гипервекторами A и B, можно сложить, образуя один вектор, но это приведет к жертвованию последовательностью событий. Сочетание сложения с перестановкой сохраняет порядок; последовательность событий можно получить, обратив операции вспять.

Объединение объединяет набор элементов в H как функцию ⊕: H ×H → H. Входные данные — это две точки в H, а выходные данные — третья точка, похожая на обе. ^[3]

История

Векторные символические архитектуры (VSA) обеспечили систематический подход к многомерным представлениям символов для поддержки таких операций, как установление связей. Ранние примеры включают голографические уменьшенные представления, двоичные коды брызг и матричную привязку аддитивных терминов. HD-вычисления усовершенствовали эти модели, уделив особое внимание эффективности оборудования. ^[3]

В 2018 году Эрик Вайс показал, как полностью представить изображение в виде гипервектора. Вектор может содержать информацию обо всех объектах изображения, включая такие свойства, как цвет, положение и размер. ^[2]

В 2023 году Аббас Рахими и др. использовали HDC с нейронными сетями для решения прогрессивных матриц Равена . ^[2]

В 2023 году Майк Хеддес и др. под руководством профессоров Гиваргиса Николау и Вейденбаум создали библиотеку гиперпространственных вычислений. ^[5] который построен на основе PyTorch .

Приложения

Распознавание изображений

Алгоритмы HDC могут воспроизводить задачи, давно выполняемые глубокими нейронными сетями , например, классификацию изображений. ^[2]

Классификация аннотированного набора рукописных цифр использует алгоритм для анализа особенностей каждого изображения, получая гипервектор для каждого изображения. Затем алгоритм добавляет гипервекторы для всех помеченных изображений, например, нуля, чтобы создать прототип гипервектора для понятия нуля, и повторяет это для других цифр. ^[2]

Классификация немаркированного изображения включает в себя создание для него гипервектора и сравнение его с эталонными гипервекторами. Это сравнение определяет цифру, на которую больше всего похоже новое изображение. ^[2]

Дан набор примеров с маркировкой $S=\{(x_{i},y_{i})\}_{i=1}^{N},\ {\scriptstyle {\text{where}}}\ x_{i}\in X\ {\scriptstyle {\text{and}}}\ y_{i}\in \{c_{i}\}_{i=1}^{K}$ — это класс конкретного x _i . ^[3]

По запросу x _q ∈ X наиболее похожий прототип можно найти с помощью $k^{*}=_{k\in 1,...,K}^{argmax}\ p(\phi (x_{q})),\phi (c_{k}))$ . Метрика сходства ρ обычно представляет собой скалярное произведение. ^[3]

Рассуждение

Гипервекторы также можно использовать для рассуждений. Прогрессивная матрица Равена представляет изображения объектов в виде сетки. Одна позиция в сетке пуста. Тест заключается в том, чтобы выбрать из изображений-кандидатов то, которое лучше всего подходит. ^[2]

Словарь гипервекторов представляет отдельные объекты. Каждый гипервектор представляет концепцию объекта с его атрибутами. Для каждого тестового изображения нейронная сеть генерирует двоичный гипервектор (значение +1 или -1), максимально приближенный к некоторому набору словарных гипервекторов. Таким образом, сгенерированный гипервектор описывает все объекты и их атрибуты на изображении. ^[2]

Другой алгоритм создает распределения вероятностей для количества объектов на каждом изображении и их характеристик. Эти распределения вероятностей описывают вероятные характеристики как контекста, так и изображений-кандидатов. Они тоже преобразуются в гипервекторы, а затем алгебра предсказывает наиболее вероятное изображение-кандидата на заполнение слота. ^[2]

Этот подход достиг 88% точности в одном наборе задач, превзойдя решения, основанные только на нейронных сетях, которые имели точность 61%. Для сеток 3х3 система работала в 250 раз быстрее, чем метод, использующий символьную логику для рассуждения, из-за размера связанной книги правил. ^[2]

Другой

Другие приложения включают обработку биосигналов, обработку естественного языка и робототехнику. ^[3]

См. также

Машина опорных векторов

Ссылки

^ Цзоу, Чжовэнь; Алимохамади, Халех; Имани, Фархад; Ким, Йесон; Имани, Мохсен (01 октября 2021 г.), Spiking Hyperпространственная сеть: нейроморфные модели, интегрированные с структурой, основанной на памяти , arXiv : 2110.00214
^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час ^я ^дж ^к ^л ^м ^н ^тот ^п Анантасвами, Анан (13 апреля 2023 г.). «Новый подход к вычислениям переосмысливает искусственный интеллект» . Журнал Кванта .
^ Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час ^я ^дж ^к Томас, Энтони; Дасгупта, Санджой; Розинг, Таяна (5 октября 2021 г.). «Теоретический взгляд на гиперпространственные вычисления» (PDF) . Журнал исследований искусственного интеллекта . 72 : 215–249. дои : 10.1613/jair.1.12664 . ISSN 1076-9757 . S2CID 239007517 .
^ Jump up to: ^а ^б Карунаратне, Гитан; Ле Галло, Мануэль; Керубини, Джованни; Бенини, Лука; Рахими, Аббас; Себастьян, Абу (июнь 2020 г.). «Гиперпространственные вычисления в памяти» . Природная электроника . 3 (6): 327–337. arXiv : 1906.01548 . дои : 10.1038/s41928-020-0410-3 . ISSN 2520-1131 . S2CID 174797921 .
^ Хеддес, Майк; Нуньес, Игорь; Вержес, Пере; Клейко, Денис; Авраам, Дэнни; Гиваргис, Тони; Николау, Александру; Вейденбаум, Александр (18 мая 2022 г.). «Torchhd: библиотека Python с открытым исходным кодом для поддержки исследований в области гиперпространственных вычислений и векторных символических архитектур». arXiv : 2205.09208 [ cs.LG ].

Внешние ссылки

Канерва, Пентти (01 июня 2009 г.). «Гипермерные вычисления: введение в вычисления в распределенном представлении с многомерными случайными векторами» . Когнитивные вычисления . 1 (2): 139–159. дои : 10.1007/s12559-009-9009-8 . ISSN 1866-9964 . S2CID 733980 .

Нойберт, Пер; Шуберт, Стефан; Процель, Питер (01 декабря 2019 г.). «Введение в гиперпространственные вычисления для робототехники» . ИИ – Искусственный интеллект . 33 (4): 319–330. дои : 10.1007/s13218-019-00623-z . ISSN 1610-1987 . S2CID 202642163 .

Нойберт, Пер; Шуберт, Стефан (19 января 2021 г.). «Гиперпространственные вычисления как основа систематического агрегирования дескрипторов изображений». arXiv : 2101.07720v1 [ cs.CV ].

Сток, Мишель (04 октября 2022 г.). «Учебник по гиперпространственным вычислениям» . Проверено 29 июля 2023 г.

«HD/VSA» . www.hd-computing.com . 13 марта 2023 г. Проверено 15 апреля 2023 г.

Анантасвами, Анил (13 апреля 2023 г.). «Новый подход к вычислениям переосмысливает искусственный интеллект» . Журнал Кванта . Проверено 13 июня 2023 г.

[1] Цзоу, Чжовэнь; Алимохамади, Халех; Имани, Фархад; Ким, Йесон; Имани, Мохсен (01 октября 2021 г.), Spiking Hyperпространственная сеть: нейроморфные модели, интегрированные с структурой, основанной на памяти , arXiv : 2110.00214

[:0-2] Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час ^я ^дж ^к ^л ^м ^н ^тот ^п Анантасвами, Анан (13 апреля 2023 г.). «Новый подход к вычислениям переосмысливает искусственный интеллект» . Журнал Кванта .

[:1-3] Jump up to: ^а ^б ^с ^д ^и ^ж ^г ^час ^я ^дж ^к Томас, Энтони; Дасгупта, Санджой; Розинг, Таяна (5 октября 2021 г.). «Теоретический взгляд на гиперпространственные вычисления» (PDF) . Журнал исследований искусственного интеллекта . 72 : 215–249. дои : 10.1613/jair.1.12664 . ISSN 1076-9757 . S2CID 239007517 .

[:2-4] Jump up to: ^а ^б Карунаратне, Гитан; Ле Галло, Мануэль; Керубини, Джованни; Бенини, Лука; Рахими, Аббас; Себастьян, Абу (июнь 2020 г.). «Гиперпространственные вычисления в памяти» . Природная электроника . 3 (6): 327–337. arXiv : 1906.01548 . дои : 10.1038/s41928-020-0410-3 . ISSN 2520-1131 . S2CID 174797921 .

[5] Хеддес, Майк; Нуньес, Игорь; Вержес, Пере; Клейко, Денис; Авраам, Дэнни; Гиваргис, Тони; Николау, Александру; Вейденбаум, Александр (18 мая 2022 г.). «Torchhd: библиотека Python с открытым исходным кодом для поддержки исследований в области гиперпространственных вычислений и векторных символических архитектур». arXiv : 2205.09208 [ cs.LG ].

[1]

[2]

[3]

[4]

[5]