Тензор (машинное обучение)

Тензор неофициально относится в машинном обучении к двум различным концепциям, которые организуют и представляют данные. Данные могут быть организованы в многомерный массив ( М -образный массив), который неофициально называется «тензором данных»; однако в строгом математическом смысле тензор представляет собой полилинейное отображение набора векторных пространств предметной области в векторное пространство диапазонов. Наблюдения, такие как изображения, фильмы, объемы, звуки и отношения между словами и понятиями, хранящиеся в массиве M («тензор данных»), могут анализироваться либо с помощью искусственных нейронных сетей , либо с помощью тензорных методов .

Тензорная декомпозиция может факторизовать тензоры данных на более мелкие тензоры. Операции над тензорами данных можно выразить через умножение матриц и произведение Кронекера . Вычисление градиентов, важный аспект алгоритма обратного распространения ошибки , можно выполнить с помощью PyTorch и TensorFlow .

Вычисления часто выполняются на графических процессорах (GPU) с использованием CUDA и на специальном оборудовании, таком как Google от Tensor Processing Unit или Nvidia от Tensor core . Эти разработки значительно ускорили архитектуру нейронных сетей и увеличили размер и сложность моделей, которые можно обучать.

История

Тензор . по определению является полилинейным отображением В математике это может выражать полилинейную связь между наборами алгебраических объектов. В физике тензорные поля , рассматриваемые как тензоры в каждой точке пространства, полезны для выражения таких механик, как напряжение или упругость . В машинном обучении точное использование тензоров зависит от используемого статистического подхода.

В 2001 году в области обработки сигналов и статистики использовались тензорные методы. Пьер Комон рассматривает раннее внедрение тензорных методов в области телекоммуникаций, радионаблюдения, хемометрики и обработки датчиков. Методы линейного тензорного ранга (такие как Parafac/CANDECOMP) анализировали M-образные массивы («тензоры данных»), состоящие из статистики более высокого порядка, которые использовались в задачах слепого разделения источников для вычисления линейной модели данных. Он отметил несколько ранних ограничений в определении ранга тензора и эффективном разложении ранга тензора.

В начале 2000-х годов полилинейные тензорные методы перешел в компьютерное зрение, компьютерную графику и машинное обучение с работами Василеску или в сотрудничестве с Терзопулосом, такими как Human Motion Signatures, TensorFaces Тензорные текстуры и полилинейная проекция. Полилинейная алгебра, алгебра тензоров высшего порядка, представляет собой подходящую и прозрачную основу для анализа многофакторной структуры ансамбля наблюдений и решения сложной проблемы распутывания причинных факторов на основе второго порядка. или статистика более высокого порядка, связанная с каждым причинным фактором.

Тензорный (мультилинейный) факторный анализ распутывает и уменьшает влияние различных причинных факторов с помощью полилинейного подпространственного обучения. При обработке изображения или видео как двух- или трехстороннего массива, т. е. «матрицы данных/тензора», тензорные методы уменьшают пространственную или временную избыточность, как продемонстрировали Ван и Ахуджа.

Джошуа Бенджио, Джефф Хинтон и их коллеги кратко обсуждают взаимосвязь между глубокими нейронными сетями и тензорный факторный анализ помимо использования массивов M-way («тензоров данных») в качестве входных данных. Одно из первых применений тензоров для нейронных сетей появилось в обработке естественного языка . Одно слово можно выразить как вектор с помощью Word2vec . Таким образом, связь между двумя словами может быть закодирована в матрице. Однако для более сложных отношений, таких как субъект-объект-глагол, необходимо строить сети более высокого измерения. В 2009 году работа Суцевера представила байесовскую кластерную тензорную факторизацию для моделирования реляционных концепций при сокращении пространства параметров. С 2014 по 2015 год тензорные методы становятся все более распространенными в сверточных нейронных сетях (CNN). Тензорные методы организуют веса нейронной сети в «тензор данных», анализируют и уменьшают количество весов нейронной сети. Лебедев и др. ускоренные сети CNN для классификации символов (распознавание букв и цифр в изображениях) с использованием 4D-тензоров ядра.

Определение

Позволять $\mathbb {F}$ быть полем, например действительными числами $\mathbb {R}$ или комплексные числа $\mathbb {C}$. Тензор ${\mathcal {A}}$ это $I_{1}\times I_{2}\times \cdots \times I_{C}$ массив над $\mathbb {F}$:

${\mathcal {A}}\in {\mathbb {F} }^{I_{1}\times I_{2}\times \ldots \times I_{C}}.$

Здесь, $C$ и $I_{1},I_{2},\ldots ,I_{C}$ являются целыми положительными числами, а $C$ — это количество измерений, количество способов или мода тензора.

Одним из основных подходов (не единственным способом) использования тензоров в машинном обучении является непосредственное внедрение различных типов данных. Например, изображение в оттенках серого, обычно представленное как дискретная 2D-функция. $f(x,y)$ с резолюцией $N\times M$ может быть встроено в тензор режима 2 как

$f(x,y)\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times M}.$

Цветное изображение с тремя каналами для RGB может быть встроено в тензор режима 3 с тремя элементами в дополнительном измерении:

$f_{RGB}(x,y)\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times M\times 3}.$

При обработке естественного языка слово может быть выражено как вектор. $v$ с помощью алгоритма Word2vec . Таким образом $v$ становится тензором моды 1

$v\mapsto {\mathcal {A}}\in \mathbb {R} ^{N}.$

Внедрение семантики субъект-объект-глагол требует внедрения отношений между тремя словами. Поскольку слово само по себе является вектором, семантику субъект-объект-глагол можно выразить с помощью тензоров режима 3.

$v_{a}\times v_{b}\times v_{c}\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times N\times N}.$

На практике разработчик нейронной сети в первую очередь занимается спецификацией вложений, соединением тензорных слоев и операциями, выполняемыми над ними в сети. Современные платформы машинного обучения автоматически управляют оптимизацией, тензорной факторизацией и обратным распространением ошибки.

Как единичные значения

Нейронная сеть с тензорами в качестве значений узла

Тензоры могут использоваться в качестве единиц измерения нейронных сетей, которые расширяют концепцию скалярных, векторных и матричных значений на несколько измерений.

Выходное значение однослойного блока $y_{m}$ представляет собой сумму произведений его входных единиц и весов соединений, отфильтрованных с помощью функции активации. $f$:

$y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right),$

где

$y_{m}\in \mathbb {R} .$

Сверточная нейронная сеть, в которой каждая единица представляет собой 2D-изображение, представленное тензором.

Если каждый выходной элемент $y_{m}$ является скаляром, то мы имеем классическое определение искусственной нейронной сети . Заменяя каждый модульный компонент тензором, сеть может выражать данные более высокого измерения, такие как изображения или видео:

$y_{m}\in \mathbb {R} ^{I_{0}\times I_{1}\times ..\times I_{C}}.$

Такое использование тензоров для замены единичных значений распространено в сверточных нейронных сетях , где каждая единица может представлять собой изображение, обработанное несколькими слоями. Встраивая данные в тензоры, такие сетевые структуры позволяют изучать сложные типы данных.

В полностью связанных слоях

Два слоя полносвязной нейронной сети и ее выражение в виде тензорного произведения Кронекера

Тензоры также можно использовать для вычисления слоев полностью связанной нейронной сети, где тензор применяется ко всему слою, а не к отдельным единичным значениям.

Выходное значение однослойного блока $y_{m}$ представляет собой сумму произведений его входных единиц и весов соединений, отфильтрованных с помощью функции активации. $f$:

$y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right).$

Векторы $x$ и $y$ выходных значений могут быть выражены в виде тензоров режима 1, а скрытые веса могут быть выражены в виде тензора режима 2. В этом примере единичные значения являются скалярами, а тензор принимает размеры сетевых слоев:

$x_{n}\mapsto {\mathcal {X}}\in \mathbb {R} ^{1\times N},$

$y_{n}\mapsto {\mathcal {Y}}\in \mathbb {R} ^{M\times 1},$

$u_{n}\mapsto {\mathcal {U}}\in \mathbb {R} ^{N\times M}.$

В этих обозначениях выходные значения можно вычислить как тензорное произведение входных и весовых тензоров:

${\mathcal {Y}}=f({\mathcal {X}}{\mathcal {U}}).$

который вычисляет сумму-продукт как тензорное умножение (аналогично матричному умножению).

Такая формулировка тензоров позволяет эффективно вычислять весь уровень полностью связной сети путем сопоставления единиц и весов с тензорами.

В сверточных слоях

Другая переформулировка нейронных сетей позволяет тензорам выражать слои свертки нейронной сети. Сверточный слой имеет несколько входных данных, каждый из которых представляет собой пространственную структуру, например изображение или объем. Входные данные свертываются путем фильтрации перед передачей на следующий уровень. Типичное использование — обнаружение или изоляция функций при распознавании изображений.

Свертку часто вычисляют как умножение входного сигнала. $g$ с фильтрующим ядром $f$. В двух измерениях дискретная конечная форма:

$(f*g)_{x,y}=\sum _{j=-w}^{w}\sum _{k=-w}^{w}f_{j,k}g_{x+j,y+k},$

где $w$ это ширина ядра.

Это определение можно перефразировать как произведение матрицы на вектор в терминах тензоров, которые выражают ядро, данные и обратное преобразование ядра.

${\mathcal {Y}}={\mathcal {A}}[(Cg)\odot (Bd)],$

где ${\mathcal {A}},{\mathcal {B}}$ и ${\mathcal {C}}$ обратное преобразование, данные и ядро. Вывод усложняется, когда ядро ​​фильтрации также включает в себя нелинейную функцию активации, такую ​​как сигмоид или ReLU.

Скрытые веса слоя свертки являются параметрами фильтра. Их можно уменьшить с помощью слоя объединения , который уменьшает разрешение (размер) данных, а также может быть выражен как тензорная операция.

Тензорная факторизация

Важным вкладом тензоров в машинное обучение является способность факторизовать тензоры для разложения данных на составляющие факторы или уменьшения изученных параметров. Методы тензорного моделирования данных основаны на линейном тензорном разложении (CANDECOMP/Parafac-разложение) и полилинейном тензорном разложении (Такер).

Разложение Такера

Разложение Такера тензора

Например, разложение Такера принимает трехсторонний массив. ${\mathcal {X}}\in \mathbb {R} ^{I\times J\times K}$ и разлагает тензор на три матрицы ${\mathcal {A,B,C}}$ и меньший тензор ${\mathcal {G}}$. Форма матриц и нового тензора такова, что общее количество элементов уменьшается. Новые тензоры имеют формы

${\mathcal {A}}\in \mathbb {R} ^{I\times P},$

${\mathcal {B}}\in \mathbb {R} ^{J\times Q},$

${\mathcal {C}}\in \mathbb {R} ^{K\times R},$

${\mathcal {G}}\in \mathbb {R} ^{P\times Q\times R}.$

Тогда исходный тензор можно выразить как тензорное произведение этих четырех тензоров:

${\mathcal {X}}={\mathcal {G}}\times {\mathcal {A}}\times {\mathcal {B}}\times {\mathcal {C}}.$

В примере, показанном на рисунке, размеры тензоров равны

${\mathcal {X}}$: I=8, J=6, К=3, ${\mathcal {A}}$: Я=8, П=5, ${\mathcal {B}}$: J=6, Q=4, ${\mathcal {C}}$: К=3, Р=2, ${\mathcal {G}}$: П=5, Q=4, R=2.

Общее количество элементов в факторизации Такера равно

$|{\mathcal {A}}|+|{\mathcal {B}}|+|{\mathcal {C}}|+|{\mathcal {G}}|=$

$(I\times P)+(J\times Q)+(K\times R)+(P\times Q\times R)=8\times 5+6\times 4+3\times 2+5\times 4\times 2=110.$

Количество элементов в оригинале ${\mathcal {X}}$ равно 144, что приводит к сокращению данных со 144 до 110 элементов, уменьшению параметров или размера данных на 23%. Для гораздо больших исходных тензоров и в зависимости от ранга (избыточности) тензора выигрыш может быть более значительным.

Работа Рабансера и др. представляет собой введение в тензоры с более подробной информацией о расширении разложения Такера до N-мерностей за пределами приведенного здесь примера режима 3.

Тензорные поезда

Другой метод разложения тензоров переписывает исходный тензор как последовательность (последовательность) тензоров меньшего размера. Тензорный поезд (TT) — это последовательность тензоров пониженного ранга, называемых каноническими факторами . Исходный тензор можно выразить как сумму-произведение последовательности.

${\mathcal {X}}={\mathcal {G_{1}}}{\mathcal {G_{2}}}{\mathcal {G_{3}}}..{\mathcal {G_{d}}}$

Автор отмечает, что разложение Такера, разработанное в 2011 году Иваном Оселедцем, «подходит для малых размеров, особенно для трехмерного случая. Для больших d оно не подходит». Таким образом, тензорные поезда можно использовать для факторизации более крупных тензоров в более высоких измерениях.

Тензорные графы

Унифицированная архитектура данных и автоматическое дифференцирование тензоров позволили разработать машинное обучение более высокого уровня в форме тензорных графов. Это приводит к появлению новых архитектур, таких как сверточные сети с тензорными графами (TGCN), которые выявляют сильно нелинейные ассоциации в данных, объединяют множественные отношения и изящно масштабируются, оставаясь при этом надежными и производительными.

Эти разработки влияют на все области машинного обучения, такие как интеллектуальный анализ и кластеризация текста, изменяющиеся во времени данные и нейронные сети, где входными данными является социальный граф, а данные изменяются динамически.

Аппаратное обеспечение

Тензоры предоставляют унифицированный способ обучения нейронных сетей более сложным наборам данных. Однако обучение на классическом процессоре обходится дорого.

В 2014 году Nvidia разработала cuDNN , CUDA Deep Neural Network, библиотеку для набора оптимизированных примитивов, написанную на параллельном языке CUDA. CUDA и, следовательно, cuDNN работают на выделенных графических процессорах, которые реализуют унифицированный массовый параллелизм на аппаратном уровне. Эти графические процессоры еще не были специализированными чипами для тензоров, а представляли собой существующее оборудование, адаптированное для параллельных вычислений в машинном обучении.

В период 2015–2017 годов Google изобрёл тензорный процессор (TPU). TPU — это специализированные аппаратные блоки с фиксированными функциями, которые специализируются на умножении матриц, необходимых для тензорных продуктов. В частности, они реализуют массив из 65 536 блоков умножения, которые могут выполнять произведение суммы матриц размером 256x256 всего за один глобальный командный цикл.

Позже в 2017 году Nvidia выпустила собственное Tensor Core с архитектурой графического процессора Volta. Каждое тензорное ядро ​​представляет собой микроблок, который может выполнять произведение суммы матриц 4x4. Для каждого блока общей памяти (SM) имеется восемь тензорных ядер. Первая карта графического процессора GV100 имеет 108 SM, что соответствует 672 тензорным ядрам. Это устройство ускорило машинное обучение в 12 раз по сравнению с предыдущими графическими процессорами Tesla. Количество тензорных ядер масштабируется по мере того, как количество ядер и модулей SM продолжает расти в каждом новом поколении карт.

Развитие аппаратного обеспечения графических процессоров в сочетании с унифицированной архитектурой тензорных ядер позволило обучать гораздо более крупные нейронные сети. В 2022 году крупнейшей нейронной сетью была PaLM от Google с 540 миллиардами изученных параметров (весов сети). (старая языковая модель GPT-3 имеет более 175 миллиардов изученных параметров, которые создают текст, похожий на человеческий; размер — это еще не все, гораздо меньшая по размеру модель Alpaca из Стэнфорда 2023 года утверждает, что она лучше, изучив модель LLaMA от Meta/Facebook 2023 года , меньший вариант с 7 миллиардами параметров). Широко популярный чат-бот ChatGPT построен на основе GPT-3.5 (а после обновления GPT-4 ) с использованием контролируемого обучения и обучения с подкреплением.