Матричное исчисление

Не путать с геометрическим исчислением или векторным исчислением .

В математике матричное исчисление — это специализированное обозначение для выполнения исчисления с множеством переменных , особенно над пространствами матриц . Он собирает различные частные производные одной функции по отношению ко многим переменным и/или многомерной функции по отношению к одной переменной в векторы и матрицы, которые можно рассматривать как отдельные объекты. Это значительно упрощает такие операции, как поиск максимума или минимума функции многих переменных и решение систем дифференциальных уравнений . Используемые здесь обозначения обычно используются в статистике и технике , тогда как обозначение тензорного индекса является предпочтительным в физике .

Два конкурирующих соглашения об обозначениях разделяют область матричного исчисления на две отдельные группы. Эти две группы можно отличить по тому, записывают ли они производную скаляра по вектору как вектор-столбец или вектор-строку . Оба этих соглашения возможны, даже если делается общее предположение, что векторы следует рассматривать как векторы-столбцы при объединении с матрицами (а не как векторы-строки). Единственное соглашение может быть в некоторой степени стандартным для одной области, в которой обычно используется матричное исчисление (например, эконометрика , статистика, теория оценки и машинное обучение ). Однако даже внутри одной области можно найти разных авторов, используя конкурирующие соглашения. Авторы обеих групп часто пишут так, как если бы их конкретные условности были стандартными. Серьезные ошибки могут возникнуть при объединении результатов разных авторов без тщательной проверки использования совместимых обозначений. Определения этих двух конвенций и сравнение между ними собраны в раздел соглашений о макете .

Область применения

Матричное исчисление относится к ряду различных обозначений, в которых используются матрицы и векторы для сбора производной каждого компонента зависимой переменной по отношению к каждому компоненту независимой переменной. В общем, независимая переменная может быть скаляром, вектором или матрицей, тогда как зависимая переменная также может быть любой из них. Каждая отдельная ситуация приведет к различному набору правил или отдельному исчислению , если использовать более широкий смысл этого термина. Матричная запись служит удобным способом организованного сбора множества производных.

В качестве первого примера рассмотрим градиент из векторного исчисления . Для скалярной функции трех независимых переменных: $f(x_{1},x_{2},x_{3})$, градиент задается векторным уравнением

$\nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},$

где ${\hat {x}}_{i}$ представляет собой единичный вектор в $x_{i}$ направление для $1\leq i\leq 3$. Этот тип обобщенной производной можно рассматривать как производную скаляра f по вектору: $\mathbf {x}$, и его результат можно легко собрать в векторной форме.

$\nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.$

Более сложные примеры включают производную скалярной функции по матрице, известную как матрица градиента , которая собирает производную по каждому элементу матрицы в соответствующей позиции в результирующей матрице. В этом случае скаляр должен быть функцией каждой независимой переменной в матрице. В качестве другого примера: если у нас есть n -вектор зависимых переменных или функции m независимых переменных, мы могли бы рассмотреть производную зависимого вектора по независимому вектору. Результат может быть собран в матрице размера m × n, состоящей из всех возможных комбинаций производных.

Всего существует девять возможностей использования скаляров, векторов и матриц. Обратите внимание: если мы рассматриваем большее количество компонентов в каждой из независимых и зависимых переменных, у нас может остаться очень большое количество возможностей. Шесть видов деривативов, которые наиболее удобно организовать в матричной форме, собраны в следующей таблице.

Виды производной матрицы

Типы	Скаляр	Вектор	Матрица
Скаляр	${\frac {\partial y}{\partial x}}$	${\frac {\partial \mathbf {y} }{\partial x}}$	${\frac {\partial \mathbf {Y} }{\partial x}}$
Вектор	${\frac {\partial y}{\partial \mathbf {x} }}$	${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$
Матрица	${\frac {\partial y}{\partial \mathbf {X} }}$

Здесь мы использовали термин «матрица» в его самом общем смысле, понимая, что векторы — это просто матрицы с одним столбцом (а скаляры — это просто векторы с одной строкой). Кроме того, мы использовали жирные буквы для обозначения векторов и жирные заглавные буквы для матриц. Это обозначение используется повсюду.

Обратите внимание, что мы также можем говорить о производной вектора по матрице или любой другой незаполненной ячейке нашей таблицы. Однако эти производные наиболее естественно организованы в тензоре ранга выше 2, поэтому они не вписываются аккуратно в матрицу. В следующих трех разделах мы определим каждую из этих производных и соотнесем их с другими разделами математики. смотрите в разделе «Условия компоновки» Более подробную таблицу .

Связь с другими производными инструментами

Матричная производная — это удобное обозначение для отслеживания частных производных при выполнении вычислений. — Производная Фреше это стандартный способ в функциональном анализе получить производные по векторам. В случае, если матричная функция матрицы дифференцируема по Фреше, две производные согласуются с точностью до перевода обозначений. Как и в случае с частными производными , некоторые формулы могут расширяться при более слабых аналитических условиях, чем существование производной как аппроксимирующего линейное отображение.

Использование

Матричное исчисление используется для получения оптимальных стохастических оценок, часто с использованием множителей Лагранжа . Сюда входит вывод:

• Фильтр Калмана
• Венский фильтр
• Алгоритм максимизации ожидания для гауссовой смеси
• Градиентный спуск

Обозначения

Векторные и матричные производные, представленные в последующих разделах, в полной мере используют преимущества матричной записи , используя одну переменную для представления большого количества переменных. В дальнейшем мы будем различать скаляры, векторы и матрицы по их шрифту. Обозначим через M ( n , m ) пространство действительных матриц размера n × m с n строками и m столбцами. Такие матрицы будут обозначаться жирными заглавными буквами: A , X , Y и т. д. Элемент M ( n , 1) , то есть вектор-столбец , обозначается жирной строчной буквой: a , x , y и т. д. Элемент M (1,1) является скаляром, обозначаемым строчным курсивом: a , t , x и т. д. X. ^Т матрицы обозначает транспонирование , tr( X ) — след , а det( X ) или | Х | является определителем . Предполагается, что все функции относятся к классу дифференцируемости C. ¹ если не указано иное. Обычно буквы из первой половины алфавита (a, b, c, ...) используются для обозначения констант, а из второй половины (t, x, y, ...) для обозначения переменных.

ПРИМЕЧАНИЕ . Как упоминалось выше, существуют конкурирующие обозначения для представления систем частных производных в векторах и матрицах, и, похоже, никакого стандарта еще не появилось. В следующих двух вводных разделах соглашение о расположении числителя используется просто для удобства, чтобы не слишком усложнять обсуждение. В следующем разделе соглашения о компоновке обсуждаются более подробно. Важно осознавать следующее:

1. Несмотря на использование терминов «схема числителя» и «схема знаменателя», на самом деле существует более двух возможных вариантов обозначения. Причина в том, что выбор числителя или знаменателя (или, в некоторых ситуациях, числителя или смешанного метода) может быть сделан независимо для скалярно-векторного, векторно-скалярного, векторно-векторного и скалярно-по-калярного значений. производные матрицы, и ряд авторов смешивают и сопоставляют варианты макета различными способами.
2. Выбор расположения числителя во вводных разделах ниже не означает, что это «правильный» или «лучший» выбор. У различных типов планировок есть свои преимущества и недостатки. Серьезные ошибки могут возникнуть в результате небрежного объединения формул, написанных в разных макетах, а преобразование из одного макета в другой требует осторожности, чтобы избежать ошибок. В результате при работе с существующими формулами лучше всего, вероятно, определить, какой макет используется, и поддерживать с ним согласованность, а не пытаться использовать один и тот же макет во всех ситуациях.

Альтернативы

Обозначение тензорного индекса с его соглашением Эйнштейна о суммировании очень похоже на матричное исчисление, за исключением того, что за раз записывается только один компонент. Его преимущество состоит в том, что можно легко манипулировать тензорами сколь угодно высокого ранга, тогда как тензоры ранга выше двух довольно громоздки с матричной записью. Вся работа здесь может быть выполнена в этой записи без использования матричной записи с одной переменной. Однако многие проблемы в теории оценивания и других областях прикладной математики приводят к тому, что индексов становится слишком много, чтобы их можно было правильно отслеживать, что указывает на пользу матричного исчисления в этих областях. Кроме того, нотация Эйнштейна может быть очень полезна при доказательстве представленных здесь тождеств (см. раздел о дифференцировании ) в качестве альтернативы типичной нотации элементов, которая может стать громоздкой, когда используются явные суммы. Обратите внимание, что матрицу можно рассматривать как тензор второго ранга.

Производные с векторами

Основная статья: Векторное исчисление

Поскольку векторы представляют собой матрицы только с одним столбцом, простейшими производными матрицы являются производные векторов.

Разработанные здесь обозначения позволяют выполнять обычные операции векторного исчисления , отождествляя пространство M ( n ,1) -векторов n с евклидовым пространством R. ^н , а скаляр M (1,1) отождествляется с R . Соответствующее понятие из векторного исчисления указано в конце каждого подраздела.

ПРИМЕЧАНИЕ . Обсуждение в этом разделе предполагает использование соглашения о расположении числителя в педагогических целях. Некоторые авторы используют другие соглашения. В разделе, посвященном соглашениям о компоновке, этот вопрос обсуждается более подробно. Идентификаторы, приведенные ниже, представлены в формах, которые можно использовать в сочетании со всеми распространенными соглашениями о компоновке.

Векторно-скалярный

Производная ​ вектора ​ $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$, скаляром x записывается (в обозначении расположения числителя ) как

${\frac {d\mathbf {y} }{dx}}={\begin{bmatrix}{\frac {dy_{1}}{dx}}\\{\frac {dy_{2}}{dx}}\\\vdots \\{\frac {dy_{m}}{dx}}\\\end{bmatrix}}.$

В векторном исчислении производная вектора y по скаляру x известна как касательный вектор вектора y , ${\frac {\partial \mathbf {y} }{\partial x}}$. Обратите внимание, что y : R ¹ → Р ^м .

Пример Простые примеры этого включают вектор скорости в евклидовом пространстве , который является касательным вектором вектора положения (рассматриваемого как функция времени). Кроме того, ускорение - это касательный вектор скорости.

Скалярно-векторный

Производная ​ скаляра y по вектору $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$, записывается (в обозначении расположения числителя ) как

${\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.$

В векторном исчислении скалярного градиент поля f : R ^н → R (независимые координаты которого являются компонентами x ) — это транспонирование производной скаляра вектором.

$\nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}$

Например, в физике электрическое поле представляет собой отрицательный векторный градиент электрического потенциала .

Производная по направлению скалярной функции f ( x ) пространственного вектора x в направлении единичного вектора u (представленного в данном случае как вектор-столбец) определяется с использованием градиента следующим образом.

$\nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u}$

Используя только что определенные обозначения для производной скаляра по вектору, мы можем переписать производную по направлению как $\nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .$ Этот тип обозначений будет удобен при доказательстве правил произведения и правил цепочки, которые выглядят похоже на то, с чем мы знакомы для скалярной производной .

Вектор за вектором

Каждый из двух предыдущих случаев можно рассматривать как применение производной вектора по отношению к вектору, используя соответственно вектор размера один. Аналогичным образом мы обнаружим, что производные, включающие матрицы, соответствующим образом сводятся к производным, включающим векторы.

Производная векторной функции (вектора, компоненты которого являются функциями) $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$, относительно входного вектора, $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$, записывается (в обозначении расположения числителя ) как

${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.$

В векторном исчислении производная векторной функции y по вектору x , компоненты которого представляют пространство, известна как матрица прямого продвижения (или дифференциал) или матрица Якобиана .

Продвижение вектор-функции f относительно вектора v в R ^н дается $d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .$

Производные с матрицами

Существует два типа производных с матрицами, которые можно организовать в матрицу одинакового размера. Это производная матрицы по скаляру и производная скаляра по матрице. Они могут быть полезны в задачах минимизации, встречающихся во многих областях прикладной математики, и получили названия касательная матрица и градиентная матрица соответственно после своих аналогов для векторов.

Примечание . Обсуждение в этом разделе предполагает использование соглашения о расположении числителя в педагогических целях. Некоторые авторы используют другие соглашения. В разделе, посвященном соглашениям о компоновке, этот вопрос обсуждается более подробно. Идентификаторы, приведенные ниже, представлены в формах, которые можно использовать в сочетании со всеми распространенными соглашениями о компоновке.

Матрица по скаляру

Производная матричной функции Y по скаляру x известна как касательная матрица и определяется (в обозначениях расположения числителя ) выражением

${\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.$

Скаляр по матрице

Производная скалярной функции y по отношению к независимых переменных размера p × q матрице X определяется (в обозначениях расположения числителя ) выражением

${\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.$

Важные примеры скалярных функций матриц включают след матрицы и определитель .

По аналогии с векторным исчислением эту производную часто записывают следующим образом.

$\nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}$

Также по аналогии с векторным исчислением производная по направлению скаляра f ( X ) матрицы X в направлении матрицы Y определяется выражением

$\nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).$

В частности, именно градиентная матрица находит множество применений в задачах минимизации в теории оценивания , особенно при выводе алгоритма фильтра Калмана , который имеет большое значение в этой области.

матрицы

Три типа производных, которые не рассматривались, — это производные с использованием векторов по матрицам, матриц за векторами и матриц за матрицами. Они не так широко рассматриваются, и обозначения не получили широкого согласия.

Соглашения о макете

В этом разделе обсуждаются сходства и различия между соглашениями об обозначениях, которые используются в различных областях, использующих преимущества матричного исчисления. Хотя в основном существуют два последовательных соглашения, некоторые авторы считают удобным смешивать эти два соглашения в формах, которые обсуждаются ниже. После этого раздела уравнения будут перечислены в обеих конкурирующих формах отдельно.

Фундаментальный вопрос заключается в том, что производная вектора по вектору, т.е. ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$, часто пишется двумя конкурирующими способами. Если числитель y имеет размер m , а знаменатель x — размер n , то результат можно представить либо в виде матрицы m × n , либо в виде матрицы n × m , т. е. m элементов y , расположенных в строках, а n элементов x , расположенных в столбцах, или наоборот. Это приводит к следующим возможностям:

1. Расположение числителя , т.е. расположение в соответствии с y и x ^Т (т.е. вопреки x ). Иногда это называют формулировкой Якобиана . Это соответствует макету m × n в предыдущем примере, что означает, что номер строки ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$ равен размеру числителя $\mathbf {y}$ и номер столбца ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$ равен размеру x ^Т .
2. Расположение знаменателя , т.е. расположение по y ^Т и x (т.е. в противоположность y ). Иногда это называют формулировкой Гессе . Некоторые авторы называют эту схему градиентом в отличие от якобиана (схемы числителя), который является его транспонированием. (Однако градиент чаще означает производную ${\frac {\partial y}{\partial \mathbf {x} }},$ независимо от планировки). Это соответствует макету n×m в предыдущем примере, что означает, что номер строки ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$ равен размеру x (знаменатель).
3. Иногда рассматривается третья возможность — настаивать на записи производной в виде ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},$ (т.е. производная берется относительно транспонирования x ) и следуйте расположению числителя. Это позволяет утверждать, что матрица раскладывается как по числителю, так и по знаменателю. На практике это дает такие же результаты, как и расположение числителя.

При работе с градиентом ${\frac {\partial y}{\partial \mathbf {x} }}$ и обратный случай ${\frac {\partial \mathbf {y} }{\partial x}},$ у нас те же проблемы. Чтобы быть последовательными, нам следует сделать одно из следующих действий:

1. Если мы выберем расположение числителя для ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},$ мы должны выложить градиент ${\frac {\partial y}{\partial \mathbf {x} }}$ как вектор-строка, и ${\frac {\partial \mathbf {y} }{\partial x}}$ как вектор-столбец.
2. Если мы выберем расположение знаменателя для ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},$ мы должны выложить градиент ${\frac {\partial y}{\partial \mathbf {x} }}$ как вектор-столбец, и ${\frac {\partial \mathbf {y} }{\partial x}}$ как вектор-строка.
3. В третьей возможности выше мы пишем ${\frac {\partial y}{\partial \mathbf {x} '}}$ и ${\frac {\partial \mathbf {y} }{\partial x}},$ и используйте макет числителя.

Не все учебники и статьи по математике единообразны в этом отношении. То есть иногда разные условные обозначения используются в разных контекстах одной и той же книги или статьи. Например, некоторые выбирают расположение знаменателя для градиентов (расположение их в виде векторов-столбцов), но расположение числителя для повекторной производной. ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.$

Аналогично, когда речь идет о скалярных производных ${\frac {\partial y}{\partial \mathbf {X} }}$ и скалярные производные матрицы ${\frac {\partial \mathbf {Y} }{\partial x}},$ затем согласованное расположение числителя распределяется в соответствии с Y и X ^Т , в то время как согласованное расположение знаменателя расположено в соответствии с Y ^Т и Х. ​Однако на практике, следуя схеме знаменателя для ${\frac {\partial \mathbf {Y} }{\partial x}},$ и раскладываем результат по Y ^Т , встречается редко, поскольку приводит к уродливым формулам, не соответствующим скалярным формулам. В результате часто можно встретить следующие макеты:

1. Последовательное расположение числителя , в котором ${\frac {\partial \mathbf {Y} }{\partial x}}$ согласно Y и ${\frac {\partial y}{\partial \mathbf {X} }}$ по мнению Х ^Т .
2. Смешанная планировка , в которой раскладывается ${\frac {\partial \mathbf {Y} }{\partial x}}$ согласно Y и ${\frac {\partial y}{\partial \mathbf {X} }}$ мнению Х. по
3. Используйте обозначения ${\frac {\partial y}{\partial \mathbf {X} '}},$ с теми же результатами, что и при последовательном расположении числителя.

В следующих формулах мы обрабатываем пять возможных комбинаций. ${\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}$ и ${\frac {\partial \mathbf {Y} }{\partial x}}$ отдельно. Мы также рассматриваем случаи поскалярных производных, которые включают промежуточный вектор или матрицу. (Это может возникнуть, например, если многомерная параметрическая кривая определена через скалярную переменную, а затем берется производная скалярной функции кривой по скаляру, который параметризует кривую.) Для каждого Из различных комбинаций мы приводим результаты с расположением числителя и знаменателя, за исключением случаев, описанных выше, когда расположение знаменателя встречается редко. В случаях, когда это имеет смысл, мы даем результаты с числителем и смешанным расположением. Как отмечалось выше, случаи, когда знаменатели векторов и матриц записаны в записи транспонирования, эквивалентны расположению числителя, в котором знаменатели записаны без транспонирования.

Имейте в виду, что разные авторы используют разные комбинации расположения числителя и знаменателя для разных типов производных, и нет никакой гарантии, что автор будет последовательно использовать расположение числителя или знаменателя для всех типов. Сопоставьте приведенные ниже формулы с формулами, указанными в источнике, чтобы определить структуру, используемую для этого конкретного типа производной, но будьте осторожны и не предполагайте, что производные других типов обязательно имеют ту же структуру.

При использовании производных с агрегатным (векторным или матричным) знаменателем для нахождения максимума или минимума агрегата следует иметь в виду, что использование расположения числителя приведет к получению результатов, транспонированных по отношению к агрегату. Например, при попытке найти максимального правдоподобия оценку многомерного нормального распределения с помощью матричного исчисления, если областью определения является вектор-столбец k × 1, то результат с использованием схемы числителя будет в форме 1 × k. вектора-строки . Таким образом, либо результаты следует транспонировать в конце, либо следует использовать раскладку знаменателя (или смешанную раскладку).

Результат дифференциации различных видов агрегатов с другими видами агрегатов.

		Скалярный у		Вектор-столбец y (размер m ×1 )		Матрица Y (размер m × n )
		Обозначения	Тип	Обозначения	Тип	Обозначения	Тип
Скаляр х	Числитель	${\frac {\partial y}{\partial x}}$	Скаляр	${\frac {\partial \mathbf {y} }{\partial x}}$	Size- m Вектор-столбец	${\frac {\partial \mathbf {Y} }{\partial x}}$	m × n матрица
	Знаменатель				Размер- м вектор-строка
Вектор-столбец x (размер n × 1 )	Числитель	${\frac {\partial y}{\partial \mathbf {x} }}$	Размер - n вектор-строка	${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$	m × n матрица	${\frac {\partial \mathbf {Y} }{\partial \mathbf {x} }}$
	Знаменатель		Размер- n вектор-столбец		n × m матрица
Матрица Х (размер p × q )	Числитель	${\frac {\partial y}{\partial \mathbf {X} }}$	q × p матрица	${\frac {\partial \mathbf {y} }{\partial \mathbf {X} }}$		${\frac {\partial \mathbf {Y} }{\partial \mathbf {X} }}$
	Знаменатель		p × q матрица

Результаты операций будут транспонированы при переключении между форматом числителя и форматом знаменателя.

Обозначение расположения числителя

Используя обозначение расположения числителя, мы имеем:

${\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}$

Следующие определения предоставляются только в формате числителя:

${\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}$

Обозначение расположения знаменателя

Используя обозначение макета знаменателя, мы имеем:

${\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}$

Личности

Как отмечалось выше, как правило, результаты операций будут транспонированы при переключении между форматом числителя и форматом знаменателя.

Чтобы разобраться во всех приведенных ниже тождествах, помните о наиболее важных правилах: правиле цепочки , правиле произведения и правиле сумм . Правило сумм применяется универсально, а правило произведения применяется в большинстве приведенных ниже случаев при условии, что порядок произведений матрицы сохраняется, поскольку произведения матрицы не являются коммутативными. Цепное правило применяется в некоторых случаях, но, к сожалению, не применяется в производных по матрице или по матрице (в последнем случае в основном используется оператор трассировки , применяемый к матрицам). В последнем случае правило произведения также не может быть применено напрямую, но эквивалент можно сделать, приложив немного больше усилий, используя дифференциальные тождества.

Следующие тождества принимают следующие соглашения:

• скаляры a , b , c , d и e постоянны относительно, а скаляры u и v являются функциями одного из x , x или X ;
• векторы a , b , c , d и e являются постоянными относительно, а векторы u и v являются функциями одного из x , x или X ;
• матрицы A , B , C , D и E постоянны относительно, а матрицы U и V являются функциями одного из x , x или X .

Векторные тождества

Это представлено первым, потому что все операции, которые применяются к повекторному дифференцированию, применимы непосредственно к поскалярному или поскалярному дифференцированию просто путем приведения соответствующего вектора в числителе или знаменателе к скаляру.

Идентичность: вектор за вектором ${\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}$

Состояние	Выражение	Расположение числителя, т.е. по y и x Т	Расположение знаменателя, т.е. по y Т и х
a не является функцией x	${\frac {\partial \mathbf {a} }{\partial \mathbf {x} }}=$	$\mathbf {0}$
	${\frac {\partial \mathbf {x} }{\partial \mathbf {x} }}=$	$\mathbf {I}$
A не является функцией x	${\frac {\partial \mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=$	$\mathbf {A}$	$\mathbf {A} ^{\top }$
A не является функцией x	${\frac {\partial \mathbf {x} ^{\top }\mathbf {A} }{\partial \mathbf {x} }}=$	$\mathbf {A} ^{\top }$	$\mathbf {A}$
а не является функцией х , ты знак равно ты ( Икс )	${\frac {\partial a\mathbf {u} }{\partial \,\mathbf {x} }}=$	$a{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$
v = v ( x ) , a не является функцией x	${\frac {\partial v\mathbf {a} }{\partial \mathbf {x} }}=$	$\mathbf {a} {\frac {\partial v}{\partial \mathbf {x} }}$	${\frac {\partial v}{\partial \mathbf {x} }}\mathbf {a} ^{\top }$
v знак равно v ( Икс ) , ты знак равно ты ( Икс )	${\frac {\partial v\mathbf {u} }{\partial \mathbf {x} }}=$	$v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+\mathbf {u} {\frac {\partial v}{\partial \mathbf {x} }}$	$v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial v}{\partial \mathbf {x} }}\mathbf {u} ^{\top }$
A не является функцией x , ты знак равно ты ( Икс )	${\frac {\partial \mathbf {A} \mathbf {u} }{\partial \mathbf {x} }}=$	$\mathbf {A} {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$	${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {A} ^{\top }$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial \mathbf {x} }}=$	${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}$
ты знак равно ты ( Икс )	${\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {x} }}=$	${\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$	${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}$
ты знак равно ты ( Икс )	${\frac {\partial \mathbf {f} (\mathbf {g} (\mathbf {u} ))}{\partial \mathbf {x} }}=$	${\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$	${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}$

Скалярно-векторные тождества

Основные идентичности расположены над толстой черной линией.

Тождества: скалярно-векторное ${\frac {\partial y}{\partial \mathbf {x} }}=\nabla _{\mathbf {x} }y$

Состояние	Выражение	Расположение числителя, то есть по х Т ; результат — вектор-строка	Расположение знаменателя, т.е. по x ; результат — вектор-столбец
a не является функцией x	${\frac {\partial a}{\partial \mathbf {x} }}=$	$\mathbf {0} ^{\top }$	$\mathbf {0}$
а не является функцией х , ты знак равно ты ( Икс )	${\frac {\partial au}{\partial \mathbf {x} }}=$	$a{\frac {\partial u}{\partial \mathbf {x} }}$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (u+v)}{\partial \mathbf {x} }}=$	${\frac {\partial u}{\partial \mathbf {x} }}+{\frac {\partial v}{\partial \mathbf {x} }}$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial uv}{\partial \mathbf {x} }}=$	$u{\frac {\partial v}{\partial \mathbf {x} }}+v{\frac {\partial u}{\partial \mathbf {x} }}$
ты знак равно ты ( Икс )	${\frac {\partial g(u)}{\partial \mathbf {x} }}=$	${\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {x} }}$
ты знак равно ты ( Икс )	${\frac {\partial f(g(u))}{\partial \mathbf {x} }}=$	${\frac {\partial f(g)}{\partial g}}{\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {x} }}$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (\mathbf {u} \cdot \mathbf {v} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {u} ^{\top }\mathbf {v} }{\partial \mathbf {x} }}=$	$\mathbf {u} ^{\top }{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}+\mathbf {v} ^{\top }{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$ ${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}$ в макете числителя	${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {v} +{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}\mathbf {u}$ ${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}$ в знаменателе
ты знак равно ты ( Икс ) , v знак равно v ( Икс ) , A не является функцией x	${\frac {\partial (\mathbf {u} \cdot \mathbf {A} \mathbf {v} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {u} ^{\top }\mathbf {A} \mathbf {v} }{\partial \mathbf {x} }}=$	$\mathbf {u} ^{\top }\mathbf {A} {\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}+\mathbf {v} ^{\top }\mathbf {A} ^{\top }{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$ ${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}$ в макете числителя	${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {A} \mathbf {v} +{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}\mathbf {A} ^{\top }\mathbf {u}$ ${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}$ в знаменателе
	${\frac {\partial ^{2}f}{\partial \mathbf {x} \partial \mathbf {x} ^{\top }}}=$	$\mathbf {H} ^{\top }$	$\mathbf {H}$, матрица Гессе
a не является функцией x	${\frac {\partial (\mathbf {a} \cdot \mathbf {x} )}{\partial \mathbf {x} }}={\frac {\partial (\mathbf {x} \cdot \mathbf {a} )}{\partial \mathbf {x} }}=$ ${\frac {\partial \mathbf {a} ^{\top }\mathbf {x} }{\partial \mathbf {x} }}={\frac {\partial \mathbf {x} ^{\top }\mathbf {a} }{\partial \mathbf {x} }}=$	$\mathbf {a} ^{\top }$	$\mathbf {a}$
A не является функцией x b не является функцией x	${\frac {\partial \mathbf {b} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=$	$\mathbf {b} ^{\top }\mathbf {A}$	$\mathbf {A} ^{\top }\mathbf {b}$
A не является функцией x	${\frac {\partial \mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=$	$\mathbf {x} ^{\top }\left(\mathbf {A} +\mathbf {A} ^{\top }\right)$	$\left(\mathbf {A} +\mathbf {A} ^{\top }\right)\mathbf {x}$
A не является функцией x А ​ симметричен	${\frac {\partial \mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=$	$2\mathbf {x} ^{\top }\mathbf {A}$	$2\mathbf {A} \mathbf {x}$
A не является функцией x	${\frac {\partial ^{2}\mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} \partial \mathbf {x} ^{\top }}}=$	$\mathbf {A} +\mathbf {A} ^{\top }$
A не является функцией x А ​ симметричен	${\frac {\partial ^{2}\mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} \partial \mathbf {x} ^{\top }}}=$	$2\mathbf {A}$
	${\frac {\partial (\mathbf {x} \cdot \mathbf {x} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {x} ^{\top }\mathbf {x} }{\partial \mathbf {x} }}={\frac {\partial \left\Vert \mathbf {x} \right\Vert ^{2}}{\partial \mathbf {x} }}=$	$2\mathbf {x} ^{\top }$	$2\mathbf {x}$
а не является функцией х , ты знак равно ты ( Икс )	${\frac {\partial (\mathbf {a} \cdot \mathbf {u} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {a} ^{\top }\mathbf {u} }{\partial \mathbf {x} }}=$	$\mathbf {a} ^{\top }{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$ ${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$ в макете числителя	${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {a}$ ${\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}$ в знаменателе
a , b не являются функциями x	${\frac {\partial \;{\textbf {a}}^{\top }{\textbf {x}}{\textbf {x}}^{\top }{\textbf {b}}}{\partial \;{\textbf {x}}}}=$	${\textbf {x}}^{\top }\left({\textbf {a}}{\textbf {b}}^{\top }+{\textbf {b}}{\textbf {a}}^{\top }\right)$	$\left({\textbf {a}}{\textbf {b}}^{\top }+{\textbf {b}}{\textbf {a}}^{\top }\right){\textbf {x}}$
A , b , C , D , e не являются функциями x	${\frac {\partial \;({\textbf {A}}{\textbf {x}}+{\textbf {b}})^{\top }{\textbf {C}}({\textbf {D}}{\textbf {x}}+{\textbf {e}})}{\partial \;{\textbf {x}}}}=$	$({\textbf {D}}{\textbf {x}}+{\textbf {e}})^{\top }{\textbf {C}}^{\top }{\textbf {A}}+({\textbf {A}}{\textbf {x}}+{\textbf {b}})^{\top }{\textbf {C}}{\textbf {D}}$	${\textbf {D}}^{\top }{\textbf {C}}^{\top }({\textbf {A}}{\textbf {x}}+{\textbf {b}})+{\textbf {A}}^{\top }{\textbf {C}}({\textbf {D}}{\textbf {x}}+{\textbf {e}})$
a не является функцией x	${\frac {\partial \;\|\mathbf {x} -\mathbf {a} \|}{\partial \;\mathbf {x} }}=$	${\frac {(\mathbf {x} -\mathbf {a} )^{\top }}{\|\mathbf {x} -\mathbf {a} \|}}$	${\frac {\mathbf {x} -\mathbf {a} }{\|\mathbf {x} -\mathbf {a} \|}}$

Векторно-скалярные тождества

Идентичность: вектор по скаляру ${\frac {\partial \mathbf {y} }{\partial x}}$

Состояние	Выражение	Расположение числителя, т.е. по y , результат — вектор-столбец	Расположение знаменателя, т.е. по y Т , результат — вектор-строка
a не является функцией x	${\frac {\partial \mathbf {a} }{\partial x}}=$	$\mathbf {0}$
а не является функцией х , ты знак равно ты ( Икс )	${\frac {\partial a\mathbf {u} }{\partial x}}=$	$a{\frac {\partial \mathbf {u} }{\partial x}}$
A не является функцией x , ты знак равно ты ( Икс )	${\frac {\partial \mathbf {A} \mathbf {u} }{\partial x}}=$	$\mathbf {A} {\frac {\partial \mathbf {u} }{\partial x}}$	${\frac {\partial \mathbf {u} }{\partial x}}\mathbf {A} ^{\top }$
ты знак равно ты ( Икс )	${\frac {\partial \mathbf {u} ^{\top }}{\partial x}}=$	$\left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial x}}=$	${\frac {\partial \mathbf {u} }{\partial x}}+{\frac {\partial \mathbf {v} }{\partial x}}$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (\mathbf {u} ^{\top }\times \mathbf {v} )}{\partial x}}=$	$\left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }\times \mathbf {v} +\mathbf {u} ^{\top }\times {\frac {\partial \mathbf {v} }{\partial x}}$	${\frac {\partial \mathbf {u} }{\partial x}}\times \mathbf {v} +\mathbf {u} ^{\top }\times \left({\frac {\partial \mathbf {v} }{\partial x}}\right)^{\top }$
ты знак равно ты ( Икс )	${\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial x}}=$	${\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}$	${\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}$
		Предполагается последовательная компоновка матрицы; см. ниже.
ты знак равно ты ( Икс )	${\frac {\partial \mathbf {f} (\mathbf {g} (\mathbf {u} ))}{\partial x}}=$	${\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}$	${\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}$
		Предполагается последовательная компоновка матрицы; см. ниже.
U знак равно U ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (\mathbf {U} \times \mathbf {v} )}{\partial x}}=$	${\frac {\partial \mathbf {U} }{\partial x}}\times \mathbf {v} +\mathbf {U} \times {\frac {\partial \mathbf {v} }{\partial x}}$	$\mathbf {v} ^{\top }\times \left({\frac {\partial \mathbf {U} }{\partial x}}\right)+{\frac {\partial \mathbf {v} }{\partial x}}\times \mathbf {U} ^{\top }$

ПРИМЕЧАНИЕ . Формулы, включающие повекторные производные ${\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}$ и ${\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}$ (чьи выходные данные являются матрицами) предполагают, что матрицы расположены в соответствии с векторной компоновкой, т.е. матрица компоновки числителя, когда вектор компоновки числителя, и наоборот; в противном случае транспонируйте повекторные производные.

Скалярно-матричные тождества

Обратите внимание, что точных эквивалентов правила скалярного произведения и правила цепочки не существует применительно к матричным функциям матриц. Однако правило произведения такого рода применимо к дифференциальной форме (см. ниже), и это способ получения многих из приведенных ниже тождеств с использованием функции трассировки в сочетании с тем фактом, что функция трассировки допускает транспонирование и циклическую перестановку. то есть:

${\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}$

Например, чтобы вычислить ${\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:$

$${\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}$$

Поэтому,

${\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .$ (расположение числителя)

${\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .$ (расположение знаменателя)

(Последний шаг см. в разделе «Преобразование дифференциальной формы в производную ».)

Тождества: скаляр по матрице ${\frac {\partial y}{\partial \mathbf {X} }}$

Состояние	Выражение	Расположение числителя, т.е. по X Т	Расположение знаменателя, т.е. по X
a не является функцией X	${\frac {\partial a}{\partial \mathbf {X} }}=$	$\mathbf {0} ^{\top }$	$\mathbf {0}$
а не является функцией от X , ты знак равно ты ( Икс )	${\frac {\partial au}{\partial \mathbf {X} }}=$	$a{\frac {\partial u}{\partial \mathbf {X} }}$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (u+v)}{\partial \mathbf {X} }}=$	${\frac {\partial u}{\partial \mathbf {X} }}+{\frac {\partial v}{\partial \mathbf {X} }}$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial uv}{\partial \mathbf {X} }}=$	$u{\frac {\partial v}{\partial \mathbf {X} }}+v{\frac {\partial u}{\partial \mathbf {X} }}$
ты знак равно ты ( Икс )	${\frac {\partial g(u)}{\partial \mathbf {X} }}=$	${\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {X} }}$
ты знак равно ты ( Икс )	${\frac {\partial f(g(u))}{\partial \mathbf {X} }}=$	${\frac {\partial f(g)}{\partial g}}{\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {X} }}$
U знак равно U ( Икс )	${\frac {\partial g(\mathbf {U} )}{\partial X_{ij}}}=$	$\operatorname {tr} \left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}{\frac {\partial \mathbf {U} }{\partial X_{ij}}}\right)$	$\operatorname {tr} \left(\left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}\right)^{\top }{\frac {\partial \mathbf {U} }{\partial X_{ij}}}\right)$
		Обе формы предполагают расположение числителя для ${\frac {\partial \mathbf {U} }{\partial X_{ij}}},$ т.е. смешанная раскладка, если раскладка знаменателя для X. используется
a и b не являются функциями X	${\frac {\partial \mathbf {a} ^{\top }\mathbf {X} \mathbf {b} }{\partial \mathbf {X} }}=$	$\mathbf {b} \mathbf {a} ^{\top }$	$\mathbf {a} \mathbf {b} ^{\top }$
a и b не являются функциями X	${\frac {\partial \mathbf {a} ^{\top }\mathbf {X} ^{\top }\mathbf {b} }{\partial \mathbf {X} }}=$	$\mathbf {a} \mathbf {b} ^{\top }$	$\mathbf {b} \mathbf {a} ^{\top }$
a , b и C не являются функциями X	${\frac {\partial (\mathbf {X} \mathbf {a} +\mathbf {b} )^{\top }\mathbf {C} (\mathbf {X} \mathbf {a} +\mathbf {b} )}{\partial \mathbf {X} }}=$	$\left(\left(\mathbf {C} +\mathbf {C} ^{\top }\right)(\mathbf {X} \mathbf {a} +\mathbf {b} )\mathbf {a} ^{\top }\right)^{\top }$	$\left(\mathbf {C} +\mathbf {C} ^{\top }\right)(\mathbf {X} \mathbf {a} +\mathbf {b} )\mathbf {a} ^{\top }$
a , b и C не являются функциями X	${\frac {\partial (\mathbf {X} \mathbf {a} )^{\top }\mathbf {C} (\mathbf {X} \mathbf {b} )}{\partial \mathbf {X} }}=$	$\left(\mathbf {C} \mathbf {X} \mathbf {b} \mathbf {a} ^{\top }+\mathbf {C} ^{\top }\mathbf {X} \mathbf {a} \mathbf {b} ^{\top }\right)^{\top }$	$\mathbf {C} \mathbf {X} \mathbf {b} \mathbf {a} ^{\top }+\mathbf {C} ^{\top }\mathbf {X} \mathbf {a} \mathbf {b} ^{\top }$
	${\frac {\partial \operatorname {tr} (\mathbf {X} )}{\partial \mathbf {X} }}=$	$\mathbf {I}$
U знак равно U ( Икс ) , V знак равно V ( Икс )	${\frac {\partial \operatorname {tr} (\mathbf {U} +\mathbf {V} )}{\partial \mathbf {X} }}=$	${\frac {\partial \operatorname {tr} (\mathbf {U} )}{\partial \mathbf {X} }}+{\frac {\partial \operatorname {tr} (\mathbf {V} )}{\partial \mathbf {X} }}$
a не является функцией X , U знак равно U ( Икс )	${\frac {\partial \operatorname {tr} (a\mathbf {U} )}{\partial \mathbf {X} }}=$	$a{\frac {\partial \operatorname {tr} (\mathbf {U} )}{\partial \mathbf {X} }}$
g ( X ) — любой полином со скалярными коэффициентами или любая матричная функция, определенная бесконечным полиномиальным рядом (например, e Х , sin( X ) , cos( X ) , ln( X ) и т. д. с использованием ряда Тейлора ); g ( x ) — эквивалентная скалярная функция, g ′ ( x ) — ее производная, а g ′ ( X ) — соответствующая матричная функция	${\frac {\partial \operatorname {tr} (\mathbf {g(X)} )}{\partial \mathbf {X} }}=$	$\mathbf {g} '(\mathbf {X} )$	$\left(\mathbf {g} '(\mathbf {X} )\right)^{\top }$
A не является функцией X	${\frac {\partial \operatorname {tr} (\mathbf {AX} )}{\partial \mathbf {X} }}={\frac {\partial \operatorname {tr} (\mathbf {XA} )}{\partial \mathbf {X} }}=$	$\mathbf {A}$	$\mathbf {A} ^{\top }$
A не является функцией X	${\frac {\partial \operatorname {tr} \left(\mathbf {AX^{\top }} \right)}{\partial \mathbf {X} }}={\frac {\partial \operatorname {tr} \left(\mathbf {X^{\top }A} \right)}{\partial \mathbf {X} }}=$	$\mathbf {A} ^{\top }$	$\mathbf {A}$
A не является функцией X	${\frac {\partial \operatorname {tr} \left(\mathbf {X^{\top }AX} \right)}{\partial \mathbf {X} }}=$	$\mathbf {X} ^{\top }\left(\mathbf {A} +\mathbf {A} ^{\top }\right)$	$\left(\mathbf {A} +\mathbf {A} ^{\top }\right)\mathbf {X}$
A не является функцией X	${\frac {\partial \operatorname {tr} (\mathbf {X^{-1}A} )}{\partial \mathbf {X} }}=$	$-\mathbf {X} ^{-1}\mathbf {A} \mathbf {X} ^{-1}$	$-\left(\mathbf {X} ^{-1}\right)^{\top }\mathbf {A} ^{\top }\left(\mathbf {X} ^{-1}\right)^{\top }$
A , B не являются функциями X	${\frac {\partial \operatorname {tr} (\mathbf {AXB} )}{\partial \mathbf {X} }}={\frac {\partial \operatorname {tr} (\mathbf {BAX} )}{\partial \mathbf {X} }}=$	$\mathbf {BA}$	$\mathbf {A^{\top }B^{\top }}$
A , B , C не являются функциями X	${\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=$	$\mathbf {BX^{\top }CA} +\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }}$	$\mathbf {A^{\top }C^{\top }XB^{\top }} +\mathbf {CAXB}$
n — положительное целое число	${\frac {\partial \operatorname {tr} \left(\mathbf {X} ^{n}\right)}{\partial \mathbf {X} }}=$	$n\mathbf {X} ^{n-1}$	$n\left(\mathbf {X} ^{n-1}\right)^{\top }$
A не является функцией X , n — положительное целое число	${\frac {\partial \operatorname {tr} \left(\mathbf {A} \mathbf {X} ^{n}\right)}{\partial \mathbf {X} }}=$	$\sum _{i=0}^{n-1}\mathbf {X} ^{i}\mathbf {A} \mathbf {X} ^{n-i-1}$	$\sum _{i=0}^{n-1}\left(\mathbf {X} ^{i}\mathbf {A} \mathbf {X} ^{n-i-1}\right)^{\top }$
	${\frac {\partial \operatorname {tr} \left(e^{\mathbf {X} }\right)}{\partial \mathbf {X} }}=$	$e^{\mathbf {X} }$	$\left(e^{\mathbf {X} }\right)^{\top }$
	${\frac {\partial \operatorname {tr} (\sin(\mathbf {X} ))}{\partial \mathbf {X} }}=$	$\cos(\mathbf {X} )$	$(\cos(\mathbf {X} ))^{\top }$
	${\frac {\partial |\mathbf {X} |}{\partial \mathbf {X} }}=$	$\operatorname {cofactor} (X)^{\top }=|\mathbf {X} |\mathbf {X} ^{-1}$	$\operatorname {cofactor} (X)=|\mathbf {X} |\left(\mathbf {X} ^{-1}\right)^{\top }$
a не является функцией X	${\frac {\partial \ln |a\mathbf {X} |}{\partial \mathbf {X} }}=$	$\mathbf {X} ^{-1}$	$\left(\mathbf {X} ^{-1}\right)^{\top }$
A , B не являются функциями X	${\frac {\partial |\mathbf {AXB} |}{\partial \mathbf {X} }}=$	$|\mathbf {AXB} |\mathbf {X} ^{-1}$	$|\mathbf {AXB} |\left(\mathbf {X} ^{-1}\right)^{\top }$
n — положительное целое число	${\frac {\partial \left|\mathbf {X} ^{n}\right|}{\partial \mathbf {X} }}=$	$n\left|\mathbf {X} ^{n}\right|\mathbf {X} ^{-1}$	$n\left|\mathbf {X} ^{n}\right|\left(\mathbf {X} ^{-1}\right)^{\top }$
(см. псевдообратный )	${\frac {\partial \ln \left|\mathbf {X} ^{\top }\mathbf {X} \right|}{\partial \mathbf {X} }}=$	$2\mathbf {X} ^{+}$	$2\left(\mathbf {X} ^{+}\right)^{\top }$
(см. псевдообратный )	${\frac {\partial \ln \left|\mathbf {X} ^{\top }\mathbf {X} \right|}{\partial \mathbf {X} ^{+}}}=$	$-2\mathbf {X}$	$-2\mathbf {X} ^{\top }$
A не является функцией X , X квадратный и обратимый	${\frac {\partial \left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|}{\partial \mathbf {X} }}=$	$2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\mathbf {X} ^{-1}=2\left|\mathbf {X^{\top }} \right||\mathbf {A} ||\mathbf {X} |\mathbf {X} ^{-1}$	$2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\left(\mathbf {X} ^{-1}\right)^{\top }$
A не является функцией X , X неквадратный, А симметричен	${\frac {\partial \left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|}{\partial \mathbf {X} }}=$	$2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\left(\mathbf {X^{\top }A^{\top }X} \right)^{-1}\mathbf {X^{\top }A^{\top }}$	$2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\mathbf {AX} \left(\mathbf {X^{\top }AX} \right)^{-1}$
A не является функцией X , X неквадратный, А несимметричен	${\frac {\partial |\mathbf {X^{\top }} \mathbf {A} \mathbf {X} |}{\partial \mathbf {X} }}=$	${\begin{aligned}\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|{\Big (}&\left(\mathbf {X^{\top }AX} \right)^{-1}\mathbf {X^{\top }A} +{}\\&\left(\mathbf {X^{\top }A^{\top }X} \right)^{-1}\mathbf {X^{\top }A^{\top }} {\Big )}\end{aligned}}$	${\begin{aligned}\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|{\Big (}&\mathbf {AX} \left(\mathbf {X^{\top }AX} \right)^{-1}+{}\\&\mathbf {A^{\top }X} \left(\mathbf {X^{\top }A^{\top }X} \right)^{-1}{\Big )}\end{aligned}}$

Матричные скалярные тождества

Тождества: матрица по скаляру ${\frac {\partial \mathbf {Y} }{\partial x}}$

Состояние	Выражение	Расположение числителя, т.е. по Y
U знак равно U ( Икс )	${\frac {\partial a\mathbf {U} }{\partial x}}=$	$a{\frac {\partial \mathbf {U} }{\partial x}}$
A , B не являются функциями x , U знак равно U ( Икс )	${\frac {\partial \mathbf {AUB} }{\partial x}}=$	$\mathbf {A} {\frac {\partial \mathbf {U} }{\partial x}}\mathbf {B}$
U знак равно U ( Икс ) , V знак равно V ( Икс )	${\frac {\partial (\mathbf {U} +\mathbf {V} )}{\partial x}}=$	${\frac {\partial \mathbf {U} }{\partial x}}+{\frac {\partial \mathbf {V} }{\partial x}}$
U знак равно U ( Икс ) , V знак равно V ( Икс )	${\frac {\partial (\mathbf {U} \mathbf {V} )}{\partial x}}=$	$\mathbf {U} {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\mathbf {V}$
U знак равно U ( Икс ) , V знак равно V ( Икс )	${\frac {\partial (\mathbf {U} \otimes \mathbf {V} )}{\partial x}}=$	$\mathbf {U} \otimes {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\otimes \mathbf {V}$
U знак равно U ( Икс ) , V знак равно V ( Икс )	${\frac {\partial (\mathbf {U} \circ \mathbf {V} )}{\partial x}}=$	$\mathbf {U} \circ {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\circ \mathbf {V}$
U знак равно U ( Икс )	${\frac {\partial \mathbf {U} ^{-1}}{\partial x}}=$	$-\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\mathbf {U} ^{-1}$
U знак равно U ( Икс , у )	${\frac {\partial ^{2}\mathbf {U} ^{-1}}{\partial x\partial y}}=$	$\mathbf {U} ^{-1}\left({\frac {\partial \mathbf {U} }{\partial x}}\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial y}}-{\frac {\partial ^{2}\mathbf {U} }{\partial x\partial y}}+{\frac {\partial \mathbf {U} }{\partial y}}\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)\mathbf {U} ^{-1}$
A не является функцией x , g ( X ) — любой многочлен со скалярными коэффициентами или любая матричная функция, определяемая бесконечным полиномиальным рядом (например, e Х , sin( X ) , cos( X ) , ln( X ) и т. д.); g ( x ) — эквивалентная скалярная функция, g ′ ( x ) – ее производная, а g ′ ( X ) – соответствующая матричная функция	${\frac {\partial \,\mathbf {g} (x\mathbf {A} )}{\partial x}}=$	$\mathbf {A} \mathbf {g} '(x\mathbf {A} )=\mathbf {g} '(x\mathbf {A} )\mathbf {A}$
A не является функцией x	${\frac {\partial e^{x\mathbf {A} }}{\partial x}}=$	$\mathbf {A} e^{x\mathbf {A} }=e^{x\mathbf {A} }\mathbf {A}$

См. Также: Производная экспоненциальной карты.

Скалярные тождества

С участием векторов

Тождества: поскалярно, с участием векторов.

Состояние	Выражение	Любой макет (предполагается, что скалярное произведение игнорирует расположение строк и столбцов)
ты знак равно ты ( Икс )	${\frac {\partial g(\mathbf {u} )}{\partial x}}=$	${\frac {\partial g(\mathbf {u} )}{\partial \mathbf {u} }}\cdot {\frac {\partial \mathbf {u} }{\partial x}}$
ты знак равно ты ( Икс ) , v знак равно v ( Икс )	${\frac {\partial (\mathbf {u} \cdot \mathbf {v} )}{\partial x}}=$	$\mathbf {u} \cdot {\frac {\partial \mathbf {v} }{\partial x}}+{\frac {\partial \mathbf {u} }{\partial x}}\cdot \mathbf {v}$

С участием матриц

Тождества: поскалярно, с участием матриц.

Состояние	Выражение	Последовательное расположение числителя, т.е. по Y и X Т	Смешанная планировка, т.е. по Y и X
U знак равно U ( Икс )	${\frac {\partial |\mathbf {U} |}{\partial x}}=$	$|\mathbf {U} |\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)$
U знак равно U ( Икс )	${\frac {\partial \ln |\mathbf {U} |}{\partial x}}=$	$\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)$
U знак равно U ( Икс )	${\frac {\partial ^{2}|\mathbf {U} |}{\partial x^{2}}}=$	$\left|\mathbf {U} \right|\left[\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial ^{2}\mathbf {U} }{\partial x^{2}}}\right)+\operatorname {tr} ^{2}\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)-\operatorname {tr} \left(\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)^{2}\right)\right]$
U знак равно U ( Икс )	${\frac {\partial g(\mathbf {U} )}{\partial x}}=$	$\operatorname {tr} \left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}{\frac {\partial \mathbf {U} }{\partial x}}\right)$	$\operatorname {tr} \left(\left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}\right)^{\top }{\frac {\partial \mathbf {U} }{\partial x}}\right)$
A не является функцией x , g ( X ) — любой многочлен со скалярными коэффициентами или любая матричная функция, определяемая бесконечным полиномиальным рядом (например, e Х , sin( X ) , cos( X ) , ln( X ) и т. д.); g ( x ) — эквивалентная скалярная функция, g ′ ( x ) – ее производная, а g ′ ( X ) – соответствующая матричная функция.	${\frac {\partial \operatorname {tr} (\mathbf {g} (x\mathbf {A} ))}{\partial x}}=$	$\operatorname {tr} \left(\mathbf {A} \mathbf {g} '(x\mathbf {A} )\right)$
A не является функцией x	${\frac {\partial \operatorname {tr} \left(e^{x\mathbf {A} }\right)}{\partial x}}=$	$\operatorname {tr} \left(\mathbf {A} e^{x\mathbf {A} }\right)$

Тождества в дифференциальной форме

Зачастую проще работать в дифференциальной форме, а затем преобразовать обратно в нормальные производные. Это хорошо работает только при использовании макета числителя. В этих правилах a является скаляром.

Дифференциальные тождества: скаляр, включающий матрицу

Выражение	Результат (расположение числителя)
$d(\operatorname {tr} (\mathbf {X} ))=$	$\operatorname {tr} (d\mathbf {X} )$
$d(|\mathbf {X} |)=$	$|\mathbf {X} |\operatorname {tr} \left(\mathbf {X} ^{-1}d\mathbf {X} \right)=\operatorname {tr} (\operatorname {adj} (\mathbf {X} )d\mathbf {X} )$
$d(\ln |\mathbf {X} |)=$	$\operatorname {tr} \left(\mathbf {X} ^{-1}d\mathbf {X} \right)$

Дифференциальные тождества: матрица

Состояние	Выражение	Результат (расположение числителя)
A не является функцией X	$d(\mathbf {A} )=$	$0$
a не является функцией X	$d(a\mathbf {X} )=$	$a\,d\mathbf {X}$
	$d(\mathbf {X} +\mathbf {Y} )=$	$d\mathbf {X} +d\mathbf {Y}$
	$d(\mathbf {X} \mathbf {Y} )=$	$(d\mathbf {X} )\mathbf {Y} +\mathbf {X} (d\mathbf {Y} )$
( продукт Кронекера )	$d(\mathbf {X} \otimes \mathbf {Y} )=$	$(d\mathbf {X} )\otimes \mathbf {Y} +\mathbf {X} \otimes (d\mathbf {Y} )$
( произведение Адамара )	$d(\mathbf {X} \circ \mathbf {Y} )=$	$(d\mathbf {X} )\circ \mathbf {Y} +\mathbf {X} \circ (d\mathbf {Y} )$
	$d\left(\mathbf {X} ^{\top }\right)=$	$(d\mathbf {X} )^{\top }$
	$d\left(\mathbf {X} ^{-1}\right)=$	$-\mathbf {X} ^{-1}\left(d\mathbf {X} \right)\mathbf {X} ^{-1}$
( сопряженное транспонирование )	$d\left(\mathbf {X} ^{\mathrm {H} }\right)=$	$(d\mathbf {X} )^{\mathrm {H} }$
n — положительное целое число	$d\left(\mathbf {X} ^{n}\right)=$	$\sum _{i=0}^{n-1}\mathbf {X} ^{i}(d\mathbf {X} )\mathbf {X} ^{n-i-1}$
	$d\left(e^{\mathbf {X} }\right)=$	$\int _{0}^{1}e^{a\mathbf {X} }(d\mathbf {X} )e^{(1-a)\mathbf {X} }\,da$
	$d\left(\log {X}\right)=$	$\int _{0}^{\infty }(\mathbf {X} +z\,\mathbf {I} )^{-1}(d\mathbf {X} )(\mathbf {X} +z\,\mathbf {I} )^{-1}\,dz$
$\mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}$ является диагонализируемым $\mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}$ f дифференцируемо значению по каждому собственному $\lambda _{i}$	$d\left(f(\mathbf {X} )\right)=$	$\sum _{ij}\mathbf {P} _{i}(d\mathbf {X} )\mathbf {P} _{j}{\begin{cases}f'(\lambda _{i})&\lambda _{i}=\lambda _{j}\\{\frac {f(\lambda _{i})-f(\lambda _{j})}{\lambda _{i}-\lambda _{j}}}&\lambda _{i}\neq \lambda _{j}\end{cases}}$

В последнем ряду $\delta _{ij}$ это дельта Кронекера и $(\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}$ — это набор операторов ортогонального проектирования, которые проектируются на k -й собственный вектор X . Q — матрица векторов собственных $\mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}$, и $({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}$ являются собственными значениями.Матричная функция $f(\mathbf {X} )$ определяется через скалярную функцию $f(x)$ для диагонализуемых матриц по ${\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}}$ где ${\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}}$ с $\mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}$.

Чтобы преобразовать в нормальную производную форму, сначала преобразуйте ее в одну из следующих канонических форм, а затем используйте эти тождества:

Преобразование из дифференциальной формы в производную

Каноническая дифференциальная форма	Эквивалентная форма производной (расположение числителя)
$dy=a\,dx$	${\frac {dy}{dx}}=a$
$dy=\mathbf {a} ^{\top }d\mathbf {x}$	${\frac {dy}{d\mathbf {x} }}=\mathbf {a} ^{\top }$
$dy=\operatorname {tr} (\mathbf {A} \,d\mathbf {X} )$	${\frac {dy}{d\mathbf {X} }}=\mathbf {A}$
$d\mathbf {y} =\mathbf {a} \,dx$	${\frac {d\mathbf {y} }{dx}}=\mathbf {a}$
$d\mathbf {y} =\mathbf {A} \,d\mathbf {x}$	${\frac {d\mathbf {y} }{d\mathbf {x} }}=\mathbf {A}$
$d\mathbf {Y} =\mathbf {A} \,dx$	${\frac {d\mathbf {Y} }{dx}}=\mathbf {A}$

Приложения

Матричное дифференциальное исчисление используется в статистике и эконометрике, особенно для статистического анализа многомерных распределений , особенно многомерного нормального распределения и других эллиптических распределений .

Он используется в регрессионном анализе для вычисления, например, обычной формулы регрессии наименьших квадратов для случая нескольких независимых переменных . Он также используется в случайных матрицах, статистических моментах, локальной чувствительности и статистической диагностике.

См. также

• Производная (обобщения)
• Интегральный продукт
• Фигурное исчисление
• Тензорная производная

Дальнейшее чтение

• Абадир, Карим М.; Магнус, Ян Р. (2005). Матричная алгебра . Эконометрические упражнения. Кембридж: Издательство Кембриджского университета. ISBN  978-0-511-64796-3 . OCLC   569411497 .
• Лакс, Питер Д. (2007). «9. Исчисление вектор- и матричных функций». Линейная алгебра и ее приложения (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN  978-0-471-75156-4 .
• Магнус, Ян Р. (октябрь 2010 г.). «О понятии матричной производной». Журнал многомерного анализа . 101 (9): 2200–2206. дои : 10.1016/j.jmva.2010.05.005 . . Обратите внимание, что эта статья в Википедии почти полностью изменена по сравнению с версией, критикуемой в этой статье.

Внешние ссылки

Программное обеспечение

• MatrixCalculus.org , веб-сайт для символического вычисления выражений матричного исчисления.
• NCAlgebra с открытым исходным кодом — пакет Mathematica , который имеет некоторые функции матричного исчисления.
• SymPy поддерживает производные символьных матриц в своем модуле матричных выражений , а также символьные тензорные производные в своем модуле выражений массивов .

Информация

• Справочное руководство по матрицам , Майк Брукс, Имперский колледж Лондона .
• Матричное дифференцирование (и некоторые другие материалы) , Рэндал Дж. Барнс, Факультет гражданского строительства, Университет Миннесоты.
• Заметки о матричном исчислении , Пол Л. Факлер, Университет штата Северная Каролина .
• Матричное дифференциальное исчисление. Архивировано 16 сентября 2012 г. в Wayback Machine (слайд-презентация), Чжан Ле, Эдинбургский университет .
• Введение в векторное и матричное дифференцирование (заметки о матричном дифференцировании в контексте эконометрики ), Хейно Бон Нильсен.
• Заметка о дифференцировании матриц (заметки о дифференцировании матриц), Павел Коваль, из Мюнхенского личного архива RePEc.
• Векторное/матричное исчисление. Дополнительные замечания по матричному дифференцированию.
• Матричные тождества (заметки о матричном дифференцировании), Сэм Роуэйс.