коэффициент Рэлея

В математике коэффициент Рэлея ( / ˈ r eɪ . l i / ) для данной комплексной эрмитовой матрицы $M$ и ненулевой вектор $x$ определяется как: $$R(M,x)={x^{*}Mx \over x^{*}x}.$$Для вещественных матриц и векторов условие эрмитовости сводится к условию симметричности , а сопряженное транспонирование $x^{*}$ к обычному транспонированию $x'$. Обратите внимание, что $R(M,cx)=R(M,x)$ для любого ненулевого скаляра $c$. Напомним, что эрмитова (или вещественная симметричная) матрица диагонализируема только с действительными собственными значениями . Можно показать, что для данной матрицы коэффициент Рэлея достигает минимального значения. $\lambda _{\min }$ (наименьшее собственное значение $M$) когда $x$ является $v_{\min }$ (соответствующий собственный вектор ). Сходным образом, $R(M,x)\leq \lambda _{\max }$ и $R(M,v_{\max })=\lambda _{\max }$.

Фактор Рэлея используется в теореме о мин-максе для получения точных значений всех собственных значений. Он также используется в алгоритмах собственных значений (таких как итерация фактора Рэлея ) для получения аппроксимации собственных значений из аппроксимации собственных векторов.

Область действия фактора Рэлея (для любой матрицы, не обязательно эрмитовой) называется числовой областью и содержит ее спектр . Когда матрица эрмитова, числовой радиус равен спектральной норме. Еще в функциональном анализе, $\lambda _{\max }$ известен как спектральный радиус . В контексте $C^{\star }$-алгебры или алгебраическая квантовая механика, функция, которая $M$ связывает фактор Рэлея – Ритца $R(M,x)$ за фиксированную $x$ и $M$ изменение в алгебре будет называться векторным состоянием алгебры.

В квантовой механике коэффициент Рэлея дает математическое ожидание наблюдаемой, соответствующей оператору $M$ для системы, состояние которой определяется выражением $x$.

Если мы исправим комплексную матрицу $M$, то результирующее отображение коэффициентов Рэлея (рассматриваемое как функция $x$) полностью определяет $M$ через тождество поляризации ; действительно, это остается верным, даже если мы допускаем $M$ быть неэрмитовым. Однако если мы ограничим поле скаляров действительными числами, то фактор Рэлея будет определять только симметричную часть $M$.

Границы для эрмитова M

Как указано во введении, для любого вектора x имеет место $R(M,x)\in \left[\lambda _{\min },\lambda _{\max }\right]$, где $\lambda _{\min },\lambda _{\max }$ являются соответственно наименьшими и наибольшими собственными значениями $M$. Это сразу видно после того, как мы заметили, что коэффициент Рэлея представляет собой средневзвешенное значение собственных значений M : $$R(M,x)={x^{*}Mx \over x^{*}x}={\frac {\sum _{i=1}^{n}\lambda _{i}y_{i}^{2}}{\sum _{i=1}^{n}y_{i}^{2}}}$$где $(\lambda _{i},v_{i})$ это $i$-я собственная пара после ортонормировки и $y_{i}=v_{i}^{*}x$ это $i$-я координата x в собственном базисе. Тогда легко проверить, что оценки достигаются на соответствующих собственных векторах $v_{\min },v_{\max }$.

Тот факт, что частное представляет собой средневзвешенное значение собственных значений, можно использовать для определения второго, третьего и... крупнейших собственных значений. Позволять $\lambda _{\max }=\lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{n}=\lambda _{\min }$ — собственные значения в порядке убывания. Если $n=2$ и $x$ ограничена ортогональностью $v_{1}$, в этом случае $y_{1}=v_{1}^{*}x=0$, затем $R(M,x)$ имеет максимальное значение $\lambda _{2}$, что достигается, когда $x=v_{2}$.

Особый случай ковариационных матриц

Эмпирическая ковариационная матрица $M$ можно представить как произведение $A'A$ матрицы данных $A$ предварительно умноженный на его транспонирование $A'$. Будучи положительной полуопределенной матрицей, $M$ имеет неотрицательные собственные значения и ортогональные (или ортогонализуемые) собственные векторы, что можно продемонстрировать следующим образом.

Во-первых, собственные значения $\lambda _{i}$ неотрицательны: $${\begin{aligned}&Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}\\\Rightarrow {}&v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}\\\Rightarrow {}&\left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}\\\Rightarrow {}&\lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0.\end{aligned}}$$

Во-вторых, собственные векторы $v_{i}$ ортогональны друг другу: $${\begin{aligned}&Mv_{i}=\lambda _{i}v_{i}\\\Rightarrow {}&v_{j}'Mv_{i}=v_{j}'\lambda _{i}v_{i}\\\Rightarrow {}&\left(Mv_{j}\right)'v_{i}=\lambda _{j}v_{j}'v_{i}\\\Rightarrow {}&\lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}\\\Rightarrow {}&\left(\lambda _{j}-\lambda _{i}\right)v_{j}'v_{i}=0\\\Rightarrow {}&v_{j}'v_{i}=0\end{aligned}}$$ если собственные значения разные – в случае кратности базис можно ортогонализировать.

Чтобы теперь установить, что коэффициент Рэлея максимизируется собственным вектором с наибольшим собственным значением, рассмотрим разложение произвольного вектора $x$ на основе собственных векторов $v_{i}$: $$x=\sum _{i=1}^{n}\alpha _{i}v_{i},$$где $$\alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}$$это координата $x$ ортогонально проецируется на $v_{i}$. Таким образом, мы имеем: $${\begin{aligned}R(M,x)&={\frac {x'A'Ax}{x'x}}\\&={\frac {{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'\left(A'A\right){\Bigl (}\sum _{i=1}^{n}\alpha _{i}v_{i}{\Bigr )}}{{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'{\Bigl (}\sum _{i=1}^{n}\alpha _{i}v_{i}{\Bigr )}}}\\&={\frac {{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'{\Bigl (}\sum _{i=1}^{n}\alpha _{i}(A'A)v_{i}{\Bigr )}}{{\Bigl (}\sum _{i=1}^{n}\alpha _{i}^{2}{v_{i}}'{v_{i}}{\Bigr )}}}\\&={\frac {{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'{\Bigl (}\sum _{i=1}^{n}\alpha _{i}\lambda _{i}v_{i}{\Bigr )}}{{\Bigl (}\sum _{i=1}^{n}\alpha _{i}^{2}\|{v_{i}}\|^{2}{\Bigr )}}}\end{aligned}}$$который в силу ортонормированности собственных векторов принимает вид: $${\begin{aligned}R(M,x)&={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}\\&=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})^{2}}}\\&=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)}}\end{aligned}}$$

Последнее представление устанавливает, что коэффициент Рэлея представляет собой сумму квадратов косинусов углов, образованных вектором $x$ и каждый собственный вектор $v_{i}$, взвешенный по соответствующим собственным значениям.

Если вектор $x$ максимизирует $R(M,x)$, то любое ненулевое скалярное кратное $kx$ также максимизирует $R$, поэтому задачу можно свести к задаче Лагранжа о максимизации ${\textstyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}$ при условии, что ${\textstyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$.

Определять: $\beta _{i}=\alpha _{i}^{2}$. Тогда это становится линейной программой , которая всегда достигает максимума в одном из углов области. Максимальная точка будет иметь $\alpha _{1}=\pm 1$ и $\alpha _{i}=0$ для всех $i>1$ (когда собственные значения упорядочены по убыванию величины).

Таким образом, фактор Рэлея максимизируется собственным вектором с наибольшим собственным значением.

Формулировка с использованием множителей Лагранжа

Альтернативно, этот результат может быть получен методом множителей Лагранжа . Первая часть — показать, что частное является постоянным при масштабировании. $x\to cx$, где $c$ является скаляром $$R(M,cx)={\frac {(cx)^{*}Mcx}{(cx)^{*}cx}}={\frac {c^{*}c}{c^{*}c}}{\frac {x^{*}Mx}{x^{*}x}}=R(M,x).$$

Ввиду этой инвариантности достаточно изучить частный случай $\|x\|^{2}=x^{T}x=1$. Задача состоит в том, чтобы найти критические точки функции $$R(M,x)=x^{\mathsf {T}}Mx,$$с учетом ограничения $\|x\|^{2}=x^{T}x=1.$ Другими словами, это поиск критических точек $${\mathcal {L}}(x)=x^{\mathsf {T}}Mx-\lambda \left(x^{\mathsf {T}}x-1\right),$$где $\lambda$ является множителем Лагранжа. Стационарные точки ${\mathcal {L}}(x)$ происходить в $${\begin{aligned}&{\frac {d{\mathcal {L}}(x)}{dx}}=0\\\Rightarrow {}&2x^{\mathsf {T}}M-2\lambda x^{\mathsf {T}}=0\\\Rightarrow {}&2Mx-2\lambda x=0{\text{ (taking the transpose of both sides and noting that }}M{\text{ is Hermitian)}}\\\Rightarrow {}&Mx=\lambda x\end{aligned}}$$и $$\therefore R(M,x)={\frac {x^{\mathsf {T}}Mx}{x^{\mathsf {T}}x}}=\lambda {\frac {x^{\mathsf {T}}x}{x^{\mathsf {T}}x}}=\lambda .$$

Следовательно, собственные векторы $x_{1},\ldots ,x_{n}$ из $M$ - критические точки фактора Рэлея и соответствующие им собственные значения $\lambda _{1},\ldots ,\lambda _{n}$ являются стационарными значениями ${\mathcal {L}}$. Это свойство лежит в основе анализа главных компонент и канонической корреляции .

Использование в теории Штурма – Лиувилля.

Теория Штурма – Лиувилля касается действия линейного оператора $$L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)$$во внутреннем пространстве продукта, определяемом формулой $$\langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx$$функций, удовлетворяющих некоторым заданным граничным условиям в точках a и b . В этом случае коэффициент Рэлея равен $${\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.$$

Иногда это представляется в эквивалентной форме, полученной путем разделения интеграла в числителе и использования интегрирования по частям : $${\begin{aligned}{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}&={\frac {\left\{\int _{a}^{b}y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}}\,dx\right\}}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}\\&={\frac {\left\{\left.-y(x)\left[p(x)y'(x)\right]\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}y'(x)\left[p(x)y'(x)\right]\,dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}}\,dx\right\}}{\int _{a}^{b}w(x)y(x)^{2}\,dx}}\\&={\frac {\left\{\left.-p(x)y(x)y'(x)\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx\right\}}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.\end{aligned}}$$

Обобщения

1. Для данной пары ( A , B ) матриц и данного ненулевого вектора x обобщенный фактор Рэлея определяется как: $$R(A,B;x):={\frac {x^{*}Ax}{x^{*}Bx}}.$$ Обобщенный коэффициент Рэлея можно свести к коэффициенту Рэлея. $R(D,C^{*}x)$ через трансформацию $D=C^{-1}A{C^{*}}^{-1}$ где $CC^{*}$ является разложением Холецкого эрмитовой положительно определенной матрицы B .
2. Для данной пары ( x , y ) ненулевых векторов и данной эрмитовой матрицы H обобщенный фактор Рэлея может быть определен как: $$R(H;x,y):={\frac {y^{*}Hx}{\sqrt {y^{*}y\cdot x^{*}x}}}$$ который совпадает с R ( H , x ), когда x = y . В квантовой механике эту величину называют «матричным элементом» или иногда «амплитудой перехода».

См. также

• Числовой диапазон
• Принцип минимакса Куранта
• Теорема Мин-Макса
• Коэффициент Рэлея в анализе вибраций
• собственное значение Дирихле

Дальнейшее чтение

• Ши Ю, Леон-Шарль Траншевант, Барт Мур, Ив Моро, Объединение данных на основе ядра для машинного обучения: методы и приложения в биоинформатике и анализе текста , гл. 2, Спрингер, 2011.