Независимый от ядра анализ компонентов

В статистике независимый от ядра компонентный анализ (ядро ICA) представляет собой эффективный алгоритм анализа независимых компонентов , который оценивает исходные компоненты путем оптимизации обобщенной функции дисперсионного контраста, основанной на представлениях в воспроизводящем ядерном гильбертовом пространстве . ^{[ 1 ]}^{[ 2 ]} Эти функции контраста используют понятие взаимной информации как меру статистической независимости .

Основная идея

Ядро ICA основано на идее о том, что корреляции между двумя случайными величинами могут быть представлены в воспроизводящем ядерном гильбертовом пространстве (RKHS) , обозначаемом ${\mathcal {F}}$ , связанный с картой объектов $L_{x}:{\mathcal {F}}\mapsto \mathbb {R}$ определенный для фиксированного $x\in \mathbb {R}$ . ${\mathcal {F}}$ -корреляция между двумя случайными величинами $X$ и $Y$ определяется как

\rho _{\mathcal {F}}(X,Y)=\max _{f,g\in {\mathcal {F}}}\operatorname {corr} (\langle L_{X},f\rangle ,\langle L_{Y},g\rangle )

где функции $f,g:\mathbb {R} \to \mathbb {R}$ диапазон более ${\mathcal {F}}$ и

\operatorname {corr} (\langle L_{X},f\rangle ,\langle L_{Y},g\rangle ):={\frac {\operatorname {cov} (f(X),g(Y))}{\operatorname {var} (f(X))^{1/2}\operatorname {var} (g(Y))^{1/2}}}

для фиксированного $f,g\in {\mathcal {F}}$ . ^{[ 1 ]} Обратите внимание, что свойство воспроизводства подразумевает, что $f(x)=\langle L_{x},f\rangle$ для фиксированного $x\in \mathbb {R}$ и $f\in {\mathcal {F}}$ . ^{[ 3 ]} Отсюда следует, что ${\mathcal {F}}$ -корреляция между двумя независимыми случайными величинами равна нулю.

Это понятие ${\mathcal {F}}$ -корреляции используются для определения функций контрастности , оптимизированных в алгоритме ядра ICA. В частности, если $\mathbf {X} :=(x_{ij})\in \mathbb {R} ^{n\times m}$ представляет собой предварительно выбеленную матрицу данных , то есть выборочное среднее каждого столбца равно нулю, а выборочная ковариация строк равна $m\times m$ размерная единичная матрица, Kernel ICA оценивает $m\times m$ размерная ортогональная матрица $\mathbf {A}$ чтобы минимизировать конечную выборку ${\mathcal {F}}$ - корреляции между столбцами $\mathbf {S} :=\mathbf {X} \mathbf {A} ^{\prime }$ .

Ссылки

^ Jump up to: ^а ^б Бах, Фрэнсис Р.; Джордан, Майкл И. (2003). «Анализ компонентов, независимых от ядра» (PDF) . Журнал исследований машинного обучения . 3 : 1–48. дои : 10.1162/153244303768966085 .
^ Бах, Фрэнсис Р.; Джордан, Майкл И. (2003). «Независимый компонентный анализ ядра». Международная конференция IEEE 2003 г. по акустике, речи и обработке сигналов, 2003 г. Материалы. (ICASSP '03) (PDF) . Том. 4. стр. IV-876-9. дои : 10.1109/icassp.2003.1202783 . ISBN 978-0-7803-7663-2 . S2CID 7691428 .
^ Сайто, Сабуро (1988). Теория воспроизведения ядер и ее приложения . Лонгман. ISBN 978-0582035645 .

Эта статистике статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее .

[Bach_Jordan_JMLR_2003-1] Jump up to: ^а ^б Бах, Фрэнсис Р.; Джордан, Майкл И. (2003). «Анализ компонентов, независимых от ядра» (PDF) . Журнал исследований машинного обучения . 3 : 1–48. дои : 10.1162/153244303768966085 .

[Bach_Jordan_ICASSP_2003-2] Бах, Фрэнсис Р.; Джордан, Майкл И. (2003). «Независимый компонентный анализ ядра». Международная конференция IEEE 2003 г. по акустике, речи и обработке сигналов, 2003 г. Материалы. (ICASSP '03) (PDF) . Том. 4. стр. IV-876-9. дои : 10.1109/icassp.2003.1202783 . ISBN 978-0-7803-7663-2 . S2CID 7691428 .

[Saitoh-3] Сайто, Сабуро (1988). Теория воспроизведения ядер и ее приложения . Лонгман. ISBN 978-0582035645 .

[ 1 ]

[ 2 ]

[ 3 ]