ФастИКА

FastICA — эффективный и популярный алгоритм независимого анализа компонентов, изобретенный Аапо Хивариненом из Хельсинкского технологического университета . ^[1]^[2] Как и большинство алгоритмов ICA, FastICA ищет ортогональное вращение предварительно выбеленных с фиксированной точкой данных с помощью схемы итераций , которая максимизирует меру негауссовости повернутых компонентов. Негауссовость служит показателем статистической независимости , которая является очень строгим условием и требует бесконечного количества данных для проверки. FastICA также может быть альтернативно получен как аппроксимативная итерация Ньютона.

Алгоритм

Предварительное отбеливание данных

Пусть $\mathbf {X} :=(x_{ij})\in \mathbb {R} ^{N\times M}$ обозначаем матрицу входных данных, $M$ количество столбцов, соответствующее количеству выборок смешанных сигналов и $N$ количество строк соответствует количеству сигналов независимых источников. Матрица входных данных $\mathbf {X}$ должен быть предварительно отбелен или отцентрирован и отбелен перед применением к нему алгоритма FastICA.

Центрирование данных влечет за собой унижение каждого компонента входных данных. $\mathbf {X}$ , то есть,

x_{ij}\leftarrow x_{ij}-{\frac {1}{M}}\sum _{j^{\prime }}x_{ij^{\prime }}

для каждого

i=1,\ldots ,N

и

j=1,\ldots ,M

. После центрирования каждый ряд

\mathbf {X}

имеет ожидаемую стоимость

0

.

Для отбеливания данных требуется линейное преобразование $\mathbf {L} :\mathbb {R} ^{N\times M}\to \mathbb {R} ^{N\times M}$ центрированных данных так, чтобы компоненты $\mathbf {L} (\mathbf {X} )$ некоррелированы и имеют дисперсию единицу. Точнее, если $\mathbf {X}$ представляет собой центрированную матрицу данных, ковариация $\mathbf {L} _{\mathbf {x} }:=\mathbf {L} (\mathbf {X} )$ это $(N\times N)$ -мерная единичная матрица, т.е.

\mathrm {E} \left\{\mathbf {L} _{\mathbf {x} }\mathbf {L} _{\mathbf {x} }^{T}\right\}=\mathbf {I} _{N}

Распространенным методом отбеливания является выполнение собственным значениям разложения по ковариационной матрицы центрированных данных.

\mathbf {X}

,

E\left\{\mathbf {X} \mathbf {X} ^{T}\right\}=\mathbf {E} \mathbf {D} \mathbf {E} ^{T}

, где

\mathbf {E}

– матрица собственных векторов и

\mathbf {D}

– диагональная матрица собственных значений. Забеленная матрица данных определяется таким образом:

\mathbf {X} \leftarrow \mathbf {D} ^{-1/2}\mathbf {E} ^{T}\mathbf {X} .

Экстракция одного компонента

Итерационный алгоритм находит направление весового вектора $\mathbf {w} \in \mathbb {R} ^{N}$ что максимизирует меру негауссовости проекции $\mathbf {w} ^{T}\mathbf {X}$ , с $\mathbf {X} \in \mathbb {R} ^{N\times M}$ обозначая предварительно обесцвеченную матрицу данных, как описано выше. Обратите внимание, что $\mathbf {w}$ является вектор-столбцом. Для измерения негауссовости FastICA использует неквадратическую нелинейную функцию $f(u)$ , его первая производная $g(u)$ и его вторая производная $g^{\prime }(u)$ . Хиваринен утверждает, что функции

f(u)=\log \cosh(u),\quad g(u)=\tanh(u),\quad {\text{and}}\quad {g}'(u)=1-\tanh ^{2}(u),

полезны для общих целей, в то время как

f(u)=-e^{-u^{2}/2},\quad g(u)=ue^{-u^{2}/2},\quad {\text{and}}\quad {g}'(u)=(1-u^{2})e^{-u^{2}/2}

может быть очень прочным. ^[1] Шаги по извлечению весового вектора $\mathbf {w}$ для одного компонента в FastICA следующие:

Рандомизировать начальный весовой вектор $\mathbf {w}$
Позволять $\mathbf {w} ^{+}\leftarrow E\left\{\mathbf {X} g(\mathbf {w} ^{T}\mathbf {X} )^{T}\right\}-E\left\{g'(\mathbf {w} ^{T}\mathbf {X} )\right\}\mathbf {w}$ , где $E\left\{...\right\}$ означает усреднение по всем векторам-столбцам матрицы $\mathbf {X}$
Позволять $\mathbf {w} \leftarrow \mathbf {w} ^{+}/\|\mathbf {w} ^{+}\|$
Если не сходятся, вернитесь к 2

Многокомпонентная экстракция

Одноблочный итерационный алгоритм оценивает только один весовой вектор, который извлекает один компонент. Оценка дополнительных компонентов, которые являются взаимно «независимыми», требует повторения алгоритма для получения линейно независимых векторов проекции - обратите внимание, что понятие независимости здесь относится к максимизации негауссовости оцениваемых компонентов. Хюваринен предлагает несколько способов извлечения нескольких компонентов, самый простой из которых следующий. Здесь, $\mathbf {1_{M}}$ - вектор-столбец единицы измерения $M$ .

Алгоритм FastICA

Вход:

C

Количество желаемых компонентов

Вход:

\mathbf {X} \in \mathbb {R} ^{N\times M}

Предварительно отбеленная матрица, где каждый столбец представляет собой

N

-размерный образец, где

C<=N

Выход:

\mathbf {W} \in \mathbb {R} ^{N\times C}

Матрица несмешивания, в которой выступает каждый столбец

\mathbf {X}

на независимый компонент.

Выход:

\mathbf {S} \in \mathbb {R} ^{C\times M}

Матрица независимых компонентов, с

M

столбцы, представляющие образец с

C

размеры.

 for p in 1 to C:
     $\mathbf {w_{p}} \leftarrow$  Random vector of length N
    while  $\mathbf {w_{p}}$  changes
         $\mathbf {w_{p}} \leftarrow {\frac {1}{M}}\mathbf {X} g(\mathbf {w_{p}} ^{T}\mathbf {X} )^{T}-{\frac {1}{M}}g'(\mathbf {w_{p}} ^{T}\mathbf {X} )\mathbf {1_{M}} \mathbf {w_{p}}$ 
         $\mathbf {w_{p}} \leftarrow \mathbf {w_{p}} -\sum _{j=1}^{p-1}(\mathbf {w_{p}} ^{T}\mathbf {w_{j}} )\mathbf {w_{j}}$ 
         $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$ 

 output  $\mathbf {W} \leftarrow {\begin{bmatrix}\mathbf {w_{1}} ,\dots ,\mathbf {w_{C}} \end{bmatrix}}$ 

 output  $\mathbf {S} \leftarrow \mathbf {W^{T}} \mathbf {X}$