Независимый анализ компонентов

В сигналов обработке анализ независимых компонентов ( ICA ) — это вычислительный метод разделения многомерного сигнала на аддитивные подкомпоненты. Это делается путем предположения, что не более одного подкомпонента является гауссовым и что подкомпоненты статистически независимы друг от друга. ICA был изобретен Жанни Эро и Кристианом Юттеном в 1985 году. ICA представляет собой особый случай слепого разделения источников . Типичным примером применения ICA является « проблема коктейльной вечеринки », когда подслушивают речь одного человека в шумной комнате.

Введение

Duration: 21 seconds.0:21

ICA на четырех случайно смешанных видео. Верхний ряд: оригинальные исходные видео. Средний ряд: четыре случайные смеси, используемые в качестве входных данных для алгоритма. Нижний ряд: восстановленные видео.

Анализ независимых компонентов пытается разложить многомерный сигнал на независимые негауссовы сигналы. Например, звук обычно представляет собой сигнал, который состоит из числового сложения в каждый момент времени t сигналов от нескольких источников. Тогда возникает вопрос, можно ли отделить эти способствующие источники от наблюдаемого общего сигнала. Когда предположение о статистической независимости верно, слепое ICA-разделение смешанного сигнала дает очень хорошие результаты. Он также используется для сигналов, которые не должны генерироваться путем смешивания в целях анализа.

Простым применением ICA является « задача коктейльной вечеринки », где основные речевые сигналы отделяются от выборочных данных, состоящих из людей, говорящих одновременно в комнате. Обычно проблему упрощают, предполагая отсутствие временных задержек или эха. Обратите внимание, что отфильтрованный и задержанный сигнал является копией зависимого компонента, и, таким образом, предположение статистической независимости не нарушается.

Смешивание гирь для построения ${\textstyle M}$ наблюдаемые сигналы от ${\textstyle N}$ компоненты могут быть размещены в ${\textstyle M\times N}$ матрица. Важно учитывать, что если ${\textstyle N}$ источники присутствуют, по крайней мере ${\textstyle N}$ наблюдения (например, микрофоны, если наблюдаемый сигнал является аудио) необходимы для восстановления исходных сигналов. При равном количестве наблюдений и сигналов источников матрица смешивания имеет квадратную форму ( ${\textstyle M=N}$). Другие случаи недоопределения ( ${\textstyle M<N}$) и переопределенные ( ${\textstyle M>N}$) были расследованы.

Успех разделения смешанных сигналов ICA зависит от двух предположений и трех эффектов смешивания исходных сигналов. Два предположения:

1. Исходные сигналы независимы друг от друга.
2. Значения в каждом исходном сигнале имеют негауссово распределение.

Три эффекта микширования исходных сигналов:

1. Независимость: Согласно предположению 1, исходные сигналы независимы; однако их смеси сигналов таковыми не являются. Это связано с тем, что смеси сигналов используют одни и те же исходные сигналы.
2. Нормальность: Согласно центральной предельной теореме , распределение суммы независимых случайных величин с конечной дисперсией стремится к распределению Гаусса.
   Грубо говоря, сумма двух независимых случайных величин обычно имеет распределение, более близкое к гауссовскому, чем распределение любой из двух исходных переменных. Здесь мы рассматриваем значение каждого сигнала как случайную величину.
3. Сложность: временная сложность любой смеси сигналов больше, чем у ее простейшего составного исходного сигнала.

Эти принципы способствуют созданию ICA. Если сигналы, извлеченные из набора смесей, независимы и имеют негауссово распределение или имеют низкую сложность, то они должны быть исходными сигналами.

Определение независимости компонентов

ICA находит независимые компоненты (также называемые факторами, скрытыми переменными или источниками) путем максимизации статистической независимости оцениваемых компонентов. Мы можем выбрать один из многих способов определения прокси-сервера независимости, и этот выбор определяет форму алгоритма ICA. Два самых широких определения независимости ICA:

1. Минимизация взаимной информации
2. Максимизация негауссовости

минимизации взаимной информации Семейство алгоритмов ICA (MMI) использует такие меры, как дивергенция Кульбака-Лейблера и максимальная энтропия . Семейство негауссовости алгоритмов ICA, основанное на центральной предельной теореме , использует эксцесс и негэнтропию .

Типичные алгоритмы ICA используют центрирование (вычитание среднего значения для создания сигнала с нулевым средним значением), отбеливание (обычно с разложением по собственным значениям ) и уменьшение размерности в качестве этапов предварительной обработки, чтобы упростить и уменьшить сложность проблемы для реального итерационного алгоритма. Отбеливания и уменьшения размеров можно добиться с помощью анализа главных компонент или разложения по сингулярным значениям . обрабатываются одинаково Отбеливание гарантирует, что все измерения априори перед запуском алгоритма. К хорошо известным алгоритмам ICA относятся, среди прочего, infomax , FastICA , JADE и независимый от ядра анализ компонентов . В общем, ICA не может определить фактическое количество исходных сигналов, однозначно правильный порядок исходных сигналов или правильное масштабирование (включая знак) исходных сигналов.

ICA важен для слепого разделения сигналов и имеет множество практических применений. Это тесно связано (или даже является частным случаем) с поиском факториального кода данных, т. е. нового векторного представления каждого вектора данных, которое однозначно кодируется результирующим кодовым вектором (без потерь). кодирование), но компоненты кода статистически независимы.

Математические определения

Линейный анализ независимых компонентов можно разделить на бесшумный и шумный случаи, где бесшумный ICA является частным случаем шумного ICA. Нелинейный ICA следует рассматривать как отдельный случай.

Общее определение

Данные представлены наблюдаемым случайным вектором ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$ и скрытые компоненты как случайный вектор ${\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}.$ Задача — преобразовать наблюдаемые данные ${\boldsymbol {x}},$ используя линейное статическое преобразование ${\boldsymbol {W}}$ как ${\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}},$ в вектор максимально независимых компонент ${\boldsymbol {s}}$ измеряется некоторой функцией $F(s_{1},\ldots ,s_{n})$ независимости.

Генеративная модель

Линейный бесшумный ICA

Компоненты $x_{i}$ наблюдаемого случайного вектора ${\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}$ генерируются как сумма независимых компонентов $s_{k}$, $k=1,\ldots ,n$:

$x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}$

взвешивается по весу смешивания $a_{i,k}$.

Ту же генеративную модель можно записать в векторной форме как ${\boldsymbol {x}}=\sum _{k=1}^{n}s_{k}{\boldsymbol {a}}_{k}$, где наблюдаемый случайный вектор ${\boldsymbol {x}}$ представлена ​​базисными векторами ${\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}$. Базисные векторы ${\boldsymbol {a}}_{k}$ сформировать столбцы матрицы смешивания ${\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})$ и порождающую формулу можно записать как ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}$, где ${\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}$.

Учитывая модель и реализации (образцы) ${\boldsymbol {x}}_{1},\ldots ,{\boldsymbol {x}}_{N}$ случайного вектора ${\boldsymbol {x}}$, задача состоит в том, чтобы оценить как матрицу смешивания ${\boldsymbol {A}}$ и источники ${\boldsymbol {s}}$. Это достигается путем адаптивного расчета ${\boldsymbol {w}}$ векторов и настройку функции стоимости, которая либо максимизирует негауссовость рассчитанных $s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}$ или минимизирует взаимную информацию. В некоторых случаях в функции стоимости можно использовать априорные знания о распределениях вероятностей источников.

Первоначальные источники ${\boldsymbol {s}}$ можно восстановить путем умножения наблюдаемых сигналов ${\boldsymbol {x}}$ с обратной матрицей смешивания ${\boldsymbol {W}}={\boldsymbol {A}}^{-1}$, также известная как матрица несмешивания. Здесь предполагается, что матрица смешивания квадратная ( $n=m$). Если количество базисных векторов больше размерности наблюдаемых векторов, $n>m$, задача является сверхполной, но все еще разрешима псевдообратной .

Линейный шумный ICA

С добавленным предположением о нулевом среднем и некоррелированном гауссовском шуме $n\sim N(0,\operatorname {diag} (\Sigma ))$, модель ICA принимает вид ${\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n$.

Нелинейный ICA

Смешение источников не обязательно должно быть линейным. Использование функции нелинейного смешивания $f(\cdot |\theta )$ с параметрами $\theta$ модель ICA нелинейная $x=f(s|\theta )+n$.

Идентифицируемость

Независимые компоненты идентифицируются с точностью до перестановки и масштабирования источников. Эта идентифицируемость требует, чтобы:

• Максимум один из источников $s_{k}$ является гауссовским,
• Количество наблюдаемых смесей, $m$, должно быть не меньше количества оцениваемых компонентов $n$: $m\geq n$. Это эквивалентно тому, что матрица смешивания ${\boldsymbol {A}}$ должен иметь полный ранг , чтобы существовало обратное.

Бинарный ICA

Особым вариантом ICA является бинарный ICA, в котором как источники сигналов, так и мониторы имеют двоичную форму, а наблюдения с мониторов представляют собой дизъюнктивную смесь бинарных независимых источников. Было показано, что проблема находит применение во многих областях, включая медицинскую диагностику , многокластерное задание , сетевую томографию и управление интернет-ресурсами .

Позволять ${x_{1},x_{2},\ldots ,x_{m}}$ быть набором двоичных переменных из $m$ мониторы и ${y_{1},y_{2},\ldots ,y_{n}}$ быть набором двоичных переменных из $n$ источники. Соединения источник-монитор представлены (неизвестной) матрицей микширования. ${\textstyle {\boldsymbol {G}}}$, где $g_{ij}=1$ указывает, что сигнал от i -го источника может наблюдаться j -м монитором. Система работает следующим образом: в любой момент, если источник $i$ активен ( $y_{i}=1$) и он подключен к монитору $j$ ( $g_{ij}=1$) затем монитор $j$ будет наблюдать некоторую активность( $x_{j}=1$). Формально имеем:

$x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,$

где $\wedge$ является логическим И и $\vee$ является логическим ИЛИ. Шум не моделируется явно, а скорее может рассматриваться как независимый источник.

Вышеуказанную задачу можно решить эвристически. предполагая, что переменные непрерывны, и запуская FastICA на двоичных данных наблюдений, чтобы получить матрицу смешивания ${\textstyle {\boldsymbol {G}}}$ (реальные значения), затем примените округления чисел к методы ${\textstyle {\boldsymbol {G}}}$ для получения двоичных значений. Было показано, что этот подход дает весьма неточный результат.

Другой метод — использовать динамическое программирование : рекурсивное разбиение матрицы наблюдения. ${\textstyle {\boldsymbol {X}}}$ в свои подматрицы и запустите алгоритм вывода на этих подматрицах. Ключевым наблюдением, которое приводит к этому алгоритму, является подматрица ${\textstyle {\boldsymbol {X}}^{0}}$ из ${\textstyle {\boldsymbol {X}}}$ где ${\textstyle x_{ij}=0,\forall j}$ соответствует несмещенной матрице наблюдения скрытых компонентов, не имеющих связи с $i$-й монитор. Экспериментальные результаты показывают, что этот подход точен при умеренных уровнях шума.

Структура обобщенного двоичного ICA представляет более широкую формулировку проблемы, которая не требует каких-либо знаний о генеративной модели. Другими словами, этот метод пытается разложить источник на его независимые компоненты (насколько это возможно и без потери какой-либо информации) без предварительного предположения о том, как он был сгенерирован. Хотя эта проблема кажется довольно сложной, ее можно точно решить с помощью алгоритма дерева поиска ветвей и границ или с жесткой верхней границей с помощью однократного умножения матрицы на вектор.

Методы слепого разделения источников

Погоня за проекцией

Смеси сигналов имеют тенденцию иметь гауссовские функции плотности вероятности, а сигналы источника имеют тенденцию иметь негауссовы функции плотности вероятности. Каждый исходный сигнал может быть извлечен из набора смесей сигналов путем взятия внутреннего продукта весового вектора и тех смесей сигналов, где этот внутренний продукт обеспечивает ортогональную проекцию смесей сигналов. Оставшаяся задача — найти такой весовой вектор. Одним из методов достижения этой цели является преследование проекций .

Поиск проекций ищет одну проекцию за раз, чтобы извлеченный сигнал был как можно более негауссовым. Это контрастирует с ICA, который обычно извлекает M сигналов одновременно из M смесей сигналов, что требует оценки M × M. матрицы несмешивания Одним из практических преимуществ поиска проекций по сравнению с ICA является то, что при необходимости можно извлечь меньше, чем M сигналов, при этом каждый исходный сигнал извлекается из M смесей сигналов с использованием M -элементного весового вектора.

Мы можем использовать эксцесс для восстановления сигнала от нескольких источников, находя правильные весовые векторы с использованием поиска проекций.

Эксцесс функции плотности вероятности сигнала для конечной выборки вычисляется как

$K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3$

где $\mathbf {\overline {y}}$ является выборочным средним значением $\mathbf {y}$, извлеченные сигналы. Константа 3 гарантирует, что гауссовы сигналы имеют нулевой эксцесс, супергауссовы сигналы имеют положительный эксцесс, а субгауссовские сигналы имеют отрицательный эксцесс. Знаменатель – дисперсия это $\mathbf {y}$и гарантирует, что измеренный эксцесс учитывает дисперсию сигнала. Цель преследования проекции — максимизировать эксцесс и сделать извлеченный сигнал как можно более ненормальным.

Используя эксцесс как меру ненормальности, мы теперь можем изучить, как эксцесс сигнала $\mathbf {y} =\mathbf {w} ^{T}\mathbf {x}$ извлечено из набора M смесей $\mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}$ меняется как весовой вектор $\mathbf {w}$ вращается вокруг начала координат. Учитывая наше предположение, что каждый исходный сигнал $\mathbf {s}$ является супергауссовым, мы ожидаем:

1. эксцесс извлеченного сигнала $\mathbf {y}$ быть максимальным именно тогда, когда $\mathbf {y} =\mathbf {s}$.
2. эксцесс извлеченного сигнала $\mathbf {y}$ быть максимальным, когда $\mathbf {w}$ ортогонален проецируемым осям $S_{1}$ или $S_{2}$, поскольку мы знаем, что оптимальный весовой вектор должен быть ортогонален преобразованной оси $S_{1}$ или $S_{2}$.

Для сигналов смеси из нескольких источников мы можем использовать эксцесс и ортогонализацию Грама-Шмидта (GSO) для восстановления сигналов. Учитывая M смеси сигналов в M -мерном пространстве, GSO проецирует эти точки данных на ( M-1 )-мерное пространство, используя весовой вектор. Мы можем гарантировать независимость извлеченных сигналов с использованием ГСО.

Чтобы найти правильное значение $\mathbf {w}$, мы можем использовать метод градиентного спуска . Мы в первую очередь отбеливаем данные и преобразуем $\mathbf {x}$ в новую смесь $\mathbf {z}$, который имеет единичную дисперсию, и $\mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}$. Этого процесса можно достичь, применив разложение по сингулярным значениям к $\mathbf {x}$,

$\mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}$

Изменение масштаба каждого вектора $U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})$, и пусть $\mathbf {z} =\mathbf {U}$. Сигнал, извлеченный взвешенным вектором $\mathbf {w}$ является $\mathbf {y} =\mathbf {w} ^{T}\mathbf {z}$. Если весовой вектор w имеет единичную длину, то дисперсия y также равна 1, то есть $\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1$. Таким образом, эксцесс можно записать как:

$K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.$

Процесс обновления для $\mathbf {w}$ является:

$\mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].$

где $\eta$ небольшая константа, гарантирующая, что $\mathbf {w}$ сходится к оптимальному решению. После каждого обновления нормализуем $\mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}$, и установите $\mathbf {w} _{old}=\mathbf {w} _{new}$и повторяйте процесс обновления до достижения сходимости. Мы также можем использовать другой алгоритм для обновления вектора весов. $\mathbf {w}$.

Другой подход – использование негэнтропии. вместо эксцесса. Использование негэнтропии является более надежным методом, чем эксцесс, поскольку эксцесс очень чувствителен к выбросам. Методы негэнтропии основаны на важном свойстве распределения Гаусса: гауссова переменная имеет наибольшую энтропию среди всех непрерывных случайных величин с равной дисперсией. Это также причина, по которой мы хотим найти наиболее негауссовы переменные. Простое доказательство можно найти в Дифференциальной энтропии .

$J(x)=S(y)-S(x)\,$

y — гауссова случайная величина той же ковариационной матрицы, что и x.

$S(x)=-\int p_{x}(u)\log p_{x}(u)du$

Приближение негэнтропии:

$J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}$

Доказательство можно найти в оригинальных статьях Комона; он был воспроизведен в книге « Независимый анализ компонентов» Аапо Хиваринена, Юхи Кархунен и Эркки Оя. Это приближение также страдает той же проблемой, что и эксцесс (чувствительность к выбросам). Были разработаны и другие подходы.

$J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}$

Выбор $G_{1}$ и $G_{2}$ являются

$G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))$ и $G_{2}=-\exp(-{\frac {u^{2}}{2}})$

По материалам Инфомакса

Инфомакс ИЦА по сути, это многомерная параллельная версия проекционного поиска. В то время как поиск проекций извлекает по одному ряду сигналов из набора M смесей сигналов, ICA извлекает M сигналов параллельно. Это делает ICA более надежным, чем поиск прогнозов.

Метод преследования проекции использует ортогонализацию Грама-Шмидта для обеспечения независимости извлеченного сигнала, в то время как ICA использует информациюмакс и оценку максимального правдоподобия для обеспечения независимости извлеченного сигнала. Ненормальность извлеченного сигнала достигается путем назначения соответствующей модели или предшествующей модели для сигнала.

процесс ICA на основе infomax : задан набор смесей сигналов. Вкратце $\mathbf {x}$ и набор идентичных независимых моделей кумулятивных функций распределения (cdfs) $g$, ищем матрицу расмешивания $\mathbf {W}$ который максимизирует совместную энтропию сигналов $\mathbf {Y} =g(\mathbf {y} )$, где $\mathbf {y} =\mathbf {Wx}$ сигналы, извлекаемые $\mathbf {W}$. Учитывая оптимальную $\mathbf {W}$, сигналы $\mathbf {Y}$ имеют максимальную энтропию и, следовательно, независимы, что гарантирует, что извлеченные сигналы $\mathbf {y} =g^{-1}(\mathbf {Y} )$ также независимы. $g$ — обратимая функция и модель сигнала. модели исходного сигнала Обратите внимание, что если функция плотности вероятности $p_{s}$ соответствует функции плотности вероятности извлеченного сигнала $p_{\mathbf {y} }$, затем максимизируя совместную энтропию $Y$ также максимизирует объем взаимной информации между $\mathbf {x}$ и $\mathbf {Y}$. По этой причине использование энтропии для извлечения независимых сигналов известно как инфомакс .

Рассмотрим энтропию векторной переменной $\mathbf {Y} =g(\mathbf {y} )$, где $\mathbf {y} =\mathbf {Wx}$ - это набор сигналов, извлеченных матрицей несмешивания $\mathbf {W}$. Для конечного набора значений, выбранных из распределения с помощью pdf $p_{\mathbf {y} }$, энтропия $\mathbf {Y}$ можно оценить как:

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})$

Совместный PDF-файл $p_{\mathbf {Y} }$ можно показать, что это связано с совместным PDF-файлом $p_{\mathbf {y} }$ выделенных сигналов в многомерной форме:

$p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}$

где $\mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}$ – матрица Якобиана . У нас есть $|\mathbf {J} |=g'(\mathbf {y} )$, и $g'$ предполагается ли PDF-файл для исходных сигналов $g'=p_{s}$, поэтому,

$p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}$

поэтому,

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}$

Мы знаем, что когда $p_{\mathbf {y} }=p_{s}$, $p_{\mathbf {Y} }$ имеет равномерное распределение и $H({\mathbf {Y} })$ максимизируется. С

$p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}$

где $|\mathbf {W} |$ - абсолютное значение определителя матрицы несмешивания $\mathbf {W}$. Поэтому,

$H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}$

так,

$H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )$

с $H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})$и максимизация $\mathbf {W}$ не влияет $H_{\mathbf {x} }$, поэтому мы можем максимизировать функцию

$h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |$

для достижения независимости извлекаемого сигнала.

Если есть M маргинальных PDF-файлов модели совместного PDF-файла $p_{\mathbf {s} }$ независимы и используют обычно супергауссову модель pdf для исходных сигналов. $p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})$, тогда мы имеем

$h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w} _{i}^{\mathsf {T}}\mathbf {x} ^{t})^{2})+\ln |\mathbf {W} |$

В сумме, учитывая наблюдаемую смесь сигналов $\mathbf {x}$, соответствующий набор извлеченных сигналов $\mathbf {y}$ и модель исходного сигнала $p_{\mathbf {s} }=g'$, мы можем найти оптимальную матрицу несмешивания $\mathbf {W}$и сделать извлеченные сигналы независимыми и негауссовыми. Как и в случае с преследованием проекции, мы можем использовать метод градиентного спуска, чтобы найти оптимальное решение матрицы несмешивания.

На основе оценки максимального правдоподобия

максимального правдоподобия Оценка (MLE) — это стандартный статистический инструмент для поиска значений параметров (например, матрица несмешивания $\mathbf {W}$), которые обеспечивают наилучшее соответствие некоторых данных (например, извлеченных сигналов $y$) к данной модели (например, предполагаемой совместной функции плотности вероятности (pdf) $p_{s}$ исходных сигналов).

«Модель» ML . включает спецификацию PDF-файла, который в данном случае является PDF-файлом $p_{s}$ сигналов неизвестного источника $s$. использования ML ICA — найти матрицу несмешивания, которая дает извлеченные сигналы. Цель $y=\mathbf {W} x$ с совместным pdf, максимально похожим на совместный pdf $p_{s}$ сигналов неизвестного источника $s$.

Таким образом, MLE основан на предположении, что если модель pdf $p_{s}$ и параметры модели $\mathbf {A}$ верны, то для данных должна быть получена высокая вероятность $x$ которые действительно наблюдались. И наоборот, если $\mathbf {A}$ далека от правильных значений параметров, то можно ожидать низкую вероятность наблюдаемых данных.

Используя MLE , мы называем вероятность наблюдаемых данных для заданного набора значений параметров модели (например, PDF-файла) $p_{s}$ и матрица $\mathbf {A}$) вероятность значений параметров модели с учетом наблюдаемых данных.

Определим правдоподобия функцию $\mathbf {L(W)}$ из $\mathbf {W}$:

$\mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.$

Это равно плотности вероятности при $x$, с $s=\mathbf {W} x$.

Таким образом, если мы хотим найти $\mathbf {W}$ это, скорее всего, привело к образованию наблюдаемых смесей $x$ из сигналов неизвестного источника $s$ с PDF $p_{s}$ тогда нам нужно только найти это $\mathbf {W}$ что максимизирует вероятность $\mathbf {L(W)}$. Матрица несмешивания, которая максимизирует уравнение, известна как MLE оптимальной матрицы несмешивания.

Обычной практикой является использование логарифма правдоподобия , потому что его легче оценить. Поскольку логарифм является монотонной функцией, $\mathbf {W}$ которая максимизирует функцию $\mathbf {L(W)}$ также максимизирует свой логарифм $\ln \mathbf {L(W)}$. Это позволяет нам логарифмировать приведенное выше уравнение, что дает логарифмическую правдоподобия функцию .

$\ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |$

широко используемой моделью pdf с высоким эксцессом Если мы заменим исходные сигналы $p_{s}=(1-\tanh(s)^{2})$ тогда у нас есть

$\ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |$

Эта матрица $\mathbf {W}$ которая максимизирует эту функцию, является максимального правдоподобия оценкой .

История и предыстория

Ранняя общая основа анализа независимых компонентов была представлена ​​Жанни Эро и Бернаром Ансом в 1984 году. дальнейшее развитие Кристиана Юттена в 1985 и 1986 годах, и усовершенствован Пьером Комоном в 1991 году. и популяризирован в его статье 1994 года. В 1995 году Тони Белл и Терри Сейновски представили быстрый и эффективный алгоритм ICA, основанный на infomax — принципе, представленном Ральфом Линскером в 1987 году. Интересную связь между подходами ML и Infomax можно найти в . Достаточно подробное руководство по подходу ML было опубликовано JF.Cardoso в 1998 году.

В литературе доступно множество алгоритмов, реализующих ICA. Широко используемым, в том числе в промышленных приложениях, является алгоритм FastICA, разработанный Хивариненом и Оя. который использует негэнтропию в качестве функции стоимости, уже предложенную 7 лет назад Пьером Комоном в этом контексте. Другие примеры скорее связаны со слепым разделением источников , где используется более общий подход. Например, можно отказаться от предположения о независимости и разделить взаимно коррелированные сигналы, то есть статистически «зависимые» сигналы. Зепп Хохрайтер и Юрген Шмидхубер показали, как получить нелинейный ICA или разделение источников как побочный продукт регуляризации (1999). Их метод не требует априорных знаний о количестве независимых источников.

Приложения

ICA можно расширить для анализа нефизических сигналов. Например, ICA применялся для обнаружения тем обсуждения в пакете архивов списков новостей.

Некоторые приложения ICA перечислены ниже:

Независимый анализ компонентов в EEGLAB

• оптическая визуализация нейронов
• сортировка нейронных спайков
• распознавание лиц
• моделирование рецептивных полей первичных зрительных нейронов
• прогнозирование цен на фондовом рынке
• мобильная телефонная связь
• определение спелости томатов по цвету
• удаление артефактов, таких как моргание глаз, из ЭЭГ . данных
• прогнозирование принятия решений с помощью ЭЭГ
• анализ изменений экспрессии генов с течением времени в одноклеточной экспериментах по секвенированию РНК .
• исследования сети состояния покоя мозга.
• астрономия и космология
• финансы

Доступность

ICA можно применять с помощью следующего программного обеспечения:

• САС ПРОЦ ИКА
• R пакет ICA
• scikit-learn Реализация Python sklearn.decomposition.FastICA
• mlpack C++ реализация RADICAL (Надежный, точный, прямой алгоритм ICA (RADICAL).) [1]

См. также

• Слепая деконволюция
• Факторный анализ
• Гильбертов спектр
• Обработка изображений
• Неотрицательная матричная факторизация (NMF)
• Нелинейное уменьшение размерности
• Погоня за проекцией
• Вращение Варимакс

Ссылки

• Комон, Пьер (1994): «Независимый анализ компонентов: новая концепция?» , Signal Processing , 36(3):287–314 (Оригинальная статья, описывающая концепцию ICA)
• Хюваринен, А.; Кархунен Дж.; Оджа, Э. (2001): Независимый анализ компонентов , Нью-Йорк: Wiley, ISBN   978-0-471-40540-5 ( Вводная глава )
• Хюваринен, А.; Оджа, Э. (2000): «Анализ независимых компонентов: алгоритмы и применение» , Нейронные сети , 13(4-5):411-430. (Техническое, но педагогическое введение).
• Комон, П.; Юттен К. (2010): Справочник по слепому разделению источников, независимому анализу компонентов и приложениям. Академическое издательство, Оксфорд, Великобритания. ISBN   978-0-12-374726-6
• Ли, Т.-В. (1998): Независимый анализ компонентов: теория и приложения , Бостон, Массачусетс: Kluwer Academic Publishers, ISBN   0-7923-8261-7
• Ачарья, Ранджан (2008): Новый подход к слепому разделению сверточных источников - разделение на основе вейвлетов с использованием функции сжатия ISBN   3-639-07797-0 ISBN   978-3639077971 (эта книга посвящена обучению без учителя со слепым разделением источников)

Внешние ссылки

• Что такое анализ независимых компонентов? автор: Аапо Хиваринен
• Независимый анализ компонентов: руководство Аапо Хиваринен
• Учебное пособие по независимому анализу компонентов
• FastICA как пакет для Matlab, на языке R, C++.
• Наборы инструментов ICALAB для Matlab, разработанные в RIKEN
• Набор инструментов для высокопроизводительного анализа сигналов предоставляет реализации FastICA и Infomax на языке C++.
• Набор инструментов ICA Инструменты Matlab для ICA с Беллом-Сейновским, Молгедеем-Шустером и ICA среднего поля. Разработан в ДТУ.
• Демонстрация задачи о коктейльной вечеринке
• EEGLAB Toolbox ICA ЭЭГ для Matlab, разработанный в UCSD.
• FMRLAB Toolbox ICA фМРТ для Matlab, разработанный в UCSD
• MELODIC , часть библиотеки программного обеспечения FMRIB .
• Обсуждение использования ICA в биомедицинском контексте представления формы
• Алгоритм FastICA, CuBICA, JADE и TDSEP для Python и многое другое...
• Group ICA Toolbox и Fusion ICA Toolbox
• Учебное пособие: Использование ICA для очистки сигналов ЭЭГ