Неотрицательная матричная факторизация

Иллюстрация приблизительной факторизации неотрицательной матрицы: матрица V представлена ​​двумя меньшими матрицами W и H , которые при умножении приблизительно V. восстанавливают

Факторизация неотрицательной матрицы ( NMF или NNMF ), а также аппроксимация неотрицательной матрицы — это группа алгоритмов многомерного анализа и линейной алгебры где матрица V разлагается , на (обычно) две матрицы W и H со свойством, что все три матрицы не имеют отрицательных элементов. Эта неотрицательность облегчает проверку полученных матриц. Кроме того, в таких приложениях, как обработка аудиоспектрограмм или мышечной активности, рассматриваемым данным присуща неотрицательность. Поскольку в целом задача не является точно решаемой, ее обычно аппроксимируют численно.

NMF находит применение в таких областях, как астрономия , компьютерное зрение , кластеризация документов , вменение недостающих данных , хемометрика , обработка аудиосигналов , рекомендательные системы , и биоинформатика .

История

В хемометрике факторизация неотрицательной матрицы имеет долгую историю под названием «разрешение кривой самомоделирования». В этой схеме векторы в правой матрице представляют собой непрерывные кривые, а не дискретные векторы. Также ранняя работа по факторизации неотрицательных матриц была выполнена финской группой исследователей в 1990-х годах под названием факторизация положительной матрицы . Он стал более широко известен как факторизация неотрицательной матрицы после того, как Ли и Сын исследовали свойства алгоритма и опубликовали несколько простых и полезных алгоритмы двух типов факторизаций.

Предыстория

Пусть матрица V является произведением матриц W и H ,

$\mathbf {V} =\mathbf {W} \mathbf {H} \,.$

Умножение матриц может быть реализовано как вычисление векторов-столбцов V как линейных комбинаций векторов-столбцов в W с использованием коэффициентов, предоставленных столбцами H . То есть каждый столбец V можно вычислить следующим образом:

$\mathbf {v} _{i}=\mathbf {W} \mathbf {h} _{i}\,,$

где v _i - i-й вектор - столбец матрицы произведения V , а h _i - i -й вектор-столбец матрицы H .

При перемножении матриц размеры факторных матриц могут быть существенно меньше, чем размерности продуктовой матрицы, и именно это свойство лежит в основе НМФ. NMF генерирует факторы со значительно уменьшенными размерностями по сравнению с исходной матрицей. Например, если V — матрица размера m × n , W — матрица размера m × p , а H — матрица размера p × n , то p может быть значительно меньше, чем m и n .

Вот пример, основанный на приложении для интеллектуального анализа текста:

• Пусть входная матрица (матрица, подлежащая факторингу) будет V с 10 000 строк и 500 столбцами, где слова находятся в строках, а документы - в столбцах. То есть у нас есть 500 документов, проиндексированных по 10000 слов. Отсюда следует, что вектор-столбец v в V представляет документ.
• Предположим, мы просим алгоритм найти 10 признаков, чтобы сгенерировать матрицу признаков W с 10 000 строк и 10 столбцами и матрицу коэффициентов H с 10 строками и 500 столбцами.
• Произведение W и H представляет собой матрицу из 10 000 строк и 500 столбцов, той же формы, что и входная матрица V , и, если факторизация сработала, это разумное приближение к входной V. матрице
• Из приведенного выше рассмотрения матричного умножения следует, что каждый столбец в матрице произведений WH представляет собой линейную комбинацию 10 векторов-столбцов в матрице признаков W с коэффициентами, предоставленными матрицей коэффициентов H .

Этот последний пункт является основой NMF, поскольку мы можем рассматривать каждый исходный документ в нашем примере как созданный из небольшого набора скрытых функций. NMF генерирует эти функции.

Полезно рассматривать каждый признак (вектор-столбец) в матрице признаков W как архетип документа, содержащий набор слов, где значение ячейки каждого слова определяет ранг слова в признаке: чем выше значение ячейки слова, тем выше ранг слова. в функции. Столбец в матрице коэффициентов H представляет исходный документ со значением ячейки, определяющим ранг документа по признаку. Теперь мы можем восстановить документ (вектор-столбец) из нашей входной матрицы с помощью линейной комбинации наших признаков (векторов-столбцов в W где каждый признак взвешивается по значению ячейки признака из столбца документа в H. ) ,

Свойство кластеризации

NMF обладает присущим свойством кластеризации, т.е. он автоматически кластеризует столбцы входных данных $\mathbf {V} =(v_{1},\dots ,v_{n})$.

Точнее, приближение $\mathbf {V}$ к $\mathbf {V} \simeq \mathbf {W} \mathbf {H}$ достигается путем нахождения $W$ и $H$ минимизирующие функцию ошибок (с использованием нормы Фробениуса )

$\left\|V-WH\right\|_{F},$ при условии $W\geq 0,H\geq 0.$,

Если мы, кроме того, наложим ограничение ортогональности на $\mathbf {H}$, т.е. $\mathbf {H} \mathbf {H} ^{T}=I$, то описанная выше минимизация математически эквивалентна минимизации кластеризации K-средних .

Кроме того, вычисленное $H$ дает принадлежность к кластеру, т. е. если $\mathbf {H} _{kj}>\mathbf {H} _{ij}$ для всех i ≠ k это говорит о том, что входные данные $v_{j}$ принадлежит $k$-й кластер. Вычисленное $W$ дает центроиды кластера, т.е. $k$-th столбец дает центр тяжести кластера $k$-й кластер. Представление этого центроида может быть значительно улучшено с помощью выпуклого NMF.

Когда ограничение ортогональности $\mathbf {H} \mathbf {H} ^{T}=I$ не налагается явно, ортогональность сохраняется в значительной степени, а также сохраняется свойство кластеризации.

Когда используемая функция ошибок представляет собой расхождение Кульбака-Лейблера , NMF идентичен вероятностному скрытому семантическому анализу (PLSA), популярному методу кластеризации документов.

Типы

неотрицательной

Обычно количество столбцов W и количество строк H в NMF выбираются так, чтобы произведение WH стало приближением к V . Полное разложение V тогда составит две неотрицательные матрицы W и H а также остаток U , такой, что: V = WH + U. , Элементы остаточной матрицы могут быть как отрицательными, так и положительными.

Когда W и H меньше V, их становится легче хранить и манипулировать ими. Другая причина факторизации V на меньшие матрицы W и H заключается в том, что если цель состоит в том, чтобы приблизительно представить элементы V с помощью значительно меньшего количества данных, тогда необходимо вывести некоторую скрытую структуру в данных.

неотрицательной

В стандартном NMF матричный коэффициент W ∈ R ₊ ^{м × к} ， т. е. W может быть чем угодно в этом пространстве. Выпуклый НМФ ограничивает столбцы W выпуклыми комбинациями векторов входных данных $(v_{1},\dots ,v_{n})$. Это значительно улучшает качество представления W. данных Более того, результирующий матричный фактор H становится более разреженным и ортогональным.

ранговая

В случае, если ранг V неотрицательный равен его фактическому рангу, V = WH называется факторизацией неотрицательного ранга (NRF). Задача нахождения NRF V , если она существует, как известно, NP-трудна.

функции стоимости

Существуют различные типы факторизации неотрицательных матриц. Различные типы возникают из-за использования разных функций стоимости для измерения расхождения между V и WH и, возможно, из-за W и / или H. регуляризации матриц

Две простые функции дивергенции, изученные Ли и Сыном, - это квадрат ошибки (или норма Фробениуса ) и расширение дивергенции Кульбака-Лейблера на положительные матрицы (исходная дивергенция Кульбака-Лейблера определяется на вероятностных распределениях). Каждое расхождение приводит к использованию другого алгоритма NMF, который обычно минимизирует расхождение с помощью правил итеративного обновления.

Проблема факторизации в версии NMF с квадратичной ошибкой может быть сформулирована как: Дана матрица $\mathbf {V}$ найти неотрицательные матрицы W и H, минимизирующие функцию

$F(\mathbf {W} ,\mathbf {H} )=\left\|\mathbf {V} -\mathbf {WH} \right\|_{F}^{2}$

Другой тип НМП для изображений основан на общей норме вариации .

Когда регуляризация L1 (сродни Lasso ) добавляется к NMF с функцией стоимости среднеквадратической ошибки, получающуюся проблему можно назвать неотрицательным разреженным кодированием из -за сходства с разреженного кодирования : проблемой хотя его еще можно называть NMF.

Онлайн НМФ

Многие стандартные алгоритмы NMF анализируют все данные вместе; т. е. вся матрица доступна с самого начала. Это может быть неудовлетворительно в приложениях, где слишком много данных не помещается в память, или где данные передаются в потоковом режиме. Одним из таких вариантов использования является совместная фильтрация в системах рекомендаций , где может быть много пользователей и много элементов, которые можно рекомендовать, и было бы неэффективно пересчитывать все, когда в систему добавляется один пользователь или один элемент. Функция стоимости оптимизации в этих случаях может быть такой же, как для стандартного NMF, а может и не быть, но алгоритмы должны быть совершенно другими.

Сверточный NMF

Если столбцы V представляют данные, выбранные по пространственным или временным измерениям, например сигналы времени, изображения или видео, функции, которые являются эквивариантными относительно сдвигов по этим измерениям, могут быть изучены с помощью сверточного NMF. В этом случае W является разреженным со столбцами, имеющими локальные окна ненулевого веса, которые являются общими для сдвигов по пространственно-временным измерениям V , представляя ядра свертки . Путем пространственно-временного объединения H и многократного использования полученного представления в качестве входных данных для сверточного NMF можно изучить глубокие иерархии функций.

Алгоритмы

Есть несколько способов найти W и H Ли и Сына. : правило мультипликативного обновления стал популярным методом из-за простоты реализации. Этот алгоритм:

инициализировать: W и H неотрицательные.

Затем обновите значения в W и H , вычислив следующее: $n$ как индекс итерации.

$\mathbf {H} _{[i,j]}^{n+1}\leftarrow \mathbf {H} _{[i,j]}^{n}{\frac {((\mathbf {W} ^{n})^{T}\mathbf {V} )_{[i,j]}}{((\mathbf {W} ^{n})^{T}\mathbf {W} ^{n}\mathbf {H} ^{n})_{[i,j]}}}$

и

$\mathbf {W} _{[i,j]}^{n+1}\leftarrow \mathbf {W} _{[i,j]}^{n}{\frac {(\mathbf {V} (\mathbf {H} ^{n+1})^{T})_{[i,j]}}{(\mathbf {W} ^{n}\mathbf {H} ^{n+1}(\mathbf {H} ^{n+1})^{T})_{[i,j]}}}$

Пока W и H не станут стабильными.

Обратите внимание, что обновления выполняются поэлементно, а не умножением матриц.

Отметим, что мультипликативные множители для W и H , т.е. ${\textstyle {\frac {\mathbf {W} ^{\mathsf {T}}\mathbf {V} }{\mathbf {W} ^{\mathsf {T}}\mathbf {W} \mathbf {H} }}}$ и ${\textstyle {\textstyle {\frac {\mathbf {V} \mathbf {H} ^{\mathsf {T}}}{\mathbf {W} \mathbf {H} \mathbf {H} ^{\mathsf {T}}}}}}$ члены являются матрицами единиц , когда $\mathbf {V} =\mathbf {W} \mathbf {H}$.

Совсем недавно были разработаны другие алгоритмы. Некоторые подходы основаны на чередовании неотрицательных наименьших квадратов : на каждом шаге такого алгоритма сначала H фиксируется и W находится с помощью решателя неотрицательных наименьших квадратов, затем W фиксируется и H находится аналогичным образом. Процедуры, используемые для решения W и H, могут быть одинаковыми. или другое, поскольку некоторые варианты NMF регуляризируют один из W и H . Конкретные подходы включают методы прогнозируемого градиентного спуска , метод активного набора , оптимальный градиентный метод, и метод поворота принципала блока среди нескольких других.

Текущие алгоритмы неоптимальны, поскольку они гарантируют нахождение только локального, а не глобального минимума функции стоимости. Доказуемо оптимальный алгоритм вряд ли появится в ближайшем будущем, поскольку было показано, что эта проблема обобщает задачу кластеризации k-средних, которая, как известно, является NP-полной . Однако, как и во многих других приложениях интеллектуального анализа данных, локальный минимум может оказаться полезным.

Помимо этапа оптимизации, существенное влияние на NMF оказывает инициализация. Начальные значения, выбранные для W и H, могут влиять не только на скорость сходимости, но и на общую ошибку сходимости. Некоторые варианты инициализации включают полную рандомизацию, SVD , кластеризацию k-средних и более продвинутые стратегии, основанные на этой и других парадигмах.

Графики дробной остаточной дисперсии (FRV) для PCA и последовательного NMF; для PCA теоретические значения представляют собой вклад остаточных собственных значений. Для сравнения, кривые FRV для PCA достигают плоского плато, на котором сигнал не улавливается эффективно; в то время как кривые NMF FRV постоянно снижаются, что указывает на лучшую способность улавливать сигнал. Кривые FRV для NMF также сходятся к более высоким уровням, чем для PCA, что указывает на меньшую переобучение свойства NMF.

Последовательный NMF

Последовательное построение компонентов NMF ( W и H ) впервые использовалось для связи NMF с анализом главных компонентов (PCA) в астрономии. Вклад компонентов PCA ранжируется по величине соответствующих им собственных значений; для НМФ его компоненты можно ранжировать эмпирически, когда они строятся поочередно (последовательно), т.е. изучая $(n+1)$-й компонент с первым $n$ построенные компоненты.

Вклад последовательных компонентов NMF можно сравнить с теоремой Карунена-Лёва , применением PCA, используя график собственных значений. Типичный выбор количества компонентов с помощью PCA основан на точке «колена», затем наличие плоского плато указывает на то, что PCA не обеспечивает эффективный сбор данных, и, наконец, происходит внезапное падение, отражающее захват случайных данных. шумит и попадает в режим переобучения. Для последовательного NMF график собственных значений аппроксимируется графиком кривых дробной остаточной дисперсии, где кривые непрерывно уменьшаются и сходятся к более высокому уровню, чем PCA, что является показателем меньшего переобучения последовательного NMF.

Точный NMF

Точные решения для вариантов NMF можно ожидать (за полиномиальное время), когда для матрицы V выполняются дополнительные ограничения . Алгоритм с полиномиальным временем для решения факторизации неотрицательного ранга, если V содержит мономиальную подматрицу ранга, равного ее рангу, был предложен Кэмпбеллом и Пулом в 1981 году. Калофолиас и Галлопулос (2012) решил симметричный аналог этой задачи, где V симметричен и содержит диагональную главную подматрицу ранга r. Их алгоритм работает за O(rm ² ) время в плотном случае. Арора, Ге, Халперн, Мимно, Мойтра, Зонтаг, Ву и Чжу (2013) предлагают алгоритм полиномиального времени для точного NMF, который работает в случае, когда один из факторов W удовлетворяет условию разделимости.

Связь с другими методами

В изучении частей объектов путем неотрицательной матричной факторизации Ли и Сын предложил NMF в основном для разложения изображений по частям. Он сравнивает NMF с векторным квантованием и анализом главных компонент и показывает, что, хотя эти три метода могут быть записаны как факторизация, они реализуют разные ограничения и, следовательно, дают разные результаты.

NMF как вероятностная графическая модель: видимые единицы ( V ) связаны со скрытыми единицами ( H ) через веса W , так что V генерируется из распределения вероятностей со средним значением $\sum _{a}W_{ia}h_{a}$.

Позже было показано, что некоторые типы NMF являются примером более общей вероятностной модели, называемой «мультиномиальный PCA». Когда NMF получается путем минимизации расхождения Кульбака-Лейблера , это фактически эквивалентно другому примеру полиномиального PCA, вероятностному скрытому семантическому анализу . обучено методом оценки максимального правдоподобия . Этот метод обычно используется для анализа и кластеризации текстовых данных, а также связан с моделью скрытых классов .

NMF с целью метода наименьших квадратов эквивалентен смягченной форме кластеризации K-средних : матричный фактор W содержит центроиды кластера, а H содержит индикаторы членства в кластере. Это обеспечивает теоретическую основу для использования NMF для кластеризации данных. Однако k-means не обеспечивает неотрицательность своих центроидов, поэтому ближайшая аналогия фактически связана с «полу-NMF».

NMF можно рассматривать как двухслойную направленную графическую модель с одним слоем наблюдаемых случайных величин и одним слоем скрытых случайных величин.

NMF выходит за рамки матриц до тензоров произвольного порядка. Это расширение можно рассматривать как неотрицательный аналог, например, модели PARAFAC .

Другие расширения NMF включают совместную факторизацию нескольких матриц данных и тензоров, где некоторые факторы являются общими. Такие модели полезны для слияния датчиков и реляционного обучения.

NMF — это пример неотрицательного квадратичного программирования , как и машина опорных векторов (SVM). Однако SVM и NMF связаны на более глубоком уровне, чем NQP, что позволяет напрямую применять алгоритмы решения, разработанные для любого из двух методов, к проблемам в обеих областях.

Уникальность

Факторизация не уникальна: матрицу и обратную ей матрицу можно использовать для преобразования двух матриц факторизации, например,

$\mathbf {WH} =\mathbf {WBB} ^{-1}\mathbf {H}$

Если две новые матрицы $\mathbf {{\tilde {W}}=WB}$ и $\mathbf {\tilde {H}} =\mathbf {B} ^{-1}\mathbf {H}$ неотрицательны , они образуют другую параметризацию факторизации.

Неотрицательность $\mathbf {\tilde {W}}$ и $\mathbf {\tilde {H}}$применяется, по крайней мере, если B является неотрицательной мономиальной матрицей . В этом простом случае это будет соответствовать масштабированию и перестановке .

Больше контроля над неуникальностью NMF достигается с помощью ограничений разреженности.

Приложения

Астрономия

В астрономии NMF является многообещающим методом уменьшения размерности в том смысле, что астрофизические сигналы неотрицательны. NMF был применен к спектроскопическим наблюдениям. и прямые визуализирующие наблюдения как метод изучения общих свойств астрономических объектов и последующей обработки астрономических наблюдений. Достижения в области спектроскопических наблюдений Блэнтона и Роуэйса (2007). учитывает неопределенности астрономических наблюдений, что позже улучшено Чжу (2016) где также учитываются недостающие данные и параллельные вычисления включены . Их метод затем был принят Ren et al. (2018) к области прямой визуализации как одному из методов обнаружения экзопланет , особенно для прямой визуализации околозвездных дисков .

Рен и др. (2018) способны доказать устойчивость компонентов НМФ при их последовательном построении (т.е. один за другим), что обеспечивает линейность процесса моделирования НМФ; Свойство линейности используется для разделения звездного света и света, рассеянного экзопланетами и околозвездными дисками .

При прямых изображениях, чтобы выявить слабые экзопланеты и околозвездные диски из ярких окружающих звездных огней, типичный контраст которых составляет от 10⁵ до 10¹⁰, были приняты различные статистические методы. однако свет от экзопланет или околозвездных дисков обычно переоценен, поэтому для восстановления истинного потока приходится применять прямое моделирование. Прямое моделирование в настоящее время оптимизировано для точечных источников. однако не для протяженных источников, особенно для структур неправильной формы, таких как околозвездные диски. В этой ситуации NMF оказался отличным методом, поскольку он менее подгоняется в смысле неотрицательности и разреженности коэффициентов моделирования NMF, поэтому прямое моделирование может выполняться с несколькими коэффициентами масштабирования. вместо трудоемкого повторного сокращения данных в сгенерированных моделях.

Вменение данных

Чтобы включить недостающие данные в статистику, NMF может взять недостающие данные, минимизируя при этом свою функцию стоимости, вместо того, чтобы рассматривать эти недостающие данные как нули. Это делает его математически проверенным методом вменения данных в статистике. Доказав сначала, что недостающие данные игнорируются в функции стоимости, а затем доказав, что влияние отсутствующих данных может быть столь же малым, как эффект второго порядка, Рен и др. (2020) изучил и применил такой подход в области астрономии. Их работа сосредоточена на двумерных матрицах, в частности, она включает математический вывод, расчет смоделированных данных и применение к данным, полученным на небе.

Процедура вменения данных с помощью NMF может состоять из двух этапов. Во-первых, когда компоненты NMF известны, Ren et al. (2020) доказали, что влияние отсутствующих данных во время вменения данных («целевое моделирование» в их исследовании) является эффектом второго порядка. Во-вторых, когда компоненты NMF неизвестны, авторы доказали, что влияние отсутствующих данных во время создания компонента представляет собой эффект первого-второго порядка.

В зависимости от способа получения компонентов NMF первый этап, описанный выше, может быть независимым или зависимым от второго. Кроме того, качество вменения может быть повышено при использовании большего количества компонентов NMF, см. рисунок 4 Ren et al. (2020) за иллюстрации.

Анализ текста

NMF можно использовать для приложений интеллектуального анализа текста . В этом процессе терминов документа строится матрица с весами различных терминов (обычно взвешенная информация о частоте слов) из набора документов. Эта матрица разбивается на матрицу термина-признака и матрицу признака-документа . Характеристики извлекаются из содержимого документов, а матрица признаков-документов описывает кластеры данных связанных документов.

В одном конкретном приложении иерархический NMF использовался для небольшого подмножества научных рефератов из PubMed . Другая исследовательская группа сгруппировала части Enron. набора данных электронной почты с 65 033 сообщениями и 91 133 терминами в 50 кластерах. NMF также применялся к данным о цитировании: в одном из примеров кластеризация английской Википедии статей и научных журналов основывалась на исходящих научных цитатах в английской Википедии.

Арора, Ге, Халперн, Мимно, Мойтра, Зонтаг, Ву и Чжу (2013) предложили алгоритмы с полиномиальным временем для изучения тематических моделей с использованием NMF. Алгоритм предполагает, что тематическая матрица удовлетворяет условию разделимости, которое часто выполняется в таких условиях.

Хассани, Иранманеш и Мансури (2019) предложили метод агломерации признаков для матриц терминов-документов, который работает с использованием NMF. Алгоритм уменьшает матрицу термин-документ до меньшей матрицы, более подходящей для кластеризации текста.

данных

NMF также используется для анализа спектральных данных; одно из таких применений - классификация космических объектов и мусора.

расстояния в

NMF применяется для масштабируемого прогнозирования расстояния в Интернете (времени прохождения туда и обратно). Для сети с $N$ хозяева, с помощью НМФ, расстояния всех $N^{2}$ сквозные ссылки можно предсказать после проведения только $O(N)$измерения. Этот метод был впервые представлен в Интернете. Служба дистанционной оценки (IDES). Впоследствии, в качестве полностью децентрализованного подхода, сетевая система координат Phoenix предлагается. Он обеспечивает лучшую общую точность прогнозирования за счет введения концепции веса.

Нестационарное шумоподавление речи

Подавление шума речи было давней проблемой при обработке аудиосигнала . Существует множество алгоритмов шумоподавления, если шум стационарен. Например, фильтр Винера подходит для аддитивного гауссовского шума . Однако, если шум нестационарен, классические алгоритмы шумоподавления обычно имеют плохую производительность, поскольку статистическую информацию о нестационарном шуме трудно оценить. Шмидт и др. используйте NMF для шумоподавления речи в условиях нестационарного шума, что полностью отличается от классических статистических подходов. Основная идея заключается в том, что чистый речевой сигнал может быть редко представлен речевым словарем, а нестационарный шум — нет. Аналогичным образом, нестационарный шум также может быть разреженно представлен словарем шума, а речь - нет.

Алгоритм шумоподавления NMF выглядит следующим образом. Два словаря, один для речи и один для шума, необходимо обучать в автономном режиме. После произнесения зашумленной речи мы сначала вычисляем величину кратковременного преобразования Фурье. Во-вторых, разделите его на две части с помощью NMF: одна может быть редко представлена ​​речевым словарем, а другая часть может быть редко представлена ​​шумовым словарем. В-третьих, та часть, которая представлена ​​речевым словарем, будет оцененной чистой речью.

Популяционная

Разреженный NMF используется в популяционной генетике для оценки индивидуальных коэффициентов примеси, обнаружения генетических кластеров особей в выборке популяции или оценки генетической примеси в выбранных геномах. При генетической кластеризации человека алгоритмы NMF дают оценки, аналогичные оценкам компьютерной программы STRUCTURE, но эти алгоритмы более эффективны в вычислительном отношении и позволяют анализировать большие наборы геномных данных населения.

Биоинформатика

NMF успешно применяется в биоинформатике для кластеризации данных об экспрессии генов и метилировании ДНК , а также для поиска генов, наиболее репрезентативных из кластеров. При анализе раковых мутаций он использовался для выявления общих закономерностей мутаций, которые встречаются при многих видах рака и, вероятно, имеют разные причины. Методы NMF могут идентифицировать источники вариаций, такие как типы клеток, подтипы заболеваний, стратификация популяции, состав тканей и клональность опухолей.

Конкретный вариант NMF, а именно неотрицательная матричная трехфакторизация (NMTF), использовался для задач по перепрофилированию лекарств с целью прогнозирования новых белковых мишеней и терапевтических показаний для одобренных лекарств. и сделать вывод о наличии пары синергичных противораковых препаратов.

Ядерная

NMF, также называемый в этой области факторным анализом, используется с 1980-х годов. для анализа последовательностей изображений в ОФЭКТ и ПЭТ динамической медицинской визуализации . Неуникальность NMF решалась с помощью ограничений разреженности.

Текущее исследование

Текущие исследования (с 2010 г.) по факторизации неотрицательных матриц включают, помимо прочего,

1. Алгоритмический: поиск глобальных минимумов факторов и инициализация факторов.
2. Масштабируемость: как факторизовать матрицы размером миллион на миллиард, которые являются обычным явлением в интеллектуальном анализе данных в веб-масштабе, например, см. Факторизацию распределенной неотрицательной матрицы (DNMF), Масштабируемая факторизация неотрицательной матрицы (ScalableNMF), Распределенное стохастическое разложение по сингулярным значениям.
3. Онлайн: как обновить факторизацию при поступлении новых данных без повторных вычислений с нуля, например, см. онлайн CNSC.
4. Коллективная (совместная) факторизация: факторизация нескольких взаимосвязанных матриц для многопредставленного обучения, например многопредставленная кластеризация, см. CoNMF. и МультиНМФ
5. Проблема Коэна и Ротблюма 1993 года: всегда ли рациональная матрица имеет НМФ минимальной внутренней размерности, факторы которой также рациональны. В последнее время на эту проблему ответили отрицательно.

См. также

• Полилинейная алгебра
• Мультилинейное обучение подпространству
• Тензор
• Тензорное разложение
• Тензорное программное обеспечение

Источники и внешние ссылки

Другие

• Дж. Шен; Г.В. Израиль (1989). «Модель рецептора, использующая специальную технику неотрицательного преобразования окружающего аэрозоля» . Атмосферная среда . 23 (10): 2289–2298. Бибкод : 1989AtmEn..23.2289S . дои : 10.1016/0004-6981(89)90190-X .
• Пентти Паатеро (1997). «Формулировка надежного неотрицательного факторного анализа методом наименьших квадратов». Хемометрика и интеллектуальные лабораторные системы . 37 (1): 23–35. дои : 10.1016/S0169-7439(96)00044-5 .
• Рауль Компасс (2007). «Обобщенная мера дивергенции для факторизации неотрицательной матрицы». Нейронные вычисления . 19 (3): 780–791. дои : 10.1162/neco.2007.19.3.780 . ПМИД   17298233 . S2CID   5337451 .
• Лю, WX; Чжэн, NN и Ю, QB (2006). «Неотрицательная матричная факторизация и ее применение в распознавании образов». Китайский научный бюллетень . 51 (17–18): 7–18. Бибкод : 2006ЧСБу..51....7Л . дои : 10.1007/s11434-005-1109-6 . S2CID   15445516 .
• Нгок-Дьеп Хо; Пол Ван Доорен и Винсент Блондель (2008). «Методы спуска для факторизации неотрицательных матриц». arXiv : 0801.3199 [ cs.NA ].
• Анджей Цихоцкий ; Рафал Здунек и Шун-ичи Амари (2008). «Неотрицательная матрица и тензорная факторизация». Журнал обработки сигналов IEEE . 25 (1): 142–145. Бибкод : 2008ISPM...25R.142C . дои : 10.1109/MSP.2008.4408452 . S2CID   9997603 .
• Седрик Февотт; Нэнси Бертен и Жан-Луи Дюрье (2009). «Неотрицательная матричная факторизация с расхождением Итакура-Саито: применение к музыкальному анализу». Нейронные вычисления . 21 (3): 793–830. дои : 10.1162/neco.2008.04-08-771 . ПМИД   18785855 . S2CID   13208611 .
• Али Тайлан Джемгил (2009). «Байесовский вывод для моделей факторизации неотрицательной матрицы» . Вычислительный интеллект и нейронаука . 2009 (2): 1–17. дои : 10.1155/2009/785152 . ПМК   2688815 . ПМИД   19536273 .
• Анджей Цихоцкий, Мортен Мруп и др.: «Достижения в области неотрицательных матриц и тензорной факторизации», Hindawi Publishing Corporation, ISBN   978-9774540455 (2008).
• Анджей Цихоцкий, Рафал Здунек, Ань Хай Фан и Шун-ичи Амари: «Неотрицательные матричные и тензорные факторизации: приложения к исследовательскому многоходовому анализу данных и слепому разделению источников», Уайли, ISBN   978-0470746660 (2009).
• Андри Мирзал: «Неотрицательные матричные факторизации для кластеризации и LSI: теория и программирование», LAP LAMBERT Academic Publishing, ISBN   978-3844324891 (2011).
• Юн Сян: «Слепое разделение источников: анализ зависимых компонентов», Springer, ISBN   978-9812872265 (2014).
• Ганеш Р. Найк (ред.): «Методы факторизации неотрицательной матрицы: достижения в теории и приложениях», Springer, ISBN   978-3662517000 (2016).
• Джулиан Беккер: «Неотрицательная матричная факторизация с адаптивными элементами для разделения монофонических аудиоисточников: 1», Shaker Verlag GmbH, Германия, ISBN   978-3844048148 (2016).
• Джен-Цунг Чиен: «Разделение источников и машинное обучение», Academic Press, ISBN   978-0128177969 (2018).
• Сёдзи Макино (ред.): «Разделение аудиоисточников», Springer, ISBN   978-3030103033 (2019).
• Николас Гиллис: «Неотрицательная матричная факторизация», SIAM, ISBN   978-1-611976-40-3 (2020).