Ядро Фишера

В статистической классификации ядро Фишера , названное в честь Рональда Фишера , представляет собой функцию, измеряющую сходство двух объектов на основе наборов измерений для каждого объекта и статистической модели. В процедуре классификации класс нового объекта (реальный класс которого неизвестен) можно оценить путем минимизации по классам среднего расстояния ядра Фишера от нового объекта до каждого известного члена данного класса.

Ядро Фишера было представлено в 1998 году. ^[1] Он сочетает в себе преимущества генеративных статистических моделей (например, скрытой модели Маркова ) и дискриминативных методов (например, машин опорных векторов ):

генеративные модели могут обрабатывать данные переменной длины (добавление или удаление данных хорошо поддерживается)
дискриминационные методы могут иметь гибкие критерии и давать лучшие результаты.

Вывод

Оценка Фишера

Ядро Фишера использует Фишера оценку , определяемую как

U_{X}=\nabla _{\theta }\log P(X|\theta )

где θ представляет собой набор (вектор) параметров. Функция, переводящая θ в журнал P( X | θ ), представляет собой логарифмическое правдоподобие вероятностной модели.

Ядро Фишера

Ядро Фишера определяется как

K(X_{i},X_{j})=U_{X_{i}}^{T}{\mathcal {I}}^{-1}U_{X_{j}}

с ${\mathcal {I}}$ является информационной матрицей Фишера .

Приложения

Поиск информации

Ядро Фишера — это ядро генеративной вероятностной модели. По существу, он представляет собой мост между генеративными и вероятностными моделями документов. ^[2] Ядра Фишера существуют для множества моделей, в частности tf–idf , ^[3] Наивный Байес и вероятностный латентно-семантический анализ .

Классификация и поиск изображений

Ядро Фишера также можно применять к представлению изображений для решения задач классификации или поиска. В настоящее время наиболее популярное представление «мешок визуальных слов» страдает от разреженности и высокой размерности. Ядро Фишера может привести к компактному и плотному представлению, что более желательно для классификации изображений. ^[4] и поиск ^[5]^[6] проблемы.

Вектор Фишера (FV), специальный, приближенный и улучшенный случай общего ядра Фишера. ^[7] представляет собой представление изображения, полученное путем объединения локальных функций изображения . Кодирование FV сохраняет вместе среднее значение и векторы ковариационного отклонения для каждого компонента k модели гауссовой смеси (GMM) и каждого элемента дескрипторов локальных признаков. При систематическом сравнении FV превзошёл все сравниваемые методы кодирования ( Мешок визуальных слов (BoW) , Кодовая книга ядра (KCB), Линейное кодирование с локальным ограничением (LLC), Вектор локально агрегированных дескрипторов (VLAD)), показав, что кодирование второго Информация о порядке (так называемая ковариация кодовых слов) действительно улучшает эффективность классификации. ^[8]

См. также

Информационная метрика Фишера

Примечания и ссылки

^ Томми Яакола и Дэвид Хаусслер (1998), Использование генеративных моделей в дискриминативных классификаторах. В «Достижениях в области нейронных систем обработки информации» 11 , страницы 487–493. МТИ Пресс. ISBN 978-0-262-11245-1 PS , Citeseer
^ Сирил Гутт, Эрик Гаусье, Никола Канседда, Эрве Дежан (2004)) «Генеративные и дискриминативные подходы к распознаванию объектов на основе данных с дефицитом меток» JADT 2004, 7-й международный день статистического анализа текстовых данных , Лувен-ла-Нев, Бельгия, 10-12 марта 2004 г.
^ Чарльз Элкан (2005). Получение TF-IDF как ядра Фишера (PDF) . ШПИЛЬ. Архивировано из оригинала (PDF) 20 декабря 2013 г.
^ Флоран Перроннен и Кристофер Дэнс (2007), «Ядра Фишера о визуальных словарях для категоризации изображений»
^ Эрве Жегу и др. (2010), «Агрегация локальных дескрипторов в компактное представление изображения»
^ AP Twinanda et al. (2014), «Извлечение границ задачи на основе ядра Fisher в базе данных лапароскопических данных с помощью одного видеозапроса»
^ «VLFeat — Документация > C API» . www.vlfeat.org . Проверено 4 марта 2017 г.
^ Зееланд, Марко; Ржанный, Майкл; Алакраа, Недал; Вельдхен, Яна; Мэдер, Патрик (24 февраля 2017 г.). «Классификация видов растений с использованием изображений цветов — сравнительное исследование представлений местных особенностей» . ПЛОС ОДИН . 12 (2): e0170629. дои : 10.1371/journal.pone.0170629 . ISSN 1932-6203 . ПМК 5325198 . ПМИД 28234999 .

Нелло Кристианини и Джон Шоу-Тейлор. Введение в машины опорных векторов и другие методы обучения на основе ядра . Издательство Кембриджского университета, 2000. ISBN 0-521-78019-5 ( [1] Книга SVM)

[1] Томми Яакола и Дэвид Хаусслер (1998), Использование генеративных моделей в дискриминативных классификаторах. В «Достижениях в области нейронных систем обработки информации» 11 , страницы 487–493. МТИ Пресс. ISBN 978-0-262-11245-1 PS , Citeseer

[2] Сирил Гутт, Эрик Гаусье, Никола Канседда, Эрве Дежан (2004)) «Генеративные и дискриминативные подходы к распознаванию объектов на основе данных с дефицитом меток» JADT 2004, 7-й международный день статистического анализа текстовых данных , Лувен-ла-Нев, Бельгия, 10-12 марта 2004 г.

[3] Чарльз Элкан (2005). Получение TF-IDF как ядра Фишера (PDF) . ШПИЛЬ. Архивировано из оригинала (PDF) 20 декабря 2013 г.

[4] Флоран Перроннен и Кристофер Дэнс (2007), «Ядра Фишера о визуальных словарях для категоризации изображений»

[5] Эрве Жегу и др. (2010), «Агрегация локальных дескрипторов в компактное представление изображения»

[6] AP Twinanda et al. (2014), «Извлечение границ задачи на основе ядра Fisher в базе данных лапароскопических данных с помощью одного видеозапроса»

[7] «VLFeat — Документация > C API» . www.vlfeat.org . Проверено 4 марта 2017 г.

[8] Зееланд, Марко; Ржанный, Майкл; Алакраа, Недал; Вельдхен, Яна; Мэдер, Патрик (24 февраля 2017 г.). «Классификация видов растений с использованием изображений цветов — сравнительное исследование представлений местных особенностей» . ПЛОС ОДИН . 12 (2): e0170629. дои : 10.1371/journal.pone.0170629 . ISSN 1932-6203 . ПМК 5325198 . ПМИД 28234999 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]