Релевантная векторная машина

В математике машина релевантных векторов (RVM) — это метод машинного обучения , который использует байесовский вывод для получения экономичных решений для регрессии и вероятностной классификации . ^[1]RVM имеет идентичную функциональную форму с машиной опорных векторов , но обеспечивает вероятностную классификацию.

Фактически это эквивалентно модели гауссовского процесса с ковариационной функцией :

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

где $\varphi$ — функция ядра (обычно гауссова), $\alpha _{j}$ являются дисперсиями априора на весовом векторе $w\sim N(0,\alpha ^{-1}I)$ , и $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$ являются входными векторами обучающего набора . ^[2]

По сравнению с машинами опорных векторов (SVM), байесовская формулировка RVM позволяет избежать набора свободных параметров SVM (которые обычно требуют пост-оптимизации на основе перекрестной проверки). Однако RVM используют метод обучения, подобный максимизации ожидания (EM), и поэтому подвержены риску локальных минимумов. Это отличается от стандартных алгоритмов на основе последовательной минимальной оптимизации (SMO), используемых SVM , которые гарантированно находят глобальный оптимум (выпуклой задачи).

Машина векторов релевантности была запатентована в США компанией Microsoft (срок действия патента истек 4 сентября 2019 г.). ^[3]

См. также [ править ]

Трюк с ядром
Масштабирование Платта : превращает SVM в вероятностную модель.

Ссылки [ править ]

^ Типпинг, Майкл Э. (2001). «Разреженное байесовское обучение и машина векторов релевантности» . Журнал исследований машинного обучения . 1 : 211–244.
^ Кандела, Хоакин Киньонеро (2004). «Разреженные вероятностные линейные модели и RVM». Обучение в условиях неопределенности - гауссовские процессы и машины релевантных векторов (PDF) (доктор философии). Технический университет Дании . Проверено 22 апреля 2016 г.
^ США 6633857 , Майкл Э. Типпинг, «Машина векторов релевантности».

Программное обеспечение [ править ]

dlib C++ библиотека
Библиотека ядра и машины
rvmbinary : R для двоичной классификации. пакет
scikit-rvm
fast-scikit-rvm , руководство по rvm

Внешние ссылки [ править ]

[1] Типпинг, Майкл Э. (2001). «Разреженное байесовское обучение и машина векторов релевантности» . Журнал исследований машинного обучения . 1 : 211–244.

[2] Кандела, Хоакин Киньонеро (2004). «Разреженные вероятностные линейные модели и RVM». Обучение в условиях неопределенности - гауссовские процессы и машины релевантных векторов (PDF) (доктор философии). Технический университет Дании . Проверено 22 апреля 2016 г.

[3] США 6633857 , Майкл Э. Типпинг, «Машина векторов релевантности».

[1]

[2]

[3]