Граница решения
В задаче статистической классификации с двумя классами граница решения или поверхность решения представляет собой гиперповерхность , которая делит базовое векторное пространство на два набора, по одному для каждого класса. Классификатор будет классифицировать все точки на одной стороне границы решения как принадлежащие одному классу, а все точки на другой стороне — как принадлежащие другому классу.
Граница решения — это область проблемного пространства, в которой выходная метка классификатора неоднозначна . [1]
Если поверхность решения является гиперплоскостью , то задача классификации линейна, а классы линейно разделимы .
Границы решений не всегда четко очерчены. То есть переход от одного класса в пространстве признаков к другому происходит не прерывисто, а постепенно. Этот эффект часто встречается в алгоритмах классификации на основе нечеткой логики , где принадлежность к тому или иному классу неоднозначна.
Границы решения могут быть аппроксимацией границ оптимальной остановки. [2] Граница решения — это набор точек этой гиперплоскости, проходящих через ноль. [3] Например, угол между вектором и точками в наборе должен быть равен нулю для точек, которые находятся на границе решения или близки к ней. [4]
Неустойчивость границы решения может быть включена в ошибку обобщения в качестве стандарта для выбора наиболее точного и стабильного классификатора. [5]
В нейронных сетях и моделях опорных векторов [ править ]
В случае обратном распространении ошибки , основанных на искусственных нейронных сетей или персептронов , тип границы принятия решения, которую может изучить сеть, определяется количеством скрытых слоев, которые имеет сеть. Если у него нет скрытых слоев, то он может изучать только линейные задачи. Если у него есть один скрытый слой, то он может изучить любую непрерывную функцию на компактных подмножествах R. н как показано универсальной теоремой аппроксимации , таким образом, он может иметь произвольную границу решения.
В частности, машины опорных векторов находят гиперплоскость , разделяющую пространство признаков на два класса с максимальным запасом . Если задача изначально не является линейно разделимой, можно использовать трюк с ядром , чтобы превратить ее в линейно разделимую, увеличив количество измерений. Таким образом, общая гиперповерхность в пространстве малой размерности превращается в гиперплоскость в пространстве гораздо больших измерений.
Нейронные сети пытаются изучить границу решения, которая минимизирует эмпирическую ошибку, в то время как машины опорных векторов пытаются изучить границу решения, которая максимизирует эмпирический запас между границей решения и точками данных.
См. также [ править ]
Ссылки [ править ]
- ^ Корсо, Джейсон Дж. (весна 2013 г.). «Тест 1 из 14 — Решения» (PDF) . Факультет компьютерных наук и инженерии — Школа инженерных и прикладных наук Университета Буффало . Джонсон, Дэвид.
- ^ Уиттл, П. (1973). «Приблизительная характеристика оптимальных границ остановки» . Журнал прикладной вероятности . 10 (1): 158–165. дои : 10.2307/3212503 . ISSN 0021-9002 . JSTOR 3212503 . Проверено 28 ноября 2022 г.
- ^ https://cmci.colorado.edu/classes/INFO-4604/files/notes_svm.pdf
- ^ Лабер, Эрик Б.; Мерфи, Сьюзен А. (2011). «Ответ» . Журнал Американской статистической ассоциации . 106 (495): 940–945. ISSN 0162-1459 . JSTOR 23427564 . Проверено 28 ноября 2022 г.
- ^ Сунь, Уилл Вэй; Ченг, Гуан; Лю, Юфэн (2018). «Выбор классификатора с повышенной стабильностью и большой маржой» . Статистика Синица . arXiv : 1701.05672 . дои : 10.5705/сс.202016.0260 . ISSN 1017-0405 . Проверено 28 ноября 2022 г.
Дальнейшее чтение [ править ]
- Дуда, Ричард О.; Харт, Питер Э.; Сторк, Дэвид Г. (2001). Классификация шаблонов (2-е изд.). Нью-Йорк: Уайли. стр. 215–281. ISBN 0-471-05669-3 .