Алгоритм взвешенного большинства (машинное обучение)

В машинном обучении алгоритм взвешенного большинства (WMA) — это метаобучения, алгоритм используемый для построения составного алгоритма из пула алгоритмов прогнозирования, которые могут быть любыми типами алгоритмов обучения, классификаторами или даже реальными людьми-экспертами. Алгоритм предполагает, что у нас нет предварительных знаний о точности алгоритмов в пуле, но есть достаточные основания полагать, что один или несколько алгоритмов будут работать хорошо.

Предположим, что проблема представляет собой проблему бинарного решения . Для построения составного алгоритма каждому алгоритму в пуле присваивается положительный вес. Затем составной алгоритм собирает взвешенные голоса от всех алгоритмов в пуле и выдает прогноз, который имеет более высокий голос. Если составной алгоритм допустит ошибку, алгоритмы в пуле, которые способствовали неправильному прогнозированию, будут дисконтированы с определенным коэффициентом β, где 0<β<1.

Можно показать, что верхние границы количества ошибок, допущенных в данной последовательности предсказаний из пула алгоритмов $\mathbf {A}$ является

$\mathbf {O(log|A|+m)}$

если один алгоритм в $\mathbf {x} _{i}$ делает максимум $\mathbf {m}$ ошибки.

Существует множество вариантов алгоритма взвешенного большинства для обработки различных ситуаций, таких как изменение целей, бесконечные пулы или рандомизированные прогнозы. Основной механизм остается прежним: конечная производительность составного алгоритма ограничена функцией производительности специалиста ( наиболее эффективный алгоритм) в пуле.

См. также

• Алгоритм рандомизированного взвешенного большинства