Усредненные оценки с одной зависимостью
Усредненные оценки с одной зависимостью ( AODE вероятностной ) — это метод обучения классификации . Он был разработан для решения проблемы независимости атрибутов популярного наивного байесовского классификатора . Часто он разрабатывает значительно более точные классификаторы, чем наивный Байес, ценой небольшого увеличения объема вычислений. [1]
Классификатор АОДЕ
[ редактировать ]AODE пытается оценить вероятность каждого класса y с учетом заданного набора признаков x 1 , ... x n , P( y | x 1 , ... x n ). Для этого используется формула
где обозначает оценку , — это частота, с которой аргумент появляется в выборочных данных, а m — заданная пользователем минимальная частота, с которой термин должен появляться, чтобы его можно было использовать во внешнем суммировании. В недавней практике m обычно устанавливается равным 1.
Вывод классификатора AODE
[ редактировать ]Мы стремимся оценить P( y | x 1 , ... x n ). По определению условной вероятности
Для любого ,
В предположении, что x 1 , ... x n независимы при данных y и x i , отсюда следует, что
Эта формула определяет специальную форму оценки одной зависимости (ODE), варианта наивного байесовского классификатора , который делает вышеуказанное предположение независимости более слабым (и, следовательно, потенциально менее вредным), чем наивное предположение независимости Байеса. Как следствие, каждое ОДУ должно создавать менее смещенную оценку, чем наивный Байес. Однако поскольку каждая оценка базовой вероятности обусловлена двумя переменными, а не одной, они формируются на основе меньшего количества данных (обучающих примеров, удовлетворяющих обеим переменным) и, следовательно, вероятно, будут иметь большую дисперсию. AODE уменьшает эту дисперсию, усредняя оценки всех таких ОДУ.
Особенности классификатора AODE
[ редактировать ]Как и наивный байесовский алгоритм, AODE не выполняет выбор модели и не использует настраиваемые параметры. В результате он имеет низкую дисперсию. Он поддерживает постепенное обучение , благодаря чему классификатор может эффективно обновляться информацией из новых примеров по мере их появления. Он прогнозирует вероятности классов, а не просто прогнозирует один класс, позволяя пользователю определить уверенность, с которой может быть сделана каждая классификация. Его вероятностная модель может напрямую обрабатывать ситуации, когда некоторые данные отсутствуют.
AODE имеет вычислительную сложность во время тренировки и во время классификации, где n — количество признаков, l — количество обучающих примеров, а k — количество классов. Это делает невозможным его применение к многомерным данным. Однако в рамках этого ограничения он линеен по отношению к количеству обучающих примеров и, следовательно, может эффективно обрабатывать большое количество обучающих примеров.
Реализации
[ редактировать ]Бесплатный пакет машинного обучения Weka включает реализацию AODE.
См. также
[ редактировать ]Эта статья нуждается в дополнительных цитатах для проверки . ( март 2011 г. ) |
Ссылки
[ редактировать ]- ^ Уэбб, Дж.И., Дж. Боутон и З. Ван (2005). «Не такой уж наивный Байес: агрегирование оценщиков с одной зависимостью» . Машинное обучение , 58(1), 5–24. два : 10.1007/s10994-005-4258-6