Кластерно-взвешенное моделирование
В анализе данных интеллектуальном кластерно-взвешенное моделирование (CWM) — это основанный на алгоритмах подход к нелинейному прогнозированию выходных данных ( зависимых переменных ) на основе входных данных ( независимых переменных ) на основе оценки плотности с использованием набора моделей (кластеров), каждая из которых условно является подходит в подобласти входного пространства. Общий подход работает в совместном пространстве ввода-вывода, и первоначальная версия была предложена Нилом Гершенфельдом . [1] [2]
Базовая форма модели
[ редактировать ]Процедуру кластерно-взвешенного моделирования задачи ввода-вывода можно изложить следующим образом. [2] Чтобы построить прогнозируемые значения для выходной переменной y из входной переменной x , процедура моделирования и калибровки приводит к плотности вероятности совместной функции p ( y , x ). Здесь «переменные» могут быть одномерными, многомерными или временными рядами. Для удобства здесь в обозначениях не указаны какие-либо параметры модели, и возможны несколько различных вариантов их обработки, включая установку фиксированных значений на этапе калибровки или обработку их с помощью байесовского анализа . Требуемые прогнозируемые значения получаются путем построения условной плотности вероятности p ( y | x прогноз с использованием условного ожидаемого значения ), из которой может быть получен , при этом условная дисперсия указывает на неопределенность.
Важным шагом моделирования является то, что предполагается, что p ( y | x ) принимает следующую форму как модель смеси :
где n — количество кластеров, а { w j } — веса, сумма которых равна единице. Функции p j ( y , x ) представляют собой совместные функции плотности вероятности, которые относятся к каждому из n кластеров. Эти функции моделируются с использованием разложения на условную и предельную плотность :
где:
- p j ( y | x ) — это модель для прогнозирования y с учетом x и того, что пара ввода-вывода должна быть связана с кластером j на основе значения x . эта модель может быть регрессионной моделью . В простейших случаях
- p j ( x ) формально является плотностью значений x , учитывая, что пара ввода-вывода должна быть связана с кластером j . Относительные размеры этих функций между кластерами определяют, связано ли конкретное значение x с каким-либо данным центром кластера. Эта плотность может быть функцией Гаусса с центром в параметре, представляющем центр кластера.
Как и в случае с регрессионным анализом , важно рассматривать предварительные преобразования данных как часть общей стратегии моделирования, если основными компонентами модели должны быть простые регрессионные модели для плотностей условий по кластерам и нормальные распределения для плотности кластерного взвешивания p j ( x ).
Общие версии
[ редактировать ]Базовый алгоритм CWM дает один выходной кластер для каждого входного кластера. Однако CWM можно расширить на несколько кластеров, которые по-прежнему связаны с одним и тем же входным кластером. [3] Каждый кластер в CWM локализован в гауссовской входной области и содержит собственную обучаемую локальную модель. [4] Он признан универсальным алгоритмом вывода, обеспечивающим простоту, универсальность и гибкость; даже когда многоуровневая сеть с прямой связью может быть предпочтительнее, ее иногда используют как «второе мнение» о характере проблемы обучения. [5]
Оригинальная форма, предложенная Гершенфельдом, описывает два нововведения:
- Включение CWM для работы с непрерывными потоками данных
- Решение проблемы локальных минимумов, возникающих в процессе настройки параметров CWM. [5]
CWM можно использовать для классификации носителей в приложениях принтера, используя как минимум два параметра для создания выходных данных, которые имеют общую зависимость от входных параметров. [6]
Ссылки
[ редактировать ]- ^ Гершенфельд, Н. (1997). «Нелинейный вывод и кластерно-взвешенное моделирование». Анналы Нью-Йоркской академии наук . 808 : 18–24. Бибкод : 1997NYASA.808...18G . дои : 10.1111/j.1749-6632.1997.tb51651.x . S2CID 85736539 .
- ^ Перейти обратно: а б Гершенфельд, Н.; Шонер; Метуа, Э. (1999). «Кластерно-взвешенное моделирование для анализа временных рядов». Природа . 397 (6717): 329–332. Бибкод : 1999Natur.397..329G . дои : 10.1038/16873 . S2CID 204990873 .
- ^ Фельдкамп, Луизиана; Прохоров Д.В.; Фельдкамп, ТМ (2001). «Кластерно-взвешенное моделирование с мультикластерами». IJCNN'01. Международная совместная конференция по нейронным сетям. Судебные разбирательства (Кат. № 01CH37222) . Том. 3. стр. 1710–1714. дои : 10.1109/IJCNN.2001.938419 . ISBN 0-7803-7044-9 . S2CID 60819260 .
- ^ Бойден, Эдвард С. «Кластерно-взвешенное моделирование на основе деревьев: на пути к массово-параллельному цифровому Страдивари в реальном времени» (PDF) . Кембридж, Массачусетс: Медиа-лаборатория Массачусетского технологического института.
- ^ Перейти обратно: а б Прохоров, Новый подход к кластерно-взвешенному моделированию Данил В.; Ли А. Фельдкамп; Тимоти М. Фельдкамп. «Новый подход к кластерно-взвешенному моделированию» (PDF) . Дирборн, Мичиган: Исследовательская лаборатория Форда.
- ^ Гао, Цзюнь; Росс Р. Аллен (24 июля 2003 г.). «КЛАСТЕР-ВЗВЕШЕННОЕ МОДЕЛИРОВАНИЕ ДЛЯ КЛАССИФИКАЦИИ СМИ» . Пало-Альто, Калифорния: Всемирная организация интеллектуальной собственности. Архивировано из оригинала 12 декабря 2012 г.