Продукт экспертов

Продукт экспертов (PoE) — это метод машинного обучения . Он моделирует распределение вероятностей, объединяя результаты нескольких более простых распределений.Его предложил Джеффри Хинтон в 1999 году. ^[1] а также алгоритм обучения параметров такой системы.

Основная идея состоит в том, чтобы объединить несколько распределений вероятностей («экспертов») путем умножения их функций плотности, что делает классификацию PoE похожей на операцию «и». Это позволяет каждому эксперту принимать решения на основе нескольких измерений без необходимости охватывать всю размерность проблемы: $P(y|\{x_{k}\})={\frac {1}{Z}}\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})$

где $f_{j}$ представляют собой ненормированные экспертные плотности и $Z=\int {\mbox{d}}y\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})$ — константа нормализации (см. статистическую сумму (статистическая механика) ).

Это связано со смешанной моделью (но сильно отличается от нее) , в которой несколько распределений вероятностей $p_{j}(y|\{x_{j}\})$ объединяются с помощью операции «или», которая представляет собой взвешенную сумму их функций плотности: $P(y|\{x_{k}\})=\sum _{j=1}^{M}\alpha _{j}p_{j}(y|\{x_{k}\}),$ с $\sum _{j}\alpha _{j}=1.$

Каждый из экспертов может пониматься как ответственный за соблюдение ограничений в многомерном пространстве. Точка данных считается вероятной, если ни один из экспертов не утверждает, что эта точка нарушает ограничение.

Для его оптимизации он предложил алгоритм минимизации контрастной дивергенции . ^[2] Этот алгоритм чаще всего используется для обучения ограниченных машин Больцмана .

См. также

Ссылки

^ Хинтон, GE (1999). «Продукты экспертов» . 9-я Международная конференция по искусственным нейронным сетям: ICANN '99 . Том. 1999. ИЭЭ. стр. 1–6. дои : 10.1049/cp:19991075 . ISBN 978-0-85296-721-8 .
^ Хинтон, Джеффри Э. (1 августа 2002 г.). «Продукты обучения экспертов путем минимизации контрастного расхождения» . Нейронные вычисления . 14 (8): 1771–1800. дои : 10.1162/089976602760128018 . ISSN 0899-7667 . ПМИД 12180402 . S2CID 207596505 .

Внешние ссылки

Эта статья о компьютерах незавершена . Вы можете помочь Википедии, расширив ее .

[1] Хинтон, GE (1999). «Продукты экспертов» . 9-я Международная конференция по искусственным нейронным сетям: ICANN '99 . Том. 1999. ИЭЭ. стр. 1–6. дои : 10.1049/cp:19991075 . ISBN 978-0-85296-721-8 .

[2] Хинтон, Джеффри Э. (1 августа 2002 г.). «Продукты обучения экспертов путем минимизации контрастного расхождения» . Нейронные вычисления . 14 (8): 1771–1800. дои : 10.1162/089976602760128018 . ISSN 0899-7667 . ПМИД 12180402 . S2CID 207596505 .

[1]

[2]