Jump to content

Распределение фон Мизеса – Фишера

В направленной статистике распределение фон Мизеса-Фишера (названное в честь Рихарда фон Мизеса и Рональда Фишера ) представляет собой распределение вероятностей на - сфера в . Если распределение сводится к распределению Мизеса на окружности .

Определение

[ редактировать ]

Функция плотности вероятности распределения фон Мизеса–Фишера для случайного p -мерного единичного вектора дается:

где и константа нормализации равно

где обозначает модифицированную функцию Бесселя первого рода при порядке . Если , константа нормировки сводится к

Параметры и называются средним направлением и параметром концентрации соответственно. Чем больше значение , тем выше концентрация распределения вокруг среднего направления . Распределение является унимодальным для , и является однородным на сфере для .

Распределение фон Мизеса-Фишера для также называется распределением Фишера . [ 1 ] [ 2 ] Впервые он был использован для моделирования взаимодействия электрических диполей в электрическом поле . [ 3 ] Другие приложения можно найти в геологии , биоинформатике и текстовом анализе .

Обратите внимание на константу нормализации

[ редактировать ]

В учебнике Статистика направленности [ 3 ] Мардиа и Юппа, константа нормализации , данная для плотности вероятности фон Мизеса-Фишера, по-видимому, отличается от приведенной здесь: . В этой книге константа нормализации определяется как:

где это гамма-функция . Эту проблему можно решить, отметив, что Мардиа и Юпп дают плотность «относительно равномерного распределения», тогда как здесь плотность задается обычным способом, относительно меры Лебега . Плотность (по мере Лебега) равномерного распределения является обратной величиной площади поверхности (p-1)-сферы , так что функция однородной плотности задается константой:

Отсюда следует, что:

В то время как значение для было получено выше через площадь поверхности, тот же результат можно получить, полагая в приведенной выше формуле для . Это можно сделать, заметив, что разложение в ряд для разделенный на имеет только один ненулевой член в . (Чтобы оценить этот термин, необходимо использовать определение .)

Поддерживать

[ редактировать ]

Опорой , распределения Фон Мизеса-Фишера является гиперсфера а точнее, -сфера , обозначаемая как

Это -мерное многообразие , вложенное в -мерное евклидово пространство, .

Отношение к нормальному распределению

[ редактировать ]

Начиная с нормального распределения с изотропной ковариацией и имею в виду длины , функция плотности которого:

распределение фон Мизеса-Фишера получается путем обусловления . Расширяя

и используя тот факт, что первые два члена в правой части фиксированы, плотность фон Мизеса-Фишера, восстанавливается путем пересчета константы нормализации путем интегрирования над единичной сферой. Если , мы получаем равномерное распределение с плотностью .

Более кратко, ограничение любой изотропной многомерной нормальной плотности на единичную гиперсферу дает плотность фон Мизеса-Фишера с точностью до нормализации.

Эту конструкцию можно обобщить, начав с нормального распределения с общей ковариационной матрицей, и в этом случае условие на дает распределение Фишера-Бингама .

Оценка параметров

[ редактировать ]

Среднее направление

[ редактировать ]

Серия N независимых единичных векторов взяты из распределения фон Мизеса-Фишера. Оценки максимального правдоподобия среднего направления — это просто нормализованное среднее арифметическое , достаточная статистика : [ 3 ]

Параметр концентрации

[ редактировать ]

Используя модифицированную функцию Бесселя первого рода, определим

Затем:

Таким образом это решение

Простое приближение к есть (Сра, 2011)

Более точную инверсию можно получить, повторив метод Ньютона несколько раз.

Стандартная ошибка

[ редактировать ]

Для N ≥ 25 расчетная сферическая стандартная ошибка среднего направления выборки может быть рассчитана как: [ 4 ]

где

Тогда можно аппроксимировать сферический доверительный интервал ( доверительный конус ) примерно с полувертикальным углом:

где

Например, для конуса достоверности 95 %: и таким образом

Ожидаемая стоимость

[ редактировать ]

Ожидаемое значение распределения Фон Мизеса-Фишера не находится на единичной гиперсфере, а имеет длину меньше единицы. Эта длина определяется выражением как определено выше. Для распределения Фон Мизеса – Фишера со средним направлением и концентрация , ожидаемое значение:

.

Для , ожидаемое значение находится в начале координат. Для конечного , длина ожидаемого значения находится строго между нулем и единицей и является монотонной возрастающей функцией .

Эмпирическое среднее ( среднее арифметическое ) набора точек на единичной гиперсфере ведет себя аналогичным образом: оно близко к началу координат для широко распространенных данных и близко к сфере для концентрированных данных. Действительно, для распределения фон Мизеса-Фишера ожидаемое значение оценки максимального правдоподобия, основанной на наборе точек, равно эмпирическому среднему значению этих точек.

Энтропия и дивергенция KL

[ редактировать ]

Ожидаемое значение можно использовать для вычисления дифференциальной энтропии и расхождения KL .

Дифференциальная энтропия является:

где угловые скобки обозначают ожидание. Обратите внимание, что энтропия является функцией только.

Расхождение KL между и является:

Трансформация

[ редактировать ]

Распределения фон Мизеса-Фишера (ВМФ) замкнуты относительно ортогональных линейных преобразований. Позволять быть -к- ортогональная матрица . Позволять и примените обратимое линейное преобразование: . Обратное преобразование , поскольку обратная ортогональная матрица является ее транспонированием : . Якобиан равен преобразования , для которого абсолютное значение его определителя равно 1, также из-за ортогональности. Используя эти факты и форму плотности ВМП, следует, что:

Можно убедиться, что, поскольку и являются единичными векторами, то в силу ортогональности и .

Генерация псевдослучайных чисел

[ редактировать ]

Общий случай

[ редактировать ]

Алгоритм рисования псевдослучайных выборок из распределения фон Мизеса Фишера (VMF) был предложен Ульрихом. [ 5 ] и позже исправлено Вудом. [ 6 ] Реализация на R предоставлена ​​Хорником и Грюном; [ 7 ] а быстрая реализация Python описана Пинсоном и Юнгом. [ 8 ]

Чтобы смоделировать распределение VMF на -мерная единичная сфера , , со средним направлением , эти алгоритмы используют следующее радиально-тангенциальное разложение для точки  :

где живет в тангенциальном -мерная единица-субсфера, центрированная и перпендикулярная ; пока . Чтобы нарисовать образец из VMF с параметрами и , должно быть получено из равномерного распределения на тангенциальной подсфере; и радиальная составляющая, , необходимо рисовать независимо от распределения с плотностью:

где . Константу нормализации для этой плотности можно проверить, используя:

как указано в Приложении 1 (A.3) в Статистике направлений . [ 3 ] Рисование выборки из этой плотности с использованием алгоритма браковочной выборки объясняется в приведенных выше ссылках. Чтобы нарисовать униформу образцы перпендикулярно , см. алгоритм в, [ 8 ] или иначе преобразование Хаусхолдера , как описано в алгоритме 1. можно использовать [ 9 ]

Чтобы создать распределенный псевдослучайный сферический трехмерный единичный вектор Фон Мизеса-Фишера. [ 10 ] [ 11 ] на сфера для данного и , определять

где это полярный угол, азимутальный угол и расстояние до центра сферы

для тогда псевдослучайная тройка определяется выражением

где выбирается из непрерывного равномерного распределения с нижней границей и верхняя граница

и

где выбирается из стандартного непрерывного равномерного распределения

здесь, должно быть установлено на когда и повернут в соответствии с любым другим желаемым .

Распределение полярного угла

[ редактировать ]

Для , угол θ между и удовлетворяет . Он имеет распространение

,

который можно легко оценить как

.

Для общего случая , распределение косинуса этого угла:

дается , как объяснялось выше .

Равномерное распределение гиперсферы

[ редактировать ]

Когда , распределение фон Мизеса-Фишера, на упрощается до равномерного распределения по . Плотность постоянна со значением . Псевдослучайные выборки могут быть созданы путем создания выборок в от стандартного многомерного нормального распределения с последующей нормализацией к единичной норме.

Предельное значение компонента равномерного распределения

[ редактировать ]

Для , позволять быть любым компонентом . Предельное распределение для имеет плотность: [ 12 ] [ 13 ]

где это бета-функция . Это распределение можно лучше понять, выделив его связь с бета-распределением :

где формула дублирования Лежандра полезна для понимания взаимосвязей между константами нормализации различных плотностей, указанных выше.

Обратите внимание, что компоненты являются не независимыми, так что однородная плотность не является произведением предельных плотностей; и не могут быть собраны путем независимой выборки компонентов.

Распределение скалярных произведений

[ редактировать ]

В машинном обучении , особенно в классификации изображений , классифицируемые входные данные (например, изображения) часто сравниваются с использованием косинусного сходства , которое представляет собой скалярное произведение между промежуточными представлениями в форме единичных векторов (называемых встраиваниями ). Размерность обычно высокая, т. как минимум несколько сотен. Глубокие нейронные сети , которые извлекают вложения для классификации, должны научиться распределять классы как можно дальше друг от друга, и в идеале это должно давать классы, которые равномерно распределены по . [ 14 ] Для лучшего статистического понимания косинусного сходства между классами может оказаться полезным распределение скалярных произведений между единичными векторами, независимо выбранными из равномерного распределения.


Позволять быть единичными векторами в , независимо выбранное из равномерного распределения. Определять:

где является скалярным произведением и являются его трансформированными версиями. Тогда распределение для такое же, как и распределение предельных компонентов , приведенное выше ; [ 13 ] распределение для является симметричной бета-версией и распределением для является симметричной логистической бета-версией :

Средние значения и отклонения:

и

где — первая полигамма-функция . Дисперсии уменьшаются, распределения всех трех переменных становятся более гауссовыми, а окончательное приближение улучшается по мере размерности: , увеличивается.

Обобщения

[ редактировать ]

Матрица фон Мизеса-Фишера

[ редактировать ]

Матричное распределение фон Мизеса-Фишера (также известное как матричное распределение Ланжевена) [ 15 ] [ 16 ] ) имеет плотность

поддерживается на Штифеля многообразии ортонормированные p-кадры , где является произвольным настоящая матрица. [ 17 ] [ 18 ]

Распределения пил

[ редактировать ]

Ульрих, [ 5 ] при разработке алгоритма выборки из распределения VMF использует семейство распределений, названных в честь Джона Г. Соу и исследованных им. [ 19 ] Дистрибутив Saw — это дистрибутив на -сфера, , с модальным вектором и концентрация , и функция плотности которого имеет вид:

где – неотрицательная возрастающая функция; и где – константа нормализации. Вышеупомянутое радиально -тангенциальное разложение обобщается на семейство Пилы и радиальный компонент: имеет плотность:

где это бета-функция. Также обратите внимание, что левый множитель радиальной плотности — это площадь поверхности .

Установив , восстанавливается распределение VMF.

Взвешенное распределение Радемахера

[ редактировать ]

Определение распределения фон Мизеса-Фишера можно расширить, включив в него также случай, когда , так что опорой является 0-мерная гиперсфера, которая при вложении в 1-мерное евклидово пространство представляет собой дискретное множество, . Среднее направление и концентрация . Функция массы вероятности, для является:

где это логистическая сигмоида . Ожидаемое значение . В однородном случае при , это распределение вырождается в распределение Радемахера .

См. также

[ редактировать ]
  1. ^ Фишер, Р.А. (1953). «Рассеивание по сфере». Учеб. Р. Сок. Лонд. А. 217 (1130): 295–305. Бибкод : 1953RSPSA.217..295F . дои : 10.1098/rspa.1953.0064 . S2CID   123166853 .
  2. ^ Уотсон, GS (1980). «Распределения по кругу и на сфере». Дж. Прил. Вероятно . 19 : 265–280. дои : 10.2307/3213566 . JSTOR   3213566 . S2CID   222325569 .
  3. ^ Jump up to: а б с д Мардия, Канти ; Юпп, ЧП (1999). Направленная статистика . John Wiley & Sons Ltd. ISBN компании  978-0-471-95333-3 .
  4. ^ Эмблтон, Н. И. Фишер, Т. Льюис, BJJ (1993). Статистический анализ сферических данных (1-е пбк. изд.). Кембридж: Издательство Кембриджского университета. стр. 115–116 . ISBN  0-521-45699-1 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
  5. ^ Jump up to: а б Ульрих, Гэри (1984). «Компьютерная генерация распределений на м-сфере» . Прикладная статистика . 33 (2): 158–163. дои : 10.2307/2347441 . JSTOR   2347441 .
  6. ^ Вуд, Эндрю Т (1994). «Моделирование распределения фон Мизеса-Фишера» . Коммуникации в статистике – моделирование и вычисления . 23 (1): 157–164. дои : 10.1080/03610919408813161 .
  7. ^ Хорник, Курт; Грюн, Беттина (2014). «movMF: пакет R для подбора смесей распределений фон Мизеса-Фишера» . Журнал статистического программного обеспечения . 58 (10). дои : 10.18637/jss.v058.i10 . S2CID   13171102 .
  8. ^ Jump up to: а б Пинсон, Карлос; Юнг, Кансу (03 марта 2023 г.), сэмплер Fast Python для дистрибутива фон Мизеса Фишера , получено 30 марта 2023 г.
  9. ^ Де Као, Никола; Азиз, Уилкер (13 февраля 2023 г.). «Сферическое распределение власти». arXiv : 2006.04437 [ stat.ML ].
  10. ^ Пакюз-Шарьер, Эврен; Линдси, Марк; Огарко, Виталий; Жиро, Джереми; Джесселл, Марк (06 апреля 2018 г.). «Моделирование Монте-Карло для оценки неопределенности структурных данных в неявном трехмерном геологическом моделировании, руководство по выбору и параметризации распределения возмущений» . Твердая Земля . 9 (2): 385–402. Бибкод : 2018SolE....9..385P . дои : 10.5194/se-9-385-2018 . ISSN   1869-9510 .
  11. ^ А., Вуд, Эндрю Т. (1992). Моделирование распределения фон Мизеса-Фишера . Центр математики и ее приложений Австралийского национального университета. ОСЛК   221030477 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
  12. ^ Госманн, Дж; Элиасмит, К. (2016). «Оптимизация представлений семантических указателей для символьной обработки в пиковых нейронных сетях» . ПЛОС ОДИН . 11 (2): e0149928. Бибкод : 2016PLoSO..1149928G . дои : 10.1371/journal.pone.0149928 . ПМЦ   4762696 . ПМИД   26900931 .
  13. ^ Jump up to: а б Фолькер, Аарон Р.; Госманн, Ян; Стюарт, Терренс К. «Эффективная выборка векторов и координат из n-сферы и n-шара» (PDF) . Центр теоретической нейронауки – Технический отчет, 2017 г. Проверено 22 апреля 2023 г.
  14. ^ Ван, Тунчжоу; Изола, Филипп (2020). «Понимание обучения контрастному представлению посредством выравнивания и единообразия в гиперсфере». Международная конференция по машинному обучению (ICML) . arXiv : 2005.10242 .
  15. ^ Пал, Субхадип; Сенгупта, Субхаджит; Митра, Ритен; Банерджи, Арунава (2020). «Сопряженные априорные значения и апостериорный вывод для матричного распределения Ланжевена на многообразии Штифеля» . Байесовский анализ . 15 (3): 871–908. дои : 10.1214/19-BA1176 . ISSN   1936-0975 .
  16. ^ Чикусе, Ясуко (1 мая 2003 г.). «Концентрированные матричные распределения Ланжевена» . Журнал многомерного анализа . 85 (2): 375–394. дои : 10.1016/S0047-259X(02)00065-9 . ISSN   0047-259X .
  17. ^ Юпп (1979). «Оценки максимального правдоподобия для матричных распределений Мизеса-Фишера и Бингама» . Анналы статистики . 7 (3): 599–606. дои : 10.1214/aos/1176344681 .
  18. ^ Даунс (1972). «Ориентационная статистика». Биометрика . 59 (3): 665–676. дои : 10.1093/biomet/59.3.665 .
  19. ^ Пила, Джон Дж. (1978). «Семейство распределений на м-сфере и некоторые проверки гипотез» . Биометрика . 65 (`): 69–73. дои : 10.2307/2335278 . JSTOR   2335278 .

Дальнейшее чтение

[ редактировать ]
  • Диллон И., Сра С. (2003) «Моделирование данных с использованием направленного распределения». Тех. представитель Техасского университета, Остин.
  • Банерджи А., Диллон И.С., Гош Дж. и Сра С. (2005). «Кластеризация на единичной гиперсфере с использованием распределений Мизеса-Фишера». Журнал исследований машинного обучения, 6 сентября, 1345–1382.
  • Сра, С. (2011). «Краткое примечание об аппроксимации параметров распределений фон Мизеса-Фишера: и быстрая реализация I_s (x)». Вычислительная статистика . 27 : 177–190. CiteSeerX   10.1.1.186.1887 . дои : 10.1007/s00180-011-0232-x . S2CID   3654195 .
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 64b97cf3a683c97889560d32ab3cace2__1724413260
URL1:https://arc.ask3.ru/arc/aa/64/e2/64b97cf3a683c97889560d32ab3cace2.html
Заголовок, (Title) документа по адресу, URL1:
von Mises–Fisher distribution - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)