Закон Ципфа – Мандельброта

Ципф – Мандельброт

Параметры	$N\in \{1,2,3\ldots \}$ ( целое число ) $q\in [0;\infty )$ ( настоящий ) $s>0$ ( настоящий )
Поддерживать	$k\in \{1,2,\ldots ,N\}$
ПМФ	${\frac {1}{H_{N,q,s}}}{\frac {1}{(k+q)^{s}}}$
CDF	${\frac {H_{k,q,s}}{H_{N,q,s}}}$
Иметь в виду	${\frac {H_{N,q,s-1}}{H_{N,q,s}}}-q$
Режим	$1$
Энтропия	${\frac {s}{H_{N,q,s}}}\sum _{k=1}^{N}{\frac {\ln(k+q)}{(k+q)^{s}}}+\ln(H_{N,q,s})$

В теории вероятностей и статистике закон Ципфа-Мандельброта представляет собой дискретное распределение вероятностей . Также известный как закон Парето -Ципфа, это степенное распределение ранжированных данных , названное в честь лингвиста Джорджа Кингсли Зипфа , который предложил более простое распределение, называемое законом Ципфа , и математика Бенуа Мандельброта , который впоследствии обобщил его.

Функция массы вероятности определяется выражением

$f(k;N,q,s)={\frac {1}{H_{N,q,s}}}{\frac {1}{(k+q)^{s}}},$

где $H_{N,q,s}$ дается

$H_{N,q,s}=\sum _{i=1}^{N}{\frac {1}{(i+q)^{s}}},$

которое можно рассматривать как обобщение гармонического числа . В формуле $k$ - это ранг данных, и $q$ и $s$ являются параметрами распределения. В пределе как $N$ приближается к бесконечности, это становится дзета-функцией Гурвица $\zeta (s,q)$. Для конечного $N$ и $q=0$ закон Ципфа-Мандельброта становится законом Ципфа . Для бесконечности $N$ и $q=0$ оно становится дзета-распределением .

Приложения

Распределение слов, ранжированных по их частоте, в случайном текстовом корпусе аппроксимируется степенным законом распределения, известным как закон Ципфа .

Если построить график частотного ранга слов, содержащихся в корпусе текстовых данных среднего размера, в зависимости от количества вхождений или фактических частот, можно получить степенное , распределение с показателем близким к единице (но см. Powers, 1998 и Gelbukh & Sidorov, 2001). Закон Ципфа неявно предполагает фиксированный размер словаря, но гармонический ряд с s = 1 не сходится, в то время как обобщение Ципфа – Мандельброта с s > 1 сходится. Более того, есть свидетельства того, что закрытый класс функциональных слов, определяющих язык, подчиняется распределению Ципфа – Мандельброта с параметрами, отличными от открытых классов содержательных слов, которые различаются в зависимости от темы, области и регистра.

В полевых экологических исследованиях часто обнаруживается, что распределение относительной численности (т.е. график количества наблюдаемых видов в зависимости от их численности) соответствует закону Ципфа-Мандельброта.

В музыке многие показатели измерения «приятной» музыки соответствуют распределениям Ципфа – Мандельброта.

Ссылки

• Мандельброт, Бенуа (1965). «Теория информации и психолингвистика». В Б. Б. Вольмане и Э. Нагеле (ред.). Научная психология . Основные книги. Перепечатано как
  • Мандельброт, Бенуа (1968) [1965]. «Теория информации и психолингвистика». В RC Oldfield и JC Marchall (ред.). Язык . Книги о пингвинах.
• Пауэрс, Дэвид М.В. (1998). «Приложения и объяснения закона Ципфа». Новые методы обработки речи и компьютерного изучения естественного языка . Совместная конференция по новым методам обработки речи и компьютерному изучению естественного языка. Ассоциация компьютерной лингвистики . стр. 151–160.
• Зипф, Джордж Кингсли (1932). Избранные исследования принципа относительной частоты в языке . Кембридж, Массачусетс: Издательство Гарвардского университета.
• Ван Дрогенброк Ф.Дж. (2019). «Существенная перефразировка закона Ципфа-Мандельброта для решения задач установления авторства с помощью статистики Гаусса» .

Внешние ссылки

• З.К. Силагадзе: Цитаты и закон Ципфа–Мандельброта
• NIST: закон Ципфа
• Ссылки В. Ли по закону Ципфа.
• Гелбух и Сидоров, 2001: Коэффициенты законов Ципфа и Хипса зависят от языка.
• Библиотека C++ для генерации случайных отклонений Ципфа – Мандельброта.