функция Хартли

Функция Хартли — это мера неопределенности , введенная Ральфом Хартли в 1928 году. Если выборка из конечного набора А выбирается равномерно случайным образом, информация, раскрывающаяся после того, как результат известен, определяется функцией Хартли.

$H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,$

где | А | обозначает мощность A ​ .

Если основание логарифма шеннон равно 2, то единицей неопределенности является ( более известный как бит ). Если это натуральный логарифм , то единицей измерения является нац . Хартли использовал логарифм с основанием десять , и с этим основанием единица информации называется хартли (он же бан или дит в его честь ). Она также известна как энтропия Хартли или максимальная энтропия.

Функция Хартли, энтропия Шеннона и энтропия Реньи.

Функция Хартли совпадает с энтропией Шеннона (а также с энтропиями Реньи всех порядков) в случае равномерного распределения вероятностей. Это частный случай энтропии Реньи, поскольку:

$H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|{\mathcal {X}}|}p_{i}^{0}=\log |{\mathcal {X}}|.$

Но ее также можно рассматривать как примитивную конструкцию, поскольку, как подчеркивали Колмогоров и Реньи, функцию Хартли можно определить без введения каких-либо понятий вероятности (см. Неопределенность и информация Джорджа Дж. Клира, стр. 423).

Характеристика функции Хартли

Функция Хартли зависит только от количества элементов в наборе и, следовательно, ее можно рассматривать как функцию натуральных чисел. Реньи показал, что функция Хартли по основанию 2 — единственная функция, отображающая натуральные числа в действительные числа, которая удовлетворяет условию

1. $H(mn)=H(m)+H(n)$ (аддитивность)
2. $H(m)\leq H(m+1)$ (монотонность)
3. $H(2)=1$ (нормализация)

что неопределенность декартова произведения двух конечных множеств A и B является суммой неопределенностей A и B. Условие 1 гласит , Условие 2 говорит, что больший набор имеет большую неопределенность.

Вывод функции Хартли

Мы хотим показать, что функция Хартли, log ₂ ( n ), является единственной функцией, отображающей натуральные числа в действительные числа, которая удовлетворяет условию

1. $H(mn)=H(m)+H(n)\,$ (аддитивность)
2. $H(m)\leq H(m+1)\,$ (монотонность)
3. $H(2)=1\,$ (нормализация)

Пусть f — функция натуральных чисел, удовлетворяющая трем вышеуказанным свойствам. Используя аддитивное свойство, мы можем показать, что для любых n и k целых

$f(n^{k})=kf(n).\,$

Пусть a , b и t — любые положительные целые числа. Существует уникальное целое число s, определяемое формулой

$a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)$

Поэтому,

$s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,$

и

${\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.$

С другой стороны, в силу монотонности

$f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,$

Используя уравнение (1), получаем

$sf(a)\leq tf(b)\leq (s+1)f(a),\,$

и

${\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.$

Следовательно,

$\left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.$

Поскольку t может быть сколь угодно большим, разность в левой части приведенного выше неравенства должна быть равна нулю:

${\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.$

Так,

$f(a)=\mu \log _{2}(a)\,$

для некоторой константы µ , которая по свойству нормализации должна быть равна 1.

См. также

• Энтропия Реньи
• Минимальная энтропия

Ссылки

• Эта статья включает в себя материал из функции Хартли на PlanetMath , который доступен под лицензией Creative Commons Attribution/Share-Alike License .
• Эта статья включает в себя материал из «Вывода функции Хартли» на платформе PlanetMath , которая распространяется под лицензией Creative Commons Attribution/Share-Alike License .