Неравенство Дженсена
Эта статья нуждается в дополнительных цитатах для проверки . ( октябрь 2011 г. ) |

В математике , неравенство Йенсена названное в честь датского математика Йохана Йенсена связывает значение выпуклой функции интеграла , с интегралом выпуклой функции. Это было доказано Йенсеном в 1906 г. [ 1 ] основываясь на более раннем доказательстве того же неравенства для дважды дифференцируемых функций, сделанном Отто Гёльдером в 1889 году. [ 2 ] Учитывая свою общность, неравенство проявляется во многих формах в зависимости от контекста, некоторые из которых представлены ниже. В своей простейшей форме неравенство гласит, что выпуклое преобразование среднего меньше или равно среднему, примененному после выпуклого преобразования; Из простого следствия следует , что для вогнутых преобразований верно обратное. [ 3 ]
Йенсена обобщает утверждение о том, что секущая линия выпуклой функции лежит над графиком Неравенство функции , что является неравенством Йенсена для двух точек: секущая линия состоит из взвешенных средних выпуклой функции (при t ∈ [0,1]) ,
а график функции представляет собой выпуклую функцию взвешенных средних,
Таким образом, неравенство Йенсена имеет вид
В контексте теории вероятностей это обычно формулируется в следующем виде: если X — случайная величина , а φ — выпуклая функция, то
Разница между двумя сторонами неравенства, , называется разрывом Дженсена . [ 4 ]
Заявления
[ редактировать ]Классическая форма неравенства Йенсена включает несколько чисел и весов. Неравенство можно сформулировать в весьма общем виде, используя либо язык теории меры , либо (что эквивалентно) язык вероятности. В вероятностной ситуации неравенство можно далее обобщить до полной силы .
Конечная форма
[ редактировать ]Для действительной выпуклой функции , цифры в своей области и положительные веса , неравенство Йенсена можно сформулировать как:
( 1 ) |
и неравенство обратимо, если вогнутая , то есть
( 2 ) |
Равенство имеет место тогда и только тогда, когда или линейна в области, содержащей .
В частном случае, если веса все равны, то ( 1 ) и ( 2 ) станут
( 3 ) |
( 4 ) |
Например, функция log( x ) вогнутая , поэтому замена в предыдущей формуле ( 4 ) устанавливает (логарифм) знакомое среднее арифметическое/среднее геометрическое неравенство :
Обычное приложение имеет x как функцию другой переменной (или набора переменных) t , то есть . Все это переносится непосредственно на общий непрерывный случай: веса a i заменяются неотрицательной интегрируемой функцией f ( x ) , такой как распределение вероятностей, а суммы заменяются интегралами.
Теоретико-мерная форма
[ редактировать ]Позволять быть вероятностным пространством . Позволять быть -измеримая функция и быть выпуклым. Затем: [ 5 ]
В реальном анализе нам может потребоваться оценка
где , и – неотрицательная интегрируемая по Лебегу функция. В этом случае мера Лебега не обязательно единство. Однако путем интегрирования заменой интервал можно масштабировать так, чтобы он имел единицу меры. Тогда неравенство Йенсена можно применить, чтобы получить [ 6 ]
Вероятностная форма
[ редактировать ]Тот же результат можно эквивалентным образом сформулировать в рамках теории вероятностей , просто изменив обозначения. Позволять — вероятностное пространство , X вещественная — интегрируемая случайная величина , а φ функция — выпуклая . Затем:
В этой вероятностной ситуации мера µ понимается как вероятность , интеграл по µ как ожидаемое значение , и функция как величина X. случайная
Заметим, что равенство выполняется тогда и только тогда, когда φ — линейная функция на некотором выпуклом множестве такой, что (что следует из рассмотрения приведенного ниже теоретико-мерного доказательства).
Общее неравенство в вероятностной ситуации
[ редактировать ]В более общем смысле, пусть T — вещественное топологическое векторное пространство , а X — T. со значением интегрируемая случайная величина В этой общей ситуации интегрируемость означает, что существует элемент в T , такой, что для любого элемента z в пространстве двойственном к T : , и . Тогда для любой измеримой выпуклой функции φ и любой под- σ-алгебры из :
Здесь обозначает математическое ожидание, обусловленное σ-алгеброй . Это общее утверждение сводится к предыдущим, когда топологическое векторное пространство T является действительной осью и — тривиальная σ -алгебра {∅, Ω} (где ∅ — пустое множество , а Ω — выборочное пространство ). [ 8 ]
Заостренная и обобщенная форма
[ редактировать ]Пусть X — одномерная случайная величина со средним значением и дисперсия . Позволять быть дважды дифференцируемой функцией и определить функцию
Затем [ 9 ]
В частности, когда выпукло, то , и сразу следует стандартная форма неравенства Йенсена для случая, когда дополнительно предполагается дважды дифференцируемым.
Доказательства
[ редактировать ]Интуитивное графическое доказательство
[ редактировать ]

Неравенство Йенсена можно доказать несколькими способами, и будут предложены три разных доказательства, соответствующие различным утверждениям, приведенным выше. Однако прежде чем приступить к этим математическим выводам, стоит проанализировать интуитивно понятный графический аргумент, основанный на вероятностном случае, когда X — действительное число (см. Рисунок). Предполагая гипотетическое распределение значений X , можно сразу определить положение и его изображение в графике. Заметив, что для выпуклых отображений Y = φ ( x ) некоторых значений x соответствующее распределение значений Y все больше «растягивается» при увеличении значений X , легко увидеть, что распределение Y шире в интервале, соответствующем X > X 0 и уже в X < X 0 для любого X 0 ; в частности, это справедливо и для . Следовательно, в этой картине ожидание Y всегда будет смещаться вверх по отношению к положению Y. . Аналогичные рассуждения справедливы, если распределение X охватывает убывающую часть выпуклой функции или как убывающую, так и возрастающую ее часть. Это «доказывает» неравенство, т.е.
с равенством, когда φ ( X ) не является строго выпуклым, например, когда это прямая линия, или когда X следует вырожденному распределению (т. е. является константой).
Доказательства, приведенные ниже, формализуют это интуитивное представление.
Доказательство 1 (конечная форма)
[ редактировать ]Если λ 1 и λ 2 — два произвольных неотрицательных действительных числа такие, что λ 1 + λ 2 = 1, то из выпуклости φ следует
Это можно обобщить: если λ 1 , ..., λ n — неотрицательные действительные числа такие, что λ 1 + ... + λ n = 1 , то
для любого x 1 , ..., x n .
Конечная форма неравенства Йенсена может быть доказана по индукции : по гипотезе выпуклости утверждение верно для n = 2. Предположим, что утверждение верно для некоторого n , поэтому
для любых λ 1 , ..., λ n таких, что λ 1 + ... + λ n = 1 .
Это нужно доказать для n + 1 . По крайней мере одно из λ i строго меньше, чем , скажем, λ n +1 ; следовательно, по неравенству выпуклости:
Поскольку λ 1 + ... + λ n + λ n +1 = 1 ,
- ,
применение индуктивной гипотезы дает
поэтому
Мы приходим к выводу, что равенство верно для n + 1 , по индукции отсюда следует, что результат верен также для всех целых чисел n, больших 2.
Чтобы получить общее неравенство из этой конечной формы, нужно использовать аргумент плотности. Конечная форма может быть переписана как:
где µ n — мера, заданная произвольной выпуклой комбинацией дельт Дирака :
Поскольку выпуклые функции непрерывны и выпуклые комбинации дельт Дирака слабо плотны во множестве вероятностных мер (в чем легко убедиться), общее утверждение получается просто предельной процедурой.
Доказательство 2 (теоретико-мерная форма)
[ редактировать ]Позволять быть действительно ценным -интегрируемая функция в вероятностном пространстве , и пусть быть выпуклой функцией действительных чисел. С выпукло для каждого действительного числа у нас есть непустой набор субпроизводных , которые можно рассматривать как линии, касающиеся графика в , но которые находятся ниже графика во всех точках (опорных линиях графика).
Теперь, если мы определим
ввиду существования субпроизводных у выпуклых функций мы можем выбрать и такой, что
для всех реально и
Но тогда у нас есть это
почти для всех . Поскольку у нас есть вероятностная мера, интеграл монотонен с так что
по желанию.
Доказательство 3 (общее неравенство в вероятностной ситуации)
[ редактировать ]Пусть X — интегрируемая случайная величина, принимающая значения в реальном топологическом векторном T. пространстве С является выпуклым для любого , количество
уменьшается по мере θ к 0 приближения + . , субдифференциал В частности оценивается в точке x в направлении y, четко определяется выражением
Легко видеть, что субдифференциал линеен по y [ нужна ссылка ] (это неверно и утверждение требует доказательства теоремы Хана-Банаха), а поскольку нижняя грань, взятая в правой части предыдущей формулы, меньше значения того же слагаемого при θ = 1 , получаем
В частности, для произвольной под- σ -алгебры мы можем оценить последнее неравенство, когда чтобы получить
Теперь, если мы возьмем ожидание, обусловленное по обе стороны предыдущего выражения, мы получаем результат, так как:
линейностью субдифференциала по переменной y и следующим известным свойством условного математического ожидания :
Приложения и особые случаи
[ редактировать ]Форма, включающая функцию плотности вероятности
[ редактировать ]Предположим, что Ω — измеримое подмножество действительной прямой, а f ( x ) — неотрицательная функция такая, что
На вероятностном языке f — это функция плотности вероятности .
Тогда неравенство Йенсена превращается в следующее утверждение о выпуклых интегралах:
Если g — любая измеримая функция с действительным знаком и выпукла в диапазоне g , то
Если g ( x ) = x , то эта форма неравенства сводится к часто используемому частному случаю:
Это применяется в вариационных байесовских методах .
Пример: четные моменты случайной величины
[ редактировать ]Если г ( Икс ) = Икс 2н , а X — случайная величина, то g выпукла как
и так
В частности, если какой-то четный момент конечен , 2n X X имеет конечное среднее. Расширение этого аргумента показывает, что X имеет конечные моменты любого порядка. деление н .
Альтернативная конечная форма
[ редактировать ]Пусть Ω = { x 1 , ... x n } и возьмем µ в качестве считающей меры на Ω , тогда общий вид сводится к утверждению о суммах:
при условии, что λ i ≥ 0 и
Существует также бесконечная дискретная форма.
Статистическая физика
[ редактировать ]Неравенство Йенсена имеет особое значение в статистической физике, когда выпуклая функция является экспоненциальной, что дает:
где ожидаемые значения относятся к некоторому распределению вероятностей случайной величины X .
Доказательство: Пусть в
Теория информации
[ редактировать ]Если p ( x ) — истинная плотность вероятности для X , а q ( x ) — другая плотность, то применяя неравенство Йенсена для случайной величины Y ( X ) = q ( X )/ p ( X ) и выпуклую функцию φ ( y ) = −log( y ) дает
Поэтому:
результат, называемый неравенством Гиббса .
Он показывает, что средняя длина сообщения минимизируется, когда коды назначаются на основе истинных вероятностей p, а не любого другого распределения q . Неотрицательная величина называется расходимостью Кульбака – Лейблера q от p , где .
Поскольку −log( x ) является строго выпуклой функцией для x > 0 , отсюда следует, что равенство выполняется, когда p ( x ) равно q ( x ) почти везде.
Теорема Рао – Блэквелла
[ редактировать ]Если L — выпуклая функция и субсигма-алгебра, то из условного варианта неравенства Йенсена получим
Итак, если δ( X ) является некоторой оценкой ненаблюдаемого параметра θ с учетом вектора наблюдаемых X ; и если T ( X ) является достаточной статистикой для θ; тогда улучшенная оценка в смысле меньшего ожидаемого ущерба L может быть получена путем вычисления
ожидаемое значение δ по отношению к θ, взятое по всем возможным векторам наблюдений X, совместимым с тем же значением T ( X ), что и наблюдаемое. Далее, поскольку T является достаточной статистикой, не зависит от θ, следовательно, становится статистикой.
Этот результат известен как теорема Рао–Блэквелла .
Неприятие риска
[ редактировать ]Связь между неприятием риска и снижением предельной полезности скалярных результатов можно формально сформулировать с помощью неравенства Йенсена: неприятие риска можно сформулировать как предпочтение определенного результата. к честной игре с потенциально более крупным, но неопределенным исходом :
.
Но это просто неравенство Йенсена для вогнутой : функция полезности , демонстрирующая убывающую предельную полезность. [ 11 ]
См. также
[ редактировать ]- Неравенство Караматы для более общего неравенства
- Неравенство Поповичу
- Закон средних чисел
- Доказательство без слов неравенства Йенсена.
Примечания
[ редактировать ]- ^ Дженсен, JLWV (1906). «О выпуклых функциях и неравенствах между средними значениями» . Акта Математика . 30 (1): 175–193. дои : 10.1007/BF02418571 .
- ^ Гессаб, А.; Шмайссер, Г. (2013). «Необходимые и достаточные условия справедливости неравенства Йенсена». Архив математики . 100 (6): 561–570. дои : 10.1007/s00013-013-0522-3 . МР 3069109 . S2CID 56372266 .
- ^ Деккинг, FM; Краайкамп, К.; Лопухаа, HP; Мистер, Л.Е. (2005). Современное введение в вероятность и статистику: понимание почему и как . Тексты Спрингера в статистике. Лондон: Спрингер. дои : 10.1007/1-84628-168-7 . ISBN 978-1-85233-896-1 .
- ^ Гао, Сян; Ситхарам, Мира; Ройтберг, Адриан (2019). «Границы разрыва Дженсена и последствия для распределений, концентрированных по среднему» (PDF) . Австралийский журнал математического анализа и приложений . 16 (2). arXiv : 1712.05267 .
- ^ с. 25 из Рик Дарретт (2019). Вероятность: теория и примеры (5-е изд.). Издательство Кембриджского университета. ISBN 978-1108473682 .
- ^ Никулеску, Константин П. «Интегральные неравенства» , стр. 12.
- ^ с. 29 из Рик Дарретт (2019). Вероятность: теория и примеры (5-е изд.). Издательство Кембриджского университета. ISBN 978-1108473682 .
- ^ Внимание: в этой общности необходимы дополнительные предположения о выпуклой функции и/или топологическом векторном пространстве, см. пример (1.3) на с. 53 дюйма Перлман, Майкл Д. (1974). «Неравенство Йенсена для выпуклой векторной функции в бесконечномерном пространстве» . Журнал многомерного анализа . 4 (1): 52–65. дои : 10.1016/0047-259X(74)90005-0 . hdl : 11299/199167 .
- ^ Ляо, Дж.; Берг, А (2018). «Уточнение неравенства Дженсена». Американский статистик . 73 (3): 278–281. arXiv : 1707.08644 . дои : 10.1080/00031305.2017.1419145 . S2CID 88515366 .
- ^ Брэдли, CJ (2006). Введение в неравенства . Лидс, Великобритания: Математический фонд Соединенного Королевства. п. 97. ИСБН 978-1-906001-11-7 .
- ^ Назад, Керри (2010). Теория ценообразования активов и выбора портфеля . Издательство Оксфордского университета. п. 5. ISBN 978-0-19-538061-3 .
Ссылки
[ редактировать ]- Дэвид Чендлер (1987). Введение в современную статистическую механику . Оксфорд. ISBN 0-19-504277-8 .
- Тристан Нидхэм (1993) «Визуальное объяснение неравенства Дженсена», American Mathematical Monthly 100 (8): 768–71.
- Николас Фуско ; Паоло Марчеллини ; Карло Сбордоне (1996). математический анализ Должный Лигуори ISBN 978-88-207-2675-1 .
- Вальтер Рудин (1987). Реальный и комплексный анализ . МакГроу-Хилл. ISBN 0-07-054234-1 .
- Рик Дарретт (2019). Вероятность: теория и примеры (5-е изд.). Издательство Кембриджского университета. п. 430. ИСБН 978-1108473682 . Проверено 21 декабря 2020 г.
- Сэм Сэвидж (2012) Недостаток средних значений: почему мы недооцениваем риск перед лицом неопределенности (1-е изд.) Wiley. ISBN 978-0471381976
Внешние ссылки
[ редактировать ]- Операторное неравенство Йенсена Хансена и Педерсена.
- «Неравенство Дженсена» , Математическая энциклопедия , EMS Press , 2001 [1994]
- Вайсштейн, Эрик В. «Неравенство Дженсена» . Математический мир .
- Артур Лоуотер (1982). «Введение в неравенства» . Электронная онлайн-книга в формате PDF.