Выпуклая функция
В математике называется действительная функция выпуклой , если отрезок между любыми двумя различными точками на графике функции лежит над графиком между двумя точками. Аналогично, функция является выпуклой, если ее надграфик (множество точек на графике функции или над ним) представляет собой выпуклое множество . Проще говоря, график выпуклой функции имеет форму чашки. (или прямая линия, как у линейной функции), а график вогнутой функции имеет форму шапки .
Дважды дифференцируемая функция одной переменной является выпуклой тогда и только тогда, когда ее вторая производная неотрицательна во всей области определения . [1] К хорошо известным примерам выпуклых функций одной переменной относится линейная функция (где ) действительное число , квадратичная функция ( как неотрицательное действительное число) и показательную функцию ( как неотрицательное действительное число).
Выпуклые функции играют важную роль во многих областях математики. Они особенно важны при исследовании задач оптимизации , где отличаются рядом удобных свойств. Например, строго выпуклая функция на открытом множестве имеет не более одного минимума . Даже в бесконечномерных пространствах при подходящих дополнительных гипотезах выпуклые функции продолжают удовлетворять таким свойствам и в результате являются наиболее хорошо изученными функционалами в вариационном исчислении . В теории вероятностей выпуклая функция, примененная к ожидаемому значению всегда случайной величины, ограничена сверху ожидаемым значением выпуклой функции случайной величины. Этот результат, известный как неравенство Йенсена , может быть использован для вывода таких неравенств , как среднее арифметико-геометрическое неравенство и неравенство Гёльдера .
Определение [ править ]
Позволять — выпуклое подмножество вещественного векторного пространства и пусть быть функцией.
Затем называется выпуклым тогда и только тогда, когда выполняется любое из следующих эквивалентных условий:
- Для всех и все : Правая часть представляет собой прямую линию между и на графике как функция увеличение от к или уменьшение от к сметает эту линию. Аналогично, аргумент функции в левой части представляет собой прямую линию между и в или -ось графика Итак, это условие требует, чтобы прямая между любой парой точек кривой быть выше или просто соответствует графику. [2]
- Для всех и все такой, что : Отличие этого второго условия от первого условия выше состоит в том, что это условие не включает точки пересечения (например, и ) между прямой, проходящей через пару точек кривой (прямая линия представлена правой частью этого условия) и кривая первое условие включает точки пересечения, когда оно становится или в или или На самом деле точки пересечения не обязательно рассматривать в состоянии выпуклости, используяпотому что и всегда истинны (поэтому бесполезно быть частью условия).
Второе утверждение, характеризующее выпуклые функции, оцениваемые в действительной строке это также оператор, используемый для определения выпуклых функций , которые оцениваются в расширенной строке действительных чисел. где такая функция разрешено брать как ценность. Первый оператор не используется, поскольку он позволяет взять или как значение, и в этом случае, если или соответственно, тогда будет неопределенным (поскольку умножения и не определены). Сумма также не определено, поэтому выпуклой расширенной функции с действительным знаком обычно разрешается принимать только одно из и как ценность.
Второе утверждение также можно изменить, чтобы получить определение строгой выпуклости , где последнее получается заменой при строгом неравенстве Явно карта называется строго выпуклым тогда и только тогда, когда для всех действительных и все такой, что :
Строго выпуклая функция — это функция, согласно которой прямая линия между любой парой точек кривой находится над кривой за исключением точек пересечения прямой и кривой. Пример функции, которая является выпуклой, но не строго выпуклой: . Эта функция не является строго выпуклой, поскольку между любыми двумя точками, имеющими общую координату x, будет прямая линия, в то время как любые две точки, НЕ имеющие общую координату x, будут иметь большее значение функции, чем точки между ними.
Функция называется вогнутым (соответственно строго вогнутым ), если ( умноженный на −1), является выпуклым (соответственно строго выпуклым).
Альтернативное наименование [ править ]
Термин «выпуклый» часто называют « выпуклым вниз» или «вогнутым вверх» , а термин «вогнутый» часто называют «вогнутым вниз» или «выпуклым вверх» . [3] [4] [5] Если термин «выпуклый» используется без ключевых слов «вверх» или «вниз», то он относится строго к графику в форме чаши. . Например, неравенство Йенсена относится к неравенству, включающему выпуклую или выпуклую (вниз) функцию. [6]
Свойства [ править ]
Многие свойства выпуклых функций имеют для функций многих переменных такую же простую формулировку, как и для функций одной переменной. Ниже приведены свойства для случая многих переменных, так как некоторые из них не указаны для функций одной переменной.
Функции одной переменной [ править ]
- Предполагать является функцией одной действительной переменной, определенной на интервале, и пусть (Обратите внимание, что — наклон фиолетовой линии на первом рисунке; функция симметричен в означает, что не меняется при обмене и ). выпукло тогда и только тогда, когда монотонно не убывает по за каждое фиксированное (или наоборот). Эта характеристика выпуклости весьма полезна для доказательства следующих результатов.
- Выпуклая функция одной действительной переменной, определенной на некотором открытом интервале постоянно включен допускает левые и правые производные , причем они монотонно не убывают . Кроме того, левая производная непрерывна слева, а правая производная непрерывна справа. Как следствие, дифференцируемо во всех точках , кроме не более чем счетного числа , множество, в которых не дифференцируемо, однако может быть плотным. Если закрыто, то может перестать быть непрерывным в конечных точках (пример показан в разделе примеры ).
- Дифференцируемая производная функция одной переменной выпукла на отрезке тогда и только тогда, когда ее монотонно не убывает на этом отрезке. Если функция дифференцируема и выпукла, то она также непрерывно дифференцируема .
- Дифференцируемая функция одной переменной выпукла на отрезке тогда и только тогда, когда ее график лежит выше всех ее касательных : [7] : 69 для всех и в интервале.
- Дважды дифференцируемая функция одной переменной выпукла на отрезке тогда и только тогда, когда ее вторая производная на этом интервале неотрицательна; это дает практический тест на выпуклость. Визуально дважды дифференцируемая выпуклая функция «выгибается вверх», без каких-либо изгибов в другую сторону ( точки перегиба ). Если ее вторая производная положительна во всех точках, то функция строго выпуклая, но обратное неверно. Например, вторая производная от является , что равно нулю для но является строго выпуклым.
- Это свойство и указанное выше свойство в терминах «...его производная монотонно не убывает...» не равны, поскольку если неотрицательна на интервале затем монотонно не убывает на а обратное неверно, например, монотонно не убывает на в то время как его производная не определен в некоторых точках .
- Если является выпуклой функцией одной действительной переменной, а , затем является супераддитивным на положительных действительных числах , то есть для положительных действительных чисел и .
С является выпуклой, используя одно из приведенных выше определений выпуклой функции и позволяя отсюда следует, что для всех реальных
- Функция является выпуклой средней точкой на интервале если для всех Это условие лишь немного слабее выпуклости. Например, вещественная измеримая функция Лебега , выпуклая в средней точке, является выпуклой: это теорема Серпинского . [8] В частности, непрерывная функция, выпуклая в средней точке, будет выпуклой.
Функции нескольких переменных [ править ]
- Функция, которая незначительно выпукла по каждой отдельной переменной, не обязательно (совместно) выпукла. Например, функция является маргинально линейным и, следовательно, маргинально выпуклым по каждой переменной, но не (совместно) выпуклым.
- Функция оценивается в расширенных действительных числах выпукло тогда и только тогда, когда его надграфик представляет собой выпуклое множество.
- Дифференцируемая функция определенное на выпуклой области, является выпуклым тогда и только тогда, когда держится для всех в домене.
- Дважды дифференцируемая функция нескольких переменных является выпуклой на выпуклом множестве тогда и только тогда, когда ее матрица Гессе вторых частных производных положительно полуопределена внутри выпуклого множества.
- Для выпуклой функции наборы подуровней и с являются выпуклыми множествами. Функция, удовлетворяющая этому свойству, называется квазивыпуклой функцией и может не быть выпуклой функцией.
- Следовательно, множество глобальных минимизаторов выпуклой функции представляет собой выпуклое множество: - выпуклый.
- Любой локальный минимум выпуклой функции также является глобальным минимумом . выпуклая функция Строго будет иметь не более одного глобального минимума. [9]
- Неравенство Йенсена применимо к любой выпуклой функции. . Если – случайная величина, принимающая значения в области затем где обозначает математическое ожидание . Действительно, выпуклые функции — это именно те, которые удовлетворяют гипотезе неравенства Йенсена .
- первого порядка Однородная функция двух положительных переменных и (то есть функция, удовлетворяющая за все позитивное настоящее ), выпуклая по одной переменной, должна быть выпуклой по другой переменной. [10]
Операции, сохраняющие выпуклость [ править ]
- вогнута тогда и только тогда, когда является выпуклым.
- Если тогда любое действительное число выпукло тогда и только тогда, когда является выпуклым.
- Неотрицательные взвешенные суммы:
- если и все выпуклые, то и В частности, сумма двух выпуклых функций выпукла.
- это свойство распространяется также на бесконечные суммы, интегралы и ожидаемые значения (при условии, что они существуют).
- Поэлементный максимум: пусть быть набором выпуклых функций. Затем является выпуклым. Домен представляет собой совокупность точек, в которых выражение конечно. Важные особые случаи:
- Если являются выпуклыми функциями, то так же
- Теорема Данскина : если является выпуклым в затем является выпуклым в даже если не является выпуклым множеством.
- Состав:
- Если и являются выпуклыми функциями и не убывает в одномерной области, то является выпуклым. Например, если выпукло, то и так потому что выпукло и монотонно возрастает.
- Если является вогнутым и выпукло и не возрастает в одномерной области, то является выпуклым.
- Выпуклость инвариантна относительно аффинных отображений: т.е. если выпукло с областью определения , тогда так и есть , где с доменом
- Минимизация: Если является выпуклым в затем является выпуклым в при условии, что является выпуклым множеством и что
- Если выпукло, то его перспектива с доменом является выпуклым.
- Позволять быть векторным пространством. является выпуклым и удовлетворяет тогда и только тогда, когда для любого и любые неотрицательные действительные числа которые удовлетворяют
Сильно выпуклые функции [ править ]
Понятие сильной выпуклости расширяет и параметризует понятие строгой выпуклости. Интуитивно понятно, что сильно выпуклая функция — это функция, которая растет так же быстро, как квадратичная функция. [11] Сильно выпуклая функция является также строго выпуклой, но не наоборот. Если одномерная функция дважды непрерывно дифференцируема и областью определения является действительная прямая, то мы можем охарактеризовать ее следующим образом:
- выпукло тогда и только тогда, когда для всех
- строго выпуклая, если для всех (примечание: этого достаточно, но не обязательно).
- сильно выпуклая тогда и только тогда, когда для всех
Например, пусть быть строго выпуклой, и пусть существует последовательность точек такой, что . Несмотря на то , функция не является сильно выпуклой, поскольку станет сколь угодно малым.
В более общем смысле, дифференцируемая функция называется сильно выпуклым с параметром если для всех точек выполнено неравенство в своем домене: [12]
Эквивалентным условием является следующее: [14]
Для того чтобы функция была сильно выпуклой, не обязательно быть дифференцируемой. Третье определение [14] для сильно выпуклой функции с параметром это для всех в домене и
Обратите внимание, что это определение приближается к определению строгой выпуклости как и идентично определению выпуклой функции, когда Несмотря на это, существуют функции, строго выпуклые, но не сильно выпуклые ни при каких условиях. (см. пример ниже).
Если функция дважды непрерывно дифференцируема, то она сильно выпукла с параметром тогда и только тогда, когда для всех в домене, где это личность и – матрица Гессе , а неравенство означает, что является положительно полуопределенным . Это эквивалентно требованию, чтобы минимальное собственное значение быть по крайней мере для всех Если домен — это просто реальная линия, то это просто вторая производная таким образом, условие становится . Если тогда это означает, что гессиан положительно полуопределен (или, если областью определения является действительная линия, это означает, что ), откуда следует, что функция выпуклая и, возможно, строго выпуклая, но не сильно выпуклая.
Полагая еще, что функция дважды непрерывно дифференцируема, можно показать, что нижняя граница следует, что оно сильно выпуклое. Используя теорему Тейлора, существует
Функция является сильно выпуклой с параметром m тогда и только тогда, когда функция
Дважды непрерывно дифференцируемая функция на компактном домене это удовлетворяет для всех является сильно выпуклым. Доказательство этого утверждения следует из теоремы о крайних значениях , которая утверждает, что непрерывная функция на компакте имеет максимум и минимум.
С сильно выпуклыми функциями обычно легче работать, чем с выпуклыми или строго выпуклыми функциями, поскольку они представляют собой меньший класс. Как и строго выпуклые функции, сильно выпуклые функции имеют единственные минимумы на компактах.
Свойства сильно выпуклых функций [ править ]
Если f — сильно выпуклая функция с параметром m , то: [15] : Предложение 6.1.4
- Для каждого действительного числа r уровней набор { x | ж ( Икс ) ≤ р } компактен .
- Функция f имеет единственный глобальный минимум на R н .
Равномерно выпуклые функции [ править ]
Равномерно выпуклая функция, [16] [17] с модулем , является функцией что для всех в домене и удовлетворяет
Стоит отметить, что некоторые авторы требуют модуль быть возрастающей функцией, [17] но этого условия требуют не все авторы. [16]
Примеры [ править ]
Функции одной переменной [ править ]
- Функция имеет , поэтому f — выпуклая функция. Он также сильно выпуклый (а значит, и строго выпуклый) с сильной константой выпуклости 2.
- Функция имеет , поэтому f — выпуклая функция. Он строго выпуклый, хотя вторая производная не во всех точках строго положительна. Он не сильно выпуклый.
- Функция значения абсолютного является выпуклым (что отражено в неравенстве треугольника ), даже если оно не имеет производной в точке Он не является строго выпуклым.
- Функция для является выпуклым.
- Показательная функция является выпуклым. Оно также строго выпукло, поскольку , но он не является сильно выпуклым, поскольку вторая производная может быть сколь угодно близкой к нулю. В более общем смысле функция является логарифмически выпуклым, если является выпуклой функцией. Вместо этого иногда используется термин «сверхвыпуклый». [18]
- Функция с областью [0,1], определенной формулой для является выпуклым; оно непрерывно на открытом интервале но не непрерывно при 0 и 1.
- Функция имеет вторую производную ; таким образом, он выпуклый на множестве, где и вогнутый на площадке, где
- Примеры функций, которые монотонно возрастают, но не выпуклы, включают: и .
- Примеры функций, которые являются выпуклыми, но не монотонно возрастающими, включают: и .
- Функция имеет что больше 0, если так выпукла на отрезке . Оно вогнуто на отрезке .
- Функция с , выпукла на отрезке и выпуклая на отрезке , но не выпуклый на отрезке , из-за особенности в
Функции n переменных [ править ]
- Функция LogSumExp , также называемая функцией softmax, является выпуклой функцией.
- Функция в области положительно определенных матриц выпукла. [7] : 74
- Всякое вещественнозначное линейное преобразование является выпуклым, но не строго выпуклым, поскольку если линейно, то . Это утверждение справедливо и в том случае, если мы заменим слово «выпуклое» на «вогнутое».
- Всякая вещественная аффинная функция , то есть каждая функция вида одновременно выпуклая и вогнутая.
- Каждая норма является выпуклой функцией в силу неравенства треугольника и положительной однородности .
- Спектральный радиус является неотрицательной матрицы выпуклой функцией ее диагональных элементов. [19]
См. также [ править ]
- Вогнутая функция
- Выпуклый анализ
- Выпуклое сопряжение
- Выпуклая кривая
- Выпуклая оптимизация
- Геодезическая выпуклость
- Теорема Хана – Банаха
- Неравенство Эрмита–Адамара.
- Функция инвекс
- Неравенство Дженсена
- K-выпуклая функция
- Теорема Качуровского , связывающая выпуклость с монотонностью производной
- Неравенство Караматы
- Логарифмически выпуклая функция
- Псевдовыпуклая функция
- Квазивыпуклая функция
- Субпроизводная выпуклой функции
Примечания [ править ]
- ^ «Конспекты лекций 2» (PDF) . www.stat.cmu.edu . Проверено 3 марта 2017 г.
- ^ «Вогнутость вверх и вниз» . Архивировано из оригинала 18 декабря 2013 г.
- ^ Стюарт, Джеймс (2015). Исчисление (8-е изд.). Cengage Обучение. стр. 223–224. ISBN 978-1305266643 .
- ^ В. Хэмминг, Ричард (2012). Методы математики, применяемые к исчислению, теории вероятностей и статистике (иллюстрированное издание). Курьерская корпорация. п. 227. ИСБН 978-0-486-13887-9 . Выдержка со страницы 227
- ^ Uvarov, Vasiliĭ Borisovich (1988). Mathematical Analysis . Mir Publishers. p. 126-127. ISBN 978-5-03-000500-3 .
- ^ Прюгель-Беннетт, Адам (2020). The Probability Companion for Engineering and Computer Science (иллюстрированное издание). Издательство Кембриджского университета. п. 160. ИСБН 978-1-108-48053-6 . Выдержка со страницы 160
- ↑ Перейти обратно: Перейти обратно: а б Бойд, Стивен П.; Ванденберге, Ливен (2004). Выпуклая оптимизация (pdf) . Издательство Кембриджского университета. ISBN 978-0-521-83378-3 . Проверено 15 октября 2011 г.
- ^ Донохью, Уильям Ф. (1969). Распределения и преобразования Фурье . Академическая пресса. п. 12. ISBN 9780122206504 . Проверено 29 августа 2012 г.
- ^ «Если f строго выпукла в выпуклом множестве, покажите, что оно имеет не более 1 минимума» . Математический StackExchange. 21 марта 2013 г. Проверено 14 мая 2016 г. .
- ^ Альтенберг, Л., 2012. Резольвентные положительные линейные операторы демонстрируют явление редукции. Труды Национальной академии наук, 109 (10), стр. 3705-3710.
- ^ «Сильная выпуклость · Блог Синюй Чжоу» . xingyuzhou.org . Проверено 27 сентября 2023 г.
- ^ Дмитрий Берцекас (2003). Выпуклый анализ и оптимизация . Авторы: Анжелия Недич и Асуман Э. Оздаглар. Афина Сайентифик. п. 72 . ISBN 9781886529458 .
- ^ Филипп Дж. Сиарле (1989). Введение в численную линейную алгебру и оптимизацию . Издательство Кембриджского университета. ISBN 9780521339841 .
- ↑ Перейти обратно: Перейти обратно: а б Юрий Нестеров (2004). Вводные лекции по выпуклой оптимизации: базовый курс . Академическое издательство Клувер. стр. 63–64 . ISBN 9781402075537 .
- ^ Немировский и Бен-Тал (2023). «Оптимизация III: Выпуклая оптимизация» (PDF) .
- ↑ Перейти обратно: Перейти обратно: а б К. Залинеску (2002). Выпуклый анализ в общих векторных пространствах . Всемирная научная. ISBN 9812380671 .
- ↑ Перейти обратно: Перейти обратно: а б Х. Баушке и П. Л. Комбеттс (2011). Выпуклый анализ и теория монотонных операторов в гильбертовых пространствах . Спрингер. п. 144 . ISBN 978-1-4419-9467-7 .
- ^ Кингман, JFC (1961). «Свойство выпуклости положительных матриц». Ежеквартальный математический журнал . 12 : 283–284. дои : 10.1093/qmath/12.1.283 .
- ^ Коэн, Дж. Э., 1981. Выпуклость доминирующего собственного значения существенно неотрицательной матрицы . Труды Американского математического общества, 81 (4), стр. 657-658.
Ссылки [ править ]
- Берцекас, Дмитрий (2003). Выпуклый анализ и оптимизация . Афина Сайентифик.
- Борвейн, Джонатан и Льюис, Адриан. (2000). Выпуклый анализ и нелинейная оптимизация. Спрингер.
- Донохью, Уильям Ф. (1969). Распределения и преобразования Фурье . Академическая пресса.
- Хириар-Уррути, Жан-Батист, и Лемарешаль, Клод . (2004). Основы выпуклого анализа. Берлин: Шпрингер.
- Красносельский М.А. , Рутицкий Я.Б. (1961). Выпуклые функции и пространства Орлича . Гронинген: P.Noordhoff Ltd.
- Лауритцен, Нильс (2013). Выпуклость бакалавриата . Мировое научное издательство.
- Люенбергер, Дэвид (1984). Линейное и нелинейное программирование . Аддисон-Уэсли.
- Люенбергер, Дэвид (1969). Оптимизация методами векторного пространства . Уайли и сыновья.
- Рокафеллар, RT (1970). Выпуклый анализ . Принстон: Издательство Принстонского университета.
- Томсон, Брайан (1994). Симметричные свойства действительных функций . ЦРК Пресс.
- Залинеску, К. (2002). Выпуклый анализ в общих векторных пространствах . Ривер Эдж, Нью-Джерси: World Scientific Publishing Co., Inc., стр. xx+367. ISBN 981-238-067-1 . МР 1921556 .
Внешние ссылки [ править ]
- «Выпуклая функция (действительной переменной)» , Энциклопедия математики , EMS Press , 2001 [1994]
- «Выпуклая функция (комплексной переменной)» , Энциклопедия математики , EMS Press , 2001 [1994]