Самосогласованная функция
Самосогласованная функция — это функция, удовлетворяющая определенному дифференциальному неравенству , что особенно облегчает оптимизацию с использованием метода Ньютона. [1] : Под.6.2.4.2 — Самосогласованный барьер это определенная самосогласованная функция, которая также является барьерной функцией для конкретного выпуклого множества. Самосогласованные барьеры являются важными компонентами внутренних точек методов оптимизации .
Самосогласованные функции
[ редактировать ]Многомерная самосогласованная функция
[ редактировать ]Вот общее определение самосогласованной функции. [2] : По умолчанию 2.0.1
Пусть C — выпуклое непустое открытое множество в R н . Пусть f — функция, трижды непрерывно дифференцируемая, определенная на C . Мы говорим, что f самосогласована на C, если она удовлетворяет следующим свойствам:
1. Барьерное свойство : на любой последовательности точек в C , которая сходится к граничной точке C , f сходится к ∞.
2. Дифференциальное неравенство : для каждой точки x в C и любого направления h в R н , пусть g h будет функцией f, ограниченной направлением h , то есть: g h ( t ) = f ( x +t* h ). Тогда одномерная функция должна gh удовлетворять следующему дифференциальному неравенству:
.
Эквивалентно: [3]
Одномерная самосогласованная функция
[ редактировать ]Функция является самосогласованным по если:
Эквивалентно: если где угодно он удовлетворяет:
и удовлетворяет в другом месте.
Примеры
[ редактировать ]- Линейные и выпуклые квадратичные функции самосогласованы, поскольку их третья производная равна нулю.
- Любая функция где определена и выпукла для всех и проверяет , является самосогласованным в своей области, которая . Некоторые примеры:
- для
- для
- для любой функции удовлетворяющая условиям, функция с также удовлетворяет условиям.
Некоторые функции, которые не являются самосогласованными:
Самосогласованные барьеры
[ редактировать ]Вот общее определение самосогласованного барьера (SCB). [2] : По умолчанию 3.1.1
Пусть C — выпуклое замкнутое множество в R н с непустым салоном. Пусть f — функция из внутреннего пространства ( C ) в R. Пусть M >0 — действительный параметр. Мы говорим, что f является M -самосогласованным барьером для C, если он удовлетворяет следующему:
1. f — самосогласованная функция внутри ( C ).
2. Для каждой точки x внутри ( C ) и любого направления h в R н , пусть g h будет функцией f, ограниченной направлением h , то есть: g h ( t ) = f ( x +t* h ). Тогда одномерная функция должна gh удовлетворять следующему дифференциальному неравенству:
.
Создание SCB
[ редактировать ]Из-за важности SCB в методах внутренних точек важно знать, как создавать SCB для различных областей.
Теоретически можно доказать, что каждая замкнутая выпуклая область в R н имеет самосогласованный барьер с параметром O( n ). Но этот «универсальный барьер» задается некоторыми многомерными интегралами и слишком сложен для реальных вычислений. Следовательно, основная цель — построить эффективно вычислимые SCB. [4] : Раздел 9.2.3.3
SCB могут быть построены из некоторых базовых SCB , которые объединяются для создания SCB для более сложных доменов, используя несколько правил комбинирования .
Базовые SCB
[ редактировать ]Каждая константа является самосогласованным барьером для всех R н , с параметром М=0. Это единственный самосогласованный барьер для всего пространства и единственный самосогласованный барьер с M < 1. [2] : Пример 3.1.1 [Обратите внимание, что линейные и квадратичные функции являются самосогласованными функциями, но не являются самосогласованными барьерами].
Для положительной полуоси ( ), является самосогласованным барьером с параметром . Это можно доказать непосредственно из определения.
Правило замены
[ редактировать ]Пусть G — замкнутая выпуклая область в R н и g M - SCB для G . Пусть x = Ay + b — аффинное отображение из R к в Р н с его изображением, пересекающим внутреннюю часть G . Пусть H — прообраз G при отображении: H = { y в R к | Ay+b в G }. Пусть h — сложная функция h ( y ) := g( Ay + b ). Тогда h является M для H. - SCB [2] : Предложение 3.1.1
Например, возьмем n = 1, G — положительную полупрямую и . Для любого k пусть a будет k -элементным вектором, а b - скаляром. Пусть H = { y в R к | а Т y+b ≥ 0} = k -мерное полупространство. По правилу замены является 1-SCB для H . Более распространенный формат: H = { x в R к | а Т x ≤ b}, для которого SCB .
Правило подстановки может быть распространено с аффинных отображений на некоторый класс «подходящих» отображений: [2] : Thm.9.1.1 и квадратичным отображениям. [2] : Под.9.3
Правило декартова произведения
[ редактировать ]Для всех i из 1,..., m пусть G i — замкнутая выпуклая область в R в , и g i будет Mi -SCB для Gi пусть . Пусть G — декартово произведение всех G i . Пусть g(x 1 ,...,x m ) := sum i g i ( x i ). Тогда g является SCB для G с суммой параметров i M i . [2] : Предложение 3.1.1
Например, возьмем все G i как положительную полупрямую, так что G будет положительным ортантом. . Позволять является m -SCB для G.
Теперь мы можем применить правило замены. Получаем, что для многогранника, определенного линейными неравенствами a j Т x ≤ b j для j в 1,..., m , если он удовлетворяет условию Слейтера , то представляет собой м -SCB. Линейные функции можно заменить квадратичными функциями .
Правило пересечения
[ редактировать ]Пусть G 1 ,..., G m — замкнутые выпуклые области в R н . Для каждого i из 1,..., m пусть g i будет Mi -SCB для Gi , а r i - вещественное число. Пусть G — пересечение всех G i и предположим, что его внутренность непуста. Пусть g := sum i r i *g i . Тогда g является SCB для G с суммой параметров i r i *M i . [2] : Предложение 3.1.1
Следовательно, если G определяется списком ограничений, мы можем найти SCB для каждого ограничения отдельно, а затем просто суммировать их, чтобы получить SCB G. для
Например, предположим, что область определяется m линейными ограничениями вида a j Т x ≤ b j , для j в 1,..., m . Затем мы можем использовать правило пересечения для построения m -SCB. (тот самый, который мы ранее вычислили с помощью правила декартова произведения).
СКБ для эпиграфов
[ редактировать ]Надграфиком функции f x ( есть ) называется область над графиком функции, то . Надграфик функции f является выпуклым множеством тогда и только тогда, когда f — выпуклая функция . Следующие теоремы представляют некоторые функции f , для которых надграфик имеет SCB.
Пусть g ( t ) — 3-кратно непрерывно дифференцируемая вогнутая функция по t > 0 такая, что ограничено константой (обозначенной 3* b ) для всех t >0. Пусть G — двумерная выпуклая область: Тогда функция f ( x , t ) = -ln(f(t)-x) - max[1,b 2 ]*ln(t) — самосогласованный барьер для G с параметром (1+max[1,b 2 ]). [2] : Предложение 9.2.1
Примеры:
- Пусть г ( т ) = т 1/ п , для некоторого p ≥1 и b =(2 p -1)/(3 p ). Затем имеет 2-SCB. Сходным образом, имеет 2-SCB. Используя правило пересечения, мы получаем, что имеет 4-СКБ.
- Пусть g ( t )=ln( t ) и b =2/3. Затем имеет 2-SCB.
Теперь мы можем построить SCB для задачи минимизации p -нормы: , где v j — постоянные скаляры, u j — постоянные векторы, а p > 0 — константа. Сначала мы преобразуем это в минимизацию линейной цели: , с ограничениями: для всех j в [ м ]. Для каждого ограничения у нас есть 4-SCB по правилу аффинной замены. Используя правило пересечения, мы получаем (4 n )-SCB для всей допустимой области.
Аналогично, пусть g — 3-кратно непрерывно дифференцируемая выпуклая функция на луче x > 0 такая, что: для всех х >0. Пусть G — двумерная выпуклая область: замыкание({ ( t,x ) в R 2 : x>0, t ≥ g ( x ) }). Тогда функция f ( x , t ) = -ln(tf(x)) - max[1,b 2 ]*ln(x) — самосогласованный барьер для G с параметром (1+max[1,b 2 ]). [2] : Предложение 9.2.2
Примеры:
- Пусть g ( x ) = x - п , для некоторого p > 0 и b=(2+ p )/3. Затем имеет 2-SCB.
- Пусть g ( x ) = x ln ( x ) и b = 1/3. Затем имеет 2-SCB.
SCB для конусов
[ редактировать ]- Для конуса второго порядка , функция является самосогласованным барьером.
- Для конуса положительно полуопределенных m*m симметричных матриц функция является самосогласованным барьером.
- Для квадратичной области, определяемой где где — положительная полуопределенная симметричная матрица, логарифмический барьер согласуется с
- Для экспоненциального конуса , функция является самосогласованным барьером.
- Для силового конуса , функция является самосогласованным барьером.
История
[ редактировать ]Как упоминалось в «Комментариях к библиографии». [5] из их книги 1994 года, [6] самосогласованные функции были введены в 1988 году Юрием Нестеровым. [7] [8] и далее развивался вместе с Аркадием Немировским . [9] Как поясняется в [10] их основное наблюдение заключалось в том, что метод Ньютона является аффинно-инвариантным в том смысле, что если для функции у нас есть шаги Ньютона тогда для функции где является невырожденным линейным преобразованием, начиная с у нас есть шаги Ньютона который можно показать рекурсивно
- .
Однако стандартный анализ метода Ньютона предполагает, что гессиан является липшицевым непрерывным , т.е. для некоторой константы . Если мы предположим, что 3 раза непрерывно дифференцируемо, то это эквивалентно
- для всех
где . Тогда левая часть приведенного выше неравенства инвариантна относительно аффинного преобразования , однако правая часть - нет.
Авторы отмечают, что правую часть можно сделать также инвариантной, если заменить евклидову метрику скалярным произведением, определяемым гессианом определяется как для . Затем они приходят к определению самосогласованной функции как
- .
Характеристики
[ редактировать ]Линейная комбинация
[ редактировать ]Если и согласуются с константами и и , затем согласуется с константой .
Аффинное преобразование
[ редактировать ]Если согласуется с константой и представляет собой аффинное преобразование , затем также согласуется с параметром .
Выпуклое сопряжение
[ редактировать ]Если самосогласован, то его выпуклое сопряжение также является самосогласованным. [11] [12]
Неединственный гессиан
[ редактировать ]Если является самосогласованным и является областью не содержит прямых (бесконечен в обоих направлениях), то не является особенным.
И наоборот, если для некоторого в области и у нас есть , затем для всех для чего находится в области а потом является линейным и не может иметь максимума, поэтому все находится в области . Отметим также, что не может иметь минимум внутри своей области.
Приложения
[ редактировать ]Помимо прочего, самосогласованные функции полезны при анализе метода Ньютона . Самосогласованные барьерные функции используются для разработки барьерных функций, используемых в методах внутренних точек для выпуклой и нелинейной оптимизации. Обычный анализ метода Ньютона не работает для барьерных функций, поскольку их вторая производная не может быть липшицевой, иначе они были бы ограничены на любом компактном подмножестве .
Самосогласованные барьерные функции
- — это класс функций, которые можно использовать в качестве барьеров в методах ограниченной оптимизации.
- можно минимизировать с помощью алгоритма Ньютона с доказуемыми свойствами сходимости, аналогичными обычному случаю (но эти результаты получить несколько сложнее)
- чтобы иметь оба вышеизложенных, обычная постоянная граница третьей производной функции (необходимая для получения обычных результатов сходимости для метода Ньютона) заменяется границей относительно гессиана
Минимизация самосогласованной функции
[ редактировать ]Самосогласованную функцию можно минимизировать с помощью модифицированного метода Ньютона, где у нас есть ограничение на количество шагов, необходимых для сходимости. Мы предполагаем здесь, что является стандартной самосогласованной функцией, то есть самосогласованной с параметром .
Определим декремент Ньютона из в как размер шага Ньютона в локальной норме, определяемой гессианом в
Тогда для в области , если тогда можно доказать, что итерация Ньютона
также будет находиться в области . Это происходит потому, что на основе самосогласования , можно дать некоторые конечные оценки значения . У нас далее есть
Тогда, если у нас есть
то также гарантируется, что , чтобы мы могли продолжать использовать метод Ньютона до сходимости. Обратите внимание, что для для некоторых мы имеем квадратичную сходимость до 0 как . Тогда это дает квадратичную сходимость к и из к , где , по следующей теореме. Если затем
со следующими определениями
Если мы начнем метод Ньютона с некоторого с тогда нам придется начать с использования демпфированного метода Ньютона, определенного формулой
Для этого можно показать, что с как определено ранее. Обратите внимание, что является возрастающей функцией для так что для любого , поэтому значение гарантированно уменьшается на определенную величину на каждой итерации, что также доказывает, что находится в области .
Ссылки
[ редактировать ]- ^ Немировский и Бен-Тал (2023). «Оптимизация III: Выпуклая оптимизация» (PDF) .
- ^ Jump up to: а б с д и ж г час я дж Аркадий Немировский (2004). «Методы полиномиального времени внутренней точки в выпуклом программировании» .
- ^ Бойд, Стивен П.; Ванденберге, Ливен (2004). Выпуклая оптимизация (PDF) . Издательство Кембриджского университета. ISBN 978-0-521-83378-3 . Проверено 15 октября 2011 г.
- ^ Немировский и Бен-Тал (2023). «Оптимизация III: Выпуклая оптимизация» (PDF) .
- ^ Нестеров Юрий; Немировский, Аркадий (январь 1994 г.). Полиномиальные алгоритмы внутренней точки в выпуклом программировании (библиографические комментарии) . Общество промышленной и прикладной математики. дои : 10.1137/1.9781611970791.bm . ISBN 978-0-89871-319-0 .
- ^ Нестеров, И︠У︡. Э. (1994). Полиномиальные алгоритмы внутренней точки в выпуклом программировании . Немировский Аркадий Семенович. Филадельфия: Общество промышленной и прикладной математики. ISBN 0-89871-319-6 . ОСЛК 29310677 .
- ^ Yu. E. NESTEROV, Polynomial time methods in linear and quadratic programming, Izvestija AN SSSR, Tekhnitcheskaya kibernetika, No. 3, 1988, pp. 324-326. (In Russian.)
- ^ Ю. НЕСТЕРОВ Е., Полиномиальные итерационные методы в линейном и квадратичном программировании, Вопросы кибернетики, Москва, 1988, стр. 102-125. (На русском языке.)
- ^ Ю. Е. Нестеров и А. С. Немировский, Самосогласованные функции и полиномиально-временные методы в выпуклом программировании, Технический отчет, Центральный экономико-математический институт АН СССР, Москва, СССР, 1989.
- ^ Нестеров, И︠У︡. Е. Вводные лекции по выпуклой оптимизации: базовый курс . Бостон. ISBN 978-1-4419-8853-9 . ОСЛК 883391994 .
- ^ Нестеров Юрий; Немировский, Аркадий (1994). «Полиномиальные алгоритмы внутренней точки в выпуклом программировании» . Исследования в области прикладной и вычислительной математики . дои : 10.1137/1.9781611970791 . ISBN 978-0-89871-319-0 .
- ^ Сунь, Тяньсяо; Тран-Динь, Куок (2018). «Обобщенные самосогласованные функции: рецепт методов типа Ньютона». Математическое программирование : Предложение 6. arXiv : 1703.04599 .