Jump to content

Самосогласованная функция

(Перенаправлено с Самосогласованного )

Самосогласованная функция — это функция, удовлетворяющая определенному дифференциальному неравенству , что особенно облегчает оптимизацию с использованием метода Ньютона. [1] : Под.6.2.4.2 Самосогласованный барьер это определенная самосогласованная функция, которая также является барьерной функцией для конкретного выпуклого множества. Самосогласованные барьеры являются важными компонентами внутренних точек методов оптимизации .

Самосогласованные функции

[ редактировать ]

Многомерная самосогласованная функция

[ редактировать ]

Вот общее определение самосогласованной функции. [2] : По умолчанию 2.0.1

Пусть C — выпуклое непустое открытое множество в R н . Пусть f — функция, трижды непрерывно дифференцируемая, определенная на C . Мы говорим, что f самосогласована на C, если она удовлетворяет следующим свойствам:

1. Барьерное свойство : на любой последовательности точек в C , которая сходится к граничной точке C , f сходится к ∞.

2. Дифференциальное неравенство : для каждой точки x в C и любого направления h в R н , пусть g h будет функцией f, ограниченной направлением h , то есть: g h ( t ) = f ( x +t* h ). Тогда одномерная функция должна gh удовлетворять следующему дифференциальному неравенству:

.

Эквивалентно: [3]

Одномерная самосогласованная функция

[ редактировать ]

Функция является самосогласованным по если:

Эквивалентно: если где угодно он удовлетворяет:

и удовлетворяет в другом месте.

  • Линейные и выпуклые квадратичные функции самосогласованы, поскольку их третья производная равна нулю.
  • Любая функция где определена и выпукла для всех и проверяет , является самосогласованным в своей области, которая . Некоторые примеры:
    • для
    • для
    • для любой функции удовлетворяющая условиям, функция с также удовлетворяет условиям.

Некоторые функции, которые не являются самосогласованными:

Самосогласованные барьеры

[ редактировать ]

Вот общее определение самосогласованного барьера (SCB). [2] : По умолчанию 3.1.1

Пусть C — выпуклое замкнутое множество в R н с непустым салоном. Пусть f — функция из внутреннего пространства ( C ) в R. Пусть M >0 — действительный параметр. Мы говорим, что f является M -самосогласованным барьером для C, если он удовлетворяет следующему:

1. f — самосогласованная функция внутри ( C ).

2. Для каждой точки x внутри ( C ) и любого направления h в R н , пусть g h будет функцией f, ограниченной направлением h , то есть: g h ( t ) = f ( x +t* h ). Тогда одномерная функция должна gh удовлетворять следующему дифференциальному неравенству:

.

Создание SCB

[ редактировать ]

Из-за важности SCB в методах внутренних точек важно знать, как создавать SCB для различных областей.

Теоретически можно доказать, что каждая замкнутая выпуклая область в R н имеет самосогласованный барьер с параметром O( n ). Но этот «универсальный барьер» задается некоторыми многомерными интегралами и слишком сложен для реальных вычислений. Следовательно, основная цель — построить эффективно вычислимые SCB. [4] : Раздел 9.2.3.3

SCB могут быть построены из некоторых базовых SCB , которые объединяются для создания SCB для более сложных доменов, используя несколько правил комбинирования .

Базовые SCB

[ редактировать ]

Каждая константа является самосогласованным барьером для всех R н , с параметром М=0. Это единственный самосогласованный барьер для всего пространства и единственный самосогласованный барьер с M < 1. [2] : Пример 3.1.1 [Обратите внимание, что линейные и квадратичные функции являются самосогласованными функциями, но не являются самосогласованными барьерами].

Для положительной полуоси ( ), является самосогласованным барьером с параметром . Это можно доказать непосредственно из определения.

Правило замены

[ редактировать ]

Пусть G — замкнутая выпуклая область в R н и g M - SCB для G . Пусть x = Ay + b — аффинное отображение из R к в Р н с его изображением, пересекающим внутреннюю часть G . Пусть H — прообраз G при отображении: H = { y в R к | Ay+b в G }. Пусть h — сложная функция h ( y ) := g( Ay + b ). Тогда h является M для H. - SCB [2] : Предложение 3.1.1

Например, возьмем n = 1, G — положительную полупрямую и . Для любого k пусть a будет k -элементным вектором, а b - скаляром. Пусть H = { y в R к | а Т y+b ≥ 0} = k -мерное полупространство. По правилу замены является 1-SCB для H . Более распространенный формат: H = { x в R к | а Т x ≤ b}, для которого SCB .

Правило подстановки может быть распространено с аффинных отображений на некоторый класс «подходящих» отображений: [2] : Thm.9.1.1 и квадратичным отображениям. [2] : Под.9.3

Правило декартова произведения

[ редактировать ]

Для всех i из 1,..., m пусть G i — замкнутая выпуклая область в R в , и g i будет Mi -SCB для Gi пусть . Пусть G декартово произведение всех G i . Пусть g(x 1 ,...,x m ) := sum i g i ( x i ). Тогда g является SCB для G с суммой параметров i M i . [2] : Предложение 3.1.1

Например, возьмем все G i как положительную полупрямую, так что G будет положительным ортантом. . Позволять является m -SCB для G.

Теперь мы можем применить правило замены. Получаем, что для многогранника, определенного линейными неравенствами a j Т x b j для j в 1,..., m , если он удовлетворяет условию Слейтера , то представляет собой м -SCB. Линейные функции можно заменить квадратичными функциями .

Правило пересечения

[ редактировать ]

Пусть G 1 ,..., G m — замкнутые выпуклые области в R н . Для каждого i из 1,..., m пусть g i будет Mi -SCB для Gi , а r i - вещественное число. Пусть G — пересечение всех G i и предположим, что его внутренность непуста. Пусть g := sum i r i *g i . Тогда g является SCB для G с суммой параметров i r i *M i . [2] : Предложение 3.1.1

Следовательно, если G определяется списком ограничений, мы можем найти SCB для каждого ограничения отдельно, а затем просто суммировать их, чтобы получить SCB G. для

Например, предположим, что область определяется m линейными ограничениями вида a j Т x b j , для j в 1,..., m . Затем мы можем использовать правило пересечения для построения m -SCB. (тот самый, который мы ранее вычислили с помощью правила декартова произведения).

СКБ для эпиграфов

[ редактировать ]

Надграфиком функции f x ( есть ) называется область над графиком функции, то . Надграфик функции f является выпуклым множеством тогда и только тогда, когда f выпуклая функция . Следующие теоремы представляют некоторые функции f , для которых надграфик имеет SCB.

Пусть g ( t ) — 3-кратно непрерывно дифференцируемая вогнутая функция по t > 0 такая, что ограничено константой (обозначенной 3* b ) для всех t >0. Пусть G — двумерная выпуклая область: Тогда функция f ( x , t ) = -ln(f(t)-x) - max[1,b 2 ]*ln(t) — самосогласованный барьер для G с параметром (1+max[1,b 2 ]). [2] : Предложение 9.2.1

Примеры:

  • Пусть г ( т ) = т 1/ п , для некоторого p ≥1 и b =(2 p -1)/(3 p ). Затем имеет 2-SCB. Сходным образом, имеет 2-SCB. Используя правило пересечения, мы получаем, что имеет 4-СКБ.
  • Пусть g ( t )=ln( t ) и b =2/3. Затем имеет 2-SCB.

Теперь мы можем построить SCB для задачи минимизации p -нормы: , где v j — постоянные скаляры, u j — постоянные векторы, а p > 0 — константа. Сначала мы преобразуем это в минимизацию линейной цели: , с ограничениями: для всех j в [ м ]. Для каждого ограничения у нас есть 4-SCB по правилу аффинной замены. Используя правило пересечения, мы получаем (4 n )-SCB ​​для всей допустимой области.

Аналогично, пусть g — 3-кратно непрерывно дифференцируемая выпуклая функция на луче x > 0 такая, что: для всех х >0. Пусть G — двумерная выпуклая область: замыкание({ ( t,x ) в R 2 : x>0, t g ( x ) }). Тогда функция f ( x , t ) = -ln(tf(x)) - max[1,b 2 ]*ln(x) — самосогласованный барьер для G с параметром (1+max[1,b 2 ]). [2] : Предложение 9.2.2

Примеры:

  • Пусть g ( x ) = x - п , для некоторого p > 0 и b=(2+ p )/3. Затем имеет 2-SCB.
  • Пусть g ( x ) = x ln ( x ) и b = 1/3. Затем имеет 2-SCB.

SCB для конусов

[ редактировать ]
  • Для конуса второго порядка , функция является самосогласованным барьером.
  • Для конуса положительно полуопределенных m*m симметричных матриц функция является самосогласованным барьером.
  • Для квадратичной области, определяемой где где положительная полуопределенная симметричная матрица, логарифмический барьер согласуется с
  • Для экспоненциального конуса , функция является самосогласованным барьером.
  • Для силового конуса , функция является самосогласованным барьером.

Как упоминалось в «Комментариях к библиографии». [5] из их книги 1994 года, [6] самосогласованные функции были введены в 1988 году Юрием Нестеровым. [7] [8] и далее развивался вместе с Аркадием Немировским . [9] Как поясняется в [10] их основное наблюдение заключалось в том, что метод Ньютона является аффинно-инвариантным в том смысле, что если для функции у нас есть шаги Ньютона тогда для функции где является невырожденным линейным преобразованием, начиная с у нас есть шаги Ньютона который можно показать рекурсивно

.

Однако стандартный анализ метода Ньютона предполагает, что гессиан является липшицевым непрерывным , т.е. для некоторой константы . Если мы предположим, что 3 раза непрерывно дифференцируемо, то это эквивалентно

для всех

где . Тогда левая часть приведенного выше неравенства инвариантна относительно аффинного преобразования , однако правая часть - нет.

Авторы отмечают, что правую часть можно сделать также инвариантной, если заменить евклидову метрику скалярным произведением, определяемым гессианом определяется как для . Затем они приходят к определению самосогласованной функции как

.

Характеристики

[ редактировать ]

Линейная комбинация

[ редактировать ]

Если и согласуются с константами и и , затем согласуется с константой .

Аффинное преобразование

[ редактировать ]

Если согласуется с константой и представляет собой аффинное преобразование , затем также согласуется с параметром .

Выпуклое сопряжение

[ редактировать ]

Если самосогласован, то его выпуклое сопряжение также является самосогласованным. [11] [12]

Неединственный гессиан

[ редактировать ]

Если является самосогласованным и является областью не содержит прямых (бесконечен в обоих направлениях), то не является особенным.

И наоборот, если для некоторого в области и у нас есть , затем для всех для чего находится в области а потом является линейным и не может иметь максимума, поэтому все находится в области . Отметим также, что не может иметь минимум внутри своей области.

Приложения

[ редактировать ]

Помимо прочего, самосогласованные функции полезны при анализе метода Ньютона . Самосогласованные барьерные функции используются для разработки барьерных функций, используемых в методах внутренних точек для выпуклой и нелинейной оптимизации. Обычный анализ метода Ньютона не работает для барьерных функций, поскольку их вторая производная не может быть липшицевой, иначе они были бы ограничены на любом компактном подмножестве .

Самосогласованные барьерные функции

  • — это класс функций, которые можно использовать в качестве барьеров в методах ограниченной оптимизации.
  • можно минимизировать с помощью алгоритма Ньютона с доказуемыми свойствами сходимости, аналогичными обычному случаю (но эти результаты получить несколько сложнее)
  • чтобы иметь оба вышеизложенных, обычная постоянная граница третьей производной функции (необходимая для получения обычных результатов сходимости для метода Ньютона) заменяется границей относительно гессиана

Минимизация самосогласованной функции

[ редактировать ]

Самосогласованную функцию можно минимизировать с помощью модифицированного метода Ньютона, где у нас есть ограничение на количество шагов, необходимых для сходимости. Мы предполагаем здесь, что является стандартной самосогласованной функцией, то есть самосогласованной с параметром .

Определим декремент Ньютона из в как размер шага Ньютона в локальной норме, определяемой гессианом в

Тогда для в области , если тогда можно доказать, что итерация Ньютона

также будет находиться в области . Это происходит потому, что на основе самосогласования , можно дать некоторые конечные оценки значения . У нас далее есть

Тогда, если у нас есть

то также гарантируется, что , чтобы мы могли продолжать использовать метод Ньютона до сходимости. Обратите внимание, что для для некоторых мы имеем квадратичную сходимость до 0 как . Тогда это дает квадратичную сходимость к и из к , где , по следующей теореме. Если затем

со следующими определениями

Если мы начнем метод Ньютона с некоторого с тогда нам придется начать с использования демпфированного метода Ньютона, определенного формулой

Для этого можно показать, что с как определено ранее. Обратите внимание, что является возрастающей функцией для так что для любого , поэтому значение гарантированно уменьшается на определенную величину на каждой итерации, что также доказывает, что находится в области .

  1. ^ Немировский и Бен-Тал (2023). «Оптимизация III: Выпуклая оптимизация» (PDF) .
  2. ^ Jump up to: а б с д и ж г час я дж Аркадий Немировский (2004). «Методы полиномиального времени внутренней точки в выпуклом программировании» .
  3. ^ Бойд, Стивен П.; Ванденберге, Ливен (2004). Выпуклая оптимизация (PDF) . Издательство Кембриджского университета. ISBN  978-0-521-83378-3 . Проверено 15 октября 2011 г.
  4. ^ Немировский и Бен-Тал (2023). «Оптимизация III: Выпуклая оптимизация» (PDF) .
  5. ^ Нестеров Юрий; Немировский, Аркадий (январь 1994 г.). Полиномиальные алгоритмы внутренней точки в выпуклом программировании (библиографические комментарии) . Общество промышленной и прикладной математики. дои : 10.1137/1.9781611970791.bm . ISBN  978-0-89871-319-0 .
  6. ^ Нестеров, И︠У︡. Э. (1994). Полиномиальные алгоритмы внутренней точки в выпуклом программировании . Немировский Аркадий Семенович. Филадельфия: Общество промышленной и прикладной математики. ISBN  0-89871-319-6 . ОСЛК   29310677 .
  7. ^ Yu. E. NESTEROV, Polynomial time methods in linear and quadratic programming, Izvestija AN SSSR, Tekhnitcheskaya kibernetika, No. 3, 1988, pp. 324-326. (In Russian.)
  8. ^ Ю. НЕСТЕРОВ Е., Полиномиальные итерационные методы в линейном и квадратичном программировании, Вопросы кибернетики, Москва, 1988, стр. 102-125. (На русском языке.)
  9. ^ Ю. Е. Нестеров и А. С. Немировский, Самосогласованные функции и полиномиально-временные методы в выпуклом программировании, Технический отчет, Центральный экономико-математический институт АН СССР, Москва, СССР, 1989.
  10. ^ Нестеров, И︠У︡. Е. Вводные лекции по выпуклой оптимизации: базовый курс . Бостон. ISBN  978-1-4419-8853-9 . ОСЛК   883391994 .
  11. ^ Нестеров Юрий; Немировский, Аркадий (1994). «Полиномиальные алгоритмы внутренней точки в выпуклом программировании» . Исследования в области прикладной и вычислительной математики . дои : 10.1137/1.9781611970791 . ISBN  978-0-89871-319-0 .
  12. ^ Сунь, Тяньсяо; Тран-Динь, Куок (2018). «Обобщенные самосогласованные функции: рецепт методов типа Ньютона». Математическое программирование : Предложение 6. arXiv : 1703.04599 .
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: d59bf9014af3b82b77d2363fa9e8d85c__1720420740
URL1:https://arc.ask3.ru/arc/aa/d5/5c/d59bf9014af3b82b77d2363fa9e8d85c.html
Заголовок, (Title) документа по адресу, URL1:
Self-concordant function - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)