Условия Каруша – Куна – Такера
В математической оптимизации Каруша -Куна-Такера ( ККТ ) условия , также известные как условия Куна-Таккера , представляют собой тесты первой производной первого порядка (иногда называемые необходимыми условиями ) для того, чтобы решение в нелинейном программировании было оптимальным , при условии, что некоторые условия регулярности выполняются.
Допуская ограничения-неравенства, подход ККТ к нелинейному программированию обобщает метод множителей Лагранжа , который допускает только ограничения-равенства. Подобно подходу Лагранжа, задача ограниченной максимизации (минимизации) переписывается как функция Лагранжа, оптимальная точка которой является глобальным максимумом или минимумом в области определения переменных выбора и глобальным минимумом (максимумом) для множителей. Теорему Каруша – Куна – Такера иногда называют теоремой о перевале. [1]
Условия KKT первоначально были названы в честь Гарольда В. Куна и Альберта В. Такера , которые впервые опубликовали условия в 1951 году. [2] Позже ученые обнаружили, что необходимые условия для этой проблемы были сформулированы Уильямом Карушем в его магистерской диссертации в 1939 году. [3] [4]
Задача нелинейной оптимизации
[ редактировать ]Рассмотрим следующую задачу нелинейной оптимизации в стандартной форме :
- минимизировать
- при условии
где — переменная оптимизации, выбранная из выпуклого подмножества , – это целевая функция или функция полезности , неравенства – функции ограничения и являются функциями ограничения равенства . Номера неравенств и равенств обозначаются через и соответственно. В соответствии с задачей оптимизации с ограничениями можно сформировать функцию Лагранжа
где
Теорема Каруша – Куна – Такера утверждает следующее.
Теорема — (достаточность) Если является седловой точкой в , , затем является оптимальным вектором для указанной выше задачи оптимизации.
(необходимость) Предположим, что и , , выпуклы в и что существует такой, что (т. е. выполняется условие Слейтера ). Тогда с оптимальным вектором для вышеуказанной задачи оптимизации связан вектор удовлетворяющий такой, что является седловой точкой . [5]
Поскольку идея этого подхода заключается в поиске опорной гиперплоскости на допустимом множестве доказательство теоремы Каруша – Куна – Такера использует теорему разделения гиперплоскостей . [6]
Система уравнений и неравенств, соответствующая условиям ККТ, обычно не решается напрямую, за исключением немногих особых случаев, когда решение в замкнутой форме может быть получено аналитически. В целом многие алгоритмы оптимизации можно интерпретировать как методы численного решения системы уравнений и неравенств ККТ. [7]
Необходимые условия
[ редактировать ]Предположим, что целевая функция и функции ограничений и иметь производные в одной точке . Если является локальным оптимумом и задача оптимизации удовлетворяет некоторым условиям регулярности (см. ниже), то существуют константы и , называемые множителями KKT, такие, что выполняются следующие четыре группы условий: [8]
- Стационарность
- Для минимизации :
- Для максимизации :
- Первичная осуществимость
- Двойная осуществимость
- Дополнительная расслабленность
Последнее условие иногда записывают в эквивалентной форме:
В частном случае , т. е. при отсутствии ограничений-неравенств условия ККТ превращаются в условия Лагранжа, а множители ККТ называются множителями Лагранжа .
Доказательство
[ редактировать ]Теорема — (достаточность) Если существует решение к основной проблеме, решение к двойственной задаче так, что вместе они удовлетворяют условиям ККТ, то пара задач имеет сильную двойственность, и представляет собой пару решений основной и двойственной задач.
(необходимость) Если пара задач обладает сильной двойственностью, то для любого решения к основной проблеме и любому решению к двойной проблеме, пара должен удовлетворять условиям ККТ. [9]
Во-первых, для удовлетворение условий ККТ эквивалентно тому, что они являются равновесием по Нэшу .
Исправить и варьируются : равновесие эквивалентно первичной стационарности.
Исправить и варьируются : равновесие эквивалентно первичной осуществимости и дополнительной слабости.
Достаточность: пара решений удовлетворяет условиям ККТ, таким образом, является равновесием Нэша и, следовательно, закрывает разрыв двойственности.
Необходимость: любая пара решений должны закрыть разрыв дуальности, таким образом, они должны создать равновесие Нэша (поскольку ни одна из сторон не могла бы добиться большего), таким образом, они удовлетворяют условиям ККТ.
Интерпретация: условия KKT как уравновешивающие силы ограничений в пространстве состояний.
[ редактировать ]Первичную задачу можно интерпретировать как перемещение частицы в пространстве и подвергая его воздействию трех видов силовых полей:
- — потенциальное поле, которое частица минимизирует. Сила, создаваемая является .
- являются односторонними связующими поверхностями. Частице разрешено перемещаться внутри , но всякий раз, когда он касается , он вдавлен внутрь.
- являются двусторонними связующими поверхностями. Частице разрешено двигаться только по поверхности .
Первичная стационарность утверждает, что «сила» точно уравновешивается линейной суммой сил и .
Двойная осуществимость дополнительно утверждает, что все силы должны быть односторонними, направленными внутрь допустимого множества для .
Дополнительная нежесткость утверждает, что если , то сила, исходящая от должно быть равно нулю, т.е. , поскольку частица не находится на границе, односторонняя сила ограничения не может активироваться.
Матричное представление
[ редактировать ]Необходимые условия можно записать с помощью матриц Якобиа функций ограничений. Позволять быть определен как и пусть быть определен как . Позволять и . Тогда необходимые условия можно записать в виде:
- Стационарность
- Для максимизации :
- Для минимизации :
- Первичная осуществимость
- Двойная осуществимость
- Дополнительная расслабленность
Условия регулярности (или ограничения)
[ редактировать ]Можно задаться вопросом, является ли точка минимизации исходной задачи оптимизации с ограничениями (при условии, что она существует) должна удовлетворять вышеуказанным условиям KKT. Это похоже на вопрос, при каких условиях минимизатор функции в неограниченной задаче должно удовлетворять условию . Для случая с ограничениями ситуация сложнее, и можно сформулировать множество (все более сложных) условий «регулярности», при которых минимизатор с ограничениями также удовлетворяет условиям ККТ. Некоторые распространенные примеры условий, гарантирующих это, сведены в следующую таблицу, наиболее часто используемым является LICQ:
Ограничение | Акроним | Заявление |
---|---|---|
Квалификация ограничения линейности | LCQ | Если и являются аффинными функциями , то никаких других условий не требуется. |
Квалификация ограничения линейной независимости | ЛИКК | Градиенты активных ограничений-неравенств и градиенты ограничений-равенств линейно независимы при . |
Квалификация ограничения Мангасаряна-Фромовица | МФКК | Градиенты ограничений равенства линейно независимы при и существует вектор такой, что для всех активных ограничений неравенства и для всех ограничений равенства. [10] |
Квалификация ограничения постоянного ранга | CRCQ | Для каждого подмножества градиентов активных ограничений-неравенств и градиентов ограничений-равенств ранг в окрестности является постоянным. |
Квалификация ограничения постоянной положительной линейной зависимости | CPLD | Для каждого подмножества градиентов активных ограничений-неравенств и градиентов ограничений-равенств, если подмножество векторов линейно зависит при с неотрицательными скалярами, связанными с ограничениями-неравенствами, то он остается линейно зависимым в окрестности . |
Квалификация ограничения квазинормальности | КНКК | Если градиенты активных ограничений-неравенств и градиенты ограничений-равенств линейно зависят при с соответствующими множителями за равенство и для неравенств, то не существует последовательности такой, что и |
Состояние Слейтера | СК | Для выпуклой задачи (т. е. в предположении минимизации выпуклые и аффинно), существует точка такой, что и |
Строгие последствия могут быть показаны
- LICQ ⇒ MFCQ ⇒ CPLD ⇒ QNCQ
и
- LICQ ⇒ CRCQ ⇒ CPLD ⇒ QNCQ
На практике более слабые ограничения являются предпочтительными, поскольку они применимы к более широкому набору задач.
Достаточные условия
[ редактировать ]В некоторых случаях необходимые условия также достаточны для оптимальности. В общем, необходимых условий недостаточно для оптимальности, и требуется дополнительная информация, такая как достаточные условия второго порядка (SOSC). Для гладких функций SOSC использует вторые производные, что объясняет его название.
Необходимые условия достаточны для оптимальности, если целевая функция задачи максимизации является дифференцируемой вогнутой функцией , ограничения-неравенства являются дифференцируемыми выпуклыми функциями , ограничения равенства являются аффинными функциями и выполняется условие Слейтера . [11] Аналогично, если целевая функция задачи минимизации является дифференцируемой выпуклой функцией , необходимые условия также достаточны для оптимальности.
В 1985 году Мартин показал, что более широкий класс функций, в которых условия ККТ гарантируют глобальную оптимальность, — это так называемые инвексные функции типа 1 . [12] [13]
Достаточные условия второго порядка
[ редактировать ]Для гладких нелинейных задач оптимизации достаточное условие второго порядка задается следующим образом.
Решение найденный в приведенном выше разделе является ограниченным локальным минимумом, если для лагранжиана
затем,
где является вектором, удовлетворяющим следующему:
где только те активные ограничения неравенства соответствующий строгой дополнительности (т.е. где ) применяются. Решением является строгий ограниченный локальный минимум в случае, когда неравенство также строгое.
Если , разложение Лагранжиана Тейлора третьего порядка следует использовать для проверки того, является локальным минимумом. Минимизация является хорошим контрпримером, см. также Поверхность Пеано .
Экономика
[ редактировать ]Часто в математической экономике подход ККТ используется в теоретических моделях с целью получения качественных результатов. Например, [14] Рассмотрим фирму, которая максимизирует свой доход от продаж при условии ограничения минимальной прибыли. Сдача в аренду быть количеством произведенной продукции (подлежит выбору), быть выручкой от продаж с положительной первой производной и нулевым значением при нулевом выпуске, быть производственными затратами с положительной первой производной и неотрицательным значением при нулевом выпуске, и Если положительный минимально приемлемый уровень прибыли , то проблема становится значимой, если функция дохода выравнивается и в конечном итоге становится менее крутой, чем функция затрат. Проблема, выраженная в ранее данной форме минимизации, такова:
- Свернуть
- при условии
и условия ККТ
С нарушит ограничение минимальной прибыли, мы имеем и, следовательно, из третьего условия следует, что первое условие выполняется с равенством. Решение этого равенства дает
Потому что было дано это и строго положительны, это неравенство вместе с условием неотрицательности гарантирует, что положительна, и поэтому фирма, максимизирующая доход, работает на таком уровне выпуска, при котором предельный доход меньше предельных издержек — результат, который представляет интерес, поскольку он контрастирует с поведением фирмы, максимизирующей прибыль , которая работает на уровне, на котором они равны.
Функция значения
[ редактировать ]Если мы пересмотрим задачу оптимизации как задачу максимизации с постоянными ограничениями-неравенствами:
Функция стоимости определяется как
так что область является
Учитывая это определение, каждый коэффициент - это скорость, с которой функция стоимости увеличивается по мере того, как увеличивается. Таким образом, если каждый интерпретируется как ограничение ресурса, коэффициенты говорят вам, насколько увеличение ресурса увеличит оптимальное значение нашей функции . Эта интерпретация особенно важна в экономике и используется, например, в задачах максимизации полезности .
Обобщения
[ редактировать ]С дополнительным множителем , который может быть равен нулю (пока ), перед условия стационарности ККТ превращаются в
которые называются условиями Фрица Джона . Эти условия оптимальности выполняются без ограничений и эквивалентны условию оптимальности KKT или (not-MFCQ) .
Условия ККТ относятся к более широкому классу необходимых условий первого порядка (FONC), которые допускают негладкие функции с использованием подпроизводных .
См. также
[ редактировать ]- Лемма Вольфа
- Множитель Лагранжа
- Метод Big M для линейных задач, который расширяет симплексный алгоритм до задач, содержащих ограничения «больше чем».
- Метод внутренней точки - метод решения условий ККТ.
- Слабая переменная
- Состояние Слейтера
Ссылки
[ редактировать ]- ^ Табак, Дэниел; Куо, Бенджамин К. (1971). Оптимальное управление посредством математического программирования . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл. стр. 19–20. ISBN 0-13-638106-5 .
- ^ Кун, Х.В. ; Такер, AW (1951). «Нелинейное программирование» . Материалы 2-го симпозиума в Беркли . Беркли: Издательство Калифорнийского университета. стр. 481–492. МР 0047303 .
- ^ В. Каруш (1939). Минимумы функций нескольких переменных с неравенствами в качестве боковых ограничений (магистерская диссертация). Кафедра математики, Univ. Чикаго, Чикаго, Иллинойс.
- ^ Кьельдсен, Тинне Хофф (2000). «Контекстуальный исторический анализ теоремы Куна-Такера в нелинейном программировании: влияние Второй мировой войны» . История математики . 27 (4): 331–361. дои : 10.1006/hmat.2000.2289 . МР 1800317 .
- ^ Уолш, Г. Р. (1975). «Свойство перевала функции Лагранжа» . Методы оптимизации . Нью-Йорк: Джон Уайли и сыновья. стр. 39–44. ISBN 0-471-91922-5 .
- ^ Кемп, Мюррей К.; Кимура, Ёсио (1978). Введение в математическую экономику . Нью-Йорк: Спрингер. стр. 100-1 38–4 ISBN 0-387-90304-6 .
- ^ Бойд, Стивен; Ванденберге, Ливен (2004). Выпуклая оптимизация . Кембридж: Издательство Кембриджского университета . п. 244. ИСБН 0-521-83378-7 . МР 2061575 .
- ^ Рущинский, Анджей (2006). Нелинейная оптимизация . Принстон, Нью-Джерси: Издательство Принстонского университета . ISBN 978-0691119151 . МР 2199043 .
- ^ Джефф Гордон и Райан Тибширани. «Условия Каруша-Куна-Такера, оптимизация 10-725 / 36-725» (PDF) . Архивировано из оригинала (PDF) 17 июня 2022 г.
- ^ Дмитрий Берцекас (1999). Нелинейное программирование (2-е изд.). Афина Сайентифик. стр. 329–330. ISBN 9781886529007 .
- ^ Бойд, Стивен; Ванденберге, Ливен (2004). Выпуклая оптимизация . Кембридж: Издательство Кембриджского университета . п. 244. ИСБН 0-521-83378-7 . МР 2061575 .
- ^ Мартин, Д.Х. (1985). «Сущность Invexity». Дж. Оптим. Теория Прикл . 47 (1): 65–76. дои : 10.1007/BF00941316 . S2CID 122906371 .
- ^ Хэнсон, Массачусетс (1999). «Инвексность и теорема Куна-Такера» . Дж. Математика. Анальный. Приложение . 236 (2): 594–604. дои : 10.1006/jmaa.1999.6484 .
- ^ Чан, Альфа К. Фундаментальные методы математической экономики , 3-е издание, 1984, стр. 750–752.
Дальнейшее чтение
[ редактировать ]- Андреани, Р.; Мартинес, Х.М.; Шувердт, М.Л. (2005). «О связи между условием постоянной положительной линейной зависимости и условием ограничения квазинормальности». Журнал теории оптимизации и приложений . 125 (2): 473–485. дои : 10.1007/s10957-004-1861-9 . S2CID 122212394 .
- Авриэль, Мордехай (2003). Нелинейное программирование: анализ и методы . Дувр. ISBN 0-486-43227-0 .
- Болтянский, В.; Мартини, Х.; Солтан, В. (1998). «Теорема Куна-Такера» . Геометрические методы и задачи оптимизации . Нью-Йорк: Спрингер. стр. 78–92. ISBN 0-7923-5454-0 .
- Бойд, С.; Ванденберге, Л. (2004). «Условия оптимальности» (PDF) . Выпуклая оптимизация . Издательство Кембриджского университета. стр. 241–249. ISBN 0-521-83378-7 .
- Кемп, Мюррей К.; Кимура, Ёсио (1978). Введение в математическую экономику . Нью-Йорк: Спрингер. стр. 100-1 38–73 . ISBN 0-387-90304-6 .
- Рау, Николас (1981). «Множители Лагранжа». Матрицы и математическое программирование . Лондон: Макмиллан. стр. 156–174. ISBN 0-333-27768-6 .
- Носедаль, Дж.; Райт, С.Дж. (2006). Численная оптимизация . Нью-Йорк: Спрингер. ISBN 978-0-387-30303-1 .
- Сундарам, Рангараджан К. (1996). «Ограничения-неравенства и теорема Куна и Такера» . Первый курс теории оптимизации . Нью-Йорк: Издательство Кембриджского университета. стр. 145–171. ISBN 0-521-49770-1 .