Opt_book_1

11

Опуская константу 1=m2, приходим к задаче оптимизации с нелинейной целевой функцией и нелинейным ограничением типа равенства: найти минимум функции

при условии (1.2.12). Данная задача принадлежит к классу классических задач нелинейных программирования и ее решение достаточно просто получить с помощью правила Лагранжа.

Обозначим через X матрицу

Xm

X = (xi ¡ xj) (xi ¡ xj)T :

i;j=1

Матрица X является симметричной и положительно полуопределенной, так как представляет собой сумму симметричных положительно полуопределенных матриц единичного ранга. Воспользуемся известным из матричного анализа результатом, согласно которому след произведения матриц не

где u 2 R. Дифференцируя данную функцию по ai, 1 · i · n, и приравнивая градиенты нулю, получаем с учетом равенства (1.2.12)

Следовательно, строка ai должна быть собственным вектором матрицы X, соответствующим ее собственному значению ¸i. Характеристическое уравнение jX ¡¸iInj = 0 определяет n собственных

значений матрицы X. Если X положительно определенная матрица, то все ¸i > 0, 1 · i · n. Из равенств (1.2.12) и (1.2.13) получаем, что un (Qmi=1 ¸i)¡1 = 1, откуда u = (Qni=1 ¸i)1=n. Условие

нормировки (1.2.12) вектора ai принимает вид

12

Обратим внимание, что матрица X пропорциональна ковариационной матрице выборок.

Заканчивая введение, отметим, что курс “Методы оптимизации” двухсеместровый. В первом семестре основное внимание будет уделено теоретическим аспектом оптимизации, а именно, постановкам задач и так называемым условиям оптимальности, которые должны выполняться в точках, являющихся решениями соответствующих оптимизационных задач. Для этого нам потребуются многие понятия из выпуклого анализа, ряд начальных сведений из которого также будут рассмотрены в этом семестре. Второй семестр целиком будет посвящен численным методам решения. Некоторые более общие оптимизационные постановки, а именно, задачи дополнительности, вариационные неравенства и задачи полуопределенного программирования, рассматриваются отдельно в “Дополнительный главах численных методов оптимизации”.

x1 2 X и x2 2 X. Тогда x1 2 Xi, x2 2 Xi для всех i 2 I. Так как все множества Xi выпуклы, то для любого 0 · ¸ · 1 и всех i 2 I точка x¸ = ¸x1 + (1 ¡ ¸)x2 принадлежит Xi. Но тогда x¸ 2 X. Следовательно, X выпуклое множество. ¥

Укажем еще две простые алгебраические операции над множествами, не нарушающие выпуклости. Имеет место следующие почти очевидные утверждения, касающиеся непустых выпуклых множеств.

Утверждение 2.1.2. Произведение выпуклого множества X µ Rn на произвольную константу ® 2 R выпукло.

Утверждение 2.1.3. Сумма двух выпуклых множеств выпукла.

Доказательство. Пусть X1 µ Rn, X2 µ Rn выпуклые множества и X = X1 + X2. Возьмем произвольные две точки x1 2 X и x2 2 X. Нам надо показать, что какое-бы ни было ¸ 2 [0; 1], точка x¸ = ¸x1 + (1 ¡ ¸)x2 также принадлежит X.

Так как x1 2 X, то найдутся две такие точки y1 2 X1 и z1 2 X2, что x1 = y1 + z1. Точно так же: x2 = y2 + z2 для некоторых y2 2 X1 и z2 2 X2. Поэтому

x¸ = ¸(y1 + z1) + (1 ¡ ¸)(y2 + z2) = y¸ + z¸;

где

y¸ = ¸y1 + (1 ¡ ¸)y2; z¸ = ¸z1 + (1 ¡ ¸)z2:

Но, в силу выпуклости множеств X1 и X2, имеют место включения: y¸ 2 X1, z¸ 2 X2. Поэтому точка x¸ = y¸ + z¸ обязательно содержится в множестве X, являющемся суммой двух множеств X1 и X2. ¥

Заметим, что если X ½ Rn выпуклое множество и ®1 и ®2 некоторые числа, то в силу утверждений 2.1.2 и 2.1.3 множество ®1X + ®2Xвыпукло. Более того, если числа ®1 и ®2 одного знака, то имеет место формула

Однако, если числа ®1 и ®2 имеют разные знаки, то равенство (2.1.2) не всегда выполняется.

Определение 2.1.2. Пусть X1; : : : ; Xm произвольные множества из Rn, а ®1; : : : ; ®m произвольные числа. Тогда множество

называется линейной комбинацией множеств X1; : : : ; Xm.

На основании утверждений 2.1.2 и 2.1.3 приходим к выводу, что справедлив следующий резуль-

тат.

Утверждение 2.1.4. Любая линейная комбинация конечного числа выпуклых множеств выпукла.

В качестве следствия из данного утверждения получаем, что разность X = X1 ¡ X2 двух выпуклых множеств X1 и X2 выпукла.

Существуют отображения, которые переводят выпуклые множества в выпуклые множества, быть может, в других пространствах. Приведем некоторые из них.

Отображение F (x) из Rn в Rm называется линейным, если оно имеет вид F (x) = Ax + b, где Am £ n матрица и b 2 Rm. При линейном отображении выпуклого множества X µ Rn получаем,

что его образ

Y = F (X) = fy 2 Rm : y = F (x); x 2 Xg

также является выпуклым множеством в пространстве Rm. С другой стороны, прообраз любого выпуклого множества Y µ Rm при линейном отображении F (x), т.е. множество

X = F ¡1(Y ) = ©x 2 Rn : y = F (x) 2 Y ª;

также выпукло. В частности, беря в качестве линейного отображения F (x) = A¡1=2x, убеждаемся в выпуклости эллипсоида BA, определяемым равенством (2.1.1), поскольку он есть прообраз единичного шара B в евклидовой норме.

Если свойство линейных отображений сохранять выпуклость множества, на которое оно действует, представляется вполне естественным, то обладание этим свойством дробно-линейных отображений вида

определенных на подмножестве пространства Rn, где hc; xi + d > 0, не выглядит на первый взгляд столь очевидным. Однако это так и, чтобы убедиться в указанном свойстве, введем в рассмотрение

а также определяемое ею линейное отображение G(y) = Qy, заданное на Rn+1. Если действовать этим отображением на точки вида y = [x; 1] 2 Rn+1, то будем получать следующие точки из Rn+1:

Предполагая теперь, что множество X 2 Rn является выпуклым и при этом hc; xi + d > 0 для всех x 2 X, получаем в силу линейности отображения G(y), что образ выпуклого множества Y =

Обратимся далее к так называемому перспективному отображению, действующему из Rn+1 в

Rn по правилу

P (y) = ¹x ; y = [x; ¹]; x 2 Rn; ¹ > 0:

Перспективное отображение нормализует вектор y, умножая все его компоненты на одно и то же положительное число, причем делает это таким образом, чтобы последняя компонента стала равной единице. После этого данная последняя компонента отбрасывается.

Покажем, что образ выпуклого множества Y в Rn£R++ при перспективном отображении также является выпуклым множеством в Rn. Действительно, пусть y1 = [x1; ¹1] 2 Y , y2 = [x2; ¹2] 2 Y и

16 ГЛАВА 2. НАЧАЛЬНЫЕ СВЕДЕНИЯ ИЗ ВЫПУКЛОГО АНАЛИЗА

¹1 > 0, ¹2 > 0. Возьмем произвольное 0 · ¸ · 1 и рассмотрим точку y¸ = ¸y1 + (1 ¡ ¸)y2. Имеем

Остается только отметить, что дробно-линейное отображение вида (2.1.3) можно представить

как суперпозицию двух отображений, а именно, песпективного отображения и линейного отображения: F (x) = P (Qy), в котором в качестве y 2 Rn+1 берутся векторы y = [x; ¹] с ¹ = 1. Из вышеска-

занного тогда следует, что оно сохраняет выпуклость множеств X ½ Rn, если только hc; xi + d > 0 для всех x 2 X. В частном случае, когда c = 0n, дробно линейное отображение переходит в обычное линейное отображение, определенное на всем пространстве.

Рассмотрим далее два важных частных случая выпуклых множеств, каждый из которых обладает дополнительным определенным свойством.

Аффинные множества. Эти множества широко используются в выпуклом анализе.

Определение 2.1.3. Множество X µ Rn называется аффинным, если для любых x1 2 X, x2 2 X и ¸ 2 R точка x¸ = ¸x1 + (1 ¡ ¸)x2 принадлежит X, т.е. наряду с точками x1 и x2 оно содержит и всю прямую, проходящую через эти две точки.

Так как прямая, проходящая через две точки, всегда содержит отрезок, соединяющий эти две точки, то любое аффинное множество выпукло. По определению принято считать пустое множество также аффинным.

Аффинные множества имеют простую структуру, а именно, можно показать, что они являются сдвигами линейных подпространств. Пусть X произвольное непустое аффинное множество и пусть x0 2 X. Рассмотрим множество L = X ¡ x0. Данное множество также является аффинным.

В самом деле, возьмем x1 2 L и x2 2 L и ¸ 2 R. Имеем x1 = y1 ¡ x0, x2 = y2 ¡ x0, где y1; y2 2 X. Тогда

x¸ = ¸x1 + (1 ¡ ¸)x2 = ¸y1 + (1 ¡ ¸)y2 ¡ x0 2 L;

так как из-за аффинности множества X следует, что ¸y1 + (1 ¡ ¸)y2 2 X.

Множество L является линейным подпространством. Действительно, оно содержит начало координат, поскольку x0 ¡ x0 = 0n 2 L. Далее, в силу аффинности множества L для любого ¸ 2 R и x 2 L выполняется ¸x = ¸x + (1 ¡ ¸)0n 2 L. Кроме того, опять же в силу аффинности L для произвольных x1 2 L и x2 2 L выполняется: x = 0:5x1 + 0:5x2 2 L, откуда немедленно следует, что x1 + x2 = 2x 2 L. Таким образом, мы получили, что множество L таково, что сумма двух его элементов и произведение его элемента на число также принадлежат L. Поэтому L линейное подпространство.

Множество L = X ¡ x0 называют линейным подпространством, параллельным аффинному множеству X. По определению, под размерностью X = L + x0 понимают размерность линейного подпространства L. Сами аффинные множества часто называют также линейными многообразиями. Точка и и все пространство Rn представляют собой крайние примеры аффинных множеств размерности 0 и n соответственно.

Упражнение. Убедитесь, что линейное подпространство L, параллельное аффинному множеству X, определяется единственным образом, т.е. не зависит от выбора конкретного элемента x0 2 X.

Известно, что всякое линейное подпространство можно представить как множество решений системы линейных однородных уравнений. Действительно, пусть L линейное подпространство, не совпадающее со всем пространством Rn. Возьмем его ортогональное дополнение L?. Оно не пусто, так как L является собственным подпространством Rn. Предположим, что размерность L? равна m, и пусть a1, : : :, am произвольный базис в L?. Все векторы ai 2 Rn, 1 · i · m, ненулевые. Вектор x 2 Rn принадлежит подпространству L в том и только в том случае, когда hai; xi = 0 для всех 1 · i · m. Но тогда x есть решение линейной однородной системы алгебраических уравнений Ax = 0m, где A матрица размера m £ n, строками которой являются векторы ai, 1 · i · m. Так как это векторы линейно независимы, образуя базис в L?, то ранг матрицы A равен m.

Как было выяснено, всякое непустое аффинное множество X представимо в виде X = L + x0,

странство L также есть все пространство Rn, т.е. X = L. Но в этом случае L, а стало быть и X, можно представить в виде (2.1.4), в котором A любая нулевая матрица , а b нулевой вектор соответствующей размерности. Наконец, если множество X пустое (пустое множество, как крайний случай, считается аффинным), то его также можно записать в виде (2.1.4), однако теперь A по-прежнему нулевая матрица, а b ненулевой вектор.

Суммируя все вышесказанное, приходим к следующему полезному результату.

Теорема 2.1.1. Пусть X аффинное множество. Тогда X является множеством решений

для некоторой матрицы A и некоторого вектора b.

Заметим, что верно и обратное: непустое множество решений системы (2.1.5) всегда является аффинным множеством.

Теорема 2.1.1 дает первый из двух возможных способов представления аффинных множеств, а именно, как множества решений систем линейных алгебраических уравнений. Имеется также и второй способ. Заключается он в следующем: аффинное множество X размерности d записывается

где xi линейно независимые (фундаментальные) решения однородной системы Ax = 0m и x0произвольное решение неоднородной системы Ax = b. Так как ранг матрицы A равен m, то

18 ГЛАВА 2. НАЧАЛЬНЫЕ СВЕДЕНИЯ ИЗ ВЫПУКЛОГО АНАЛИЗА

Если x0 2 ¡, то ha; x0i = b. Тогда определение (2.1.6) для гиперплоскости ¡ может быть записано как ¡ = ©x 2 Rn : ha; x ¡ x0i = 0ª;

т.е. ¡ состоит из тех и только тех точек x 2 Rn, для которых вектор x ¡ x0 ортогонален вектору a. Вектор a называется нормальным вектором гиперплоскости ¡.

Гиперплоскость всегда является аффинным множеством в Rn, причем непустым, ее размерность равна n ¡ 1. Пересечение любого конечного числа гиперплоскостей также является аффинным множеством.

Выпуклые конусы. Другим важным частным случаем выпуклых множеств являются выпуклые конусы.

Определение 2.1.4. Множество X µ Rn называется конусом, если ¸x 2 X для всех x 2 X и ¸ ¸ 0.

Согласно сделанному определению, конус это такое множество, которое наряду с любой своей точкой содержит и весь луч, выходящий из начала координат и проходящий через эту точку. Иногда вместо условия ¸ ¸ 0 накладывают требование, чтобы ¸ > 0. Тогда начало координат может не принадлежать конусу.

Конус, который является выпуклым множеством, называется выпуклым конусом. Выпуклый конус можно определить и несколько иначе.

Определение 2.1.5. Множество X µ Rn называется выпуклым конусом, если ¸1x1 + ¸2x2 2 X для всех x1 2 X, x2 2 X и ¸1 ¸ 0, ¸2 ¸ 0.

То, что данное множество является конусом, убеждаемся сразу, полагая ¸2 = 0. Тогда ¸1x1 + ¸2x2 = ¸1x1 2 X для любого ¸1 ¸ 0 и любого x1 2 X, независимо от выбора x2. Нетрудно также видеть, что X есть выпуклое множество, поскольку, беря произвольные x1 2 X, x2 2 X и 0 · ¸ · 1, получаем в силу неотрицательности коэффициентов ¸ и 1 ¡ ¸, что x¸ = ¸x1 + (1 ¡ ¸)x2 2 X.

Упражнение. Убедитесь, что если X выпуклый конус, то X = X + X.

Пусть a 2 Rn ненулевой вектор. Рассмотрим множество

L+a = ©x 2 Rn : ha; xi ¸ 0ª;

которое принято называть полупространством (замкнутым).

Упражнение. Убедитесь, что любые линейные подпространства и замкнутые полупространства являются выпуклыми конусами.

Другим важным примером конуса в пространстве Rn+1 является конус, порожденный нормой в Rn. Данный конус определяются как

n o

K = [x; ¹] 2 Rn+1 : kxk · ¹ ;

где k ¢ k произвольная норма в Rn. В частности, для евклидовой нормы получаем

Поэтому точка x¹ является выпуклой комбинацией k точек из X и следовательно по предположению индукции x¹ 2 X. Но тогда на основании (2.1.7) и выпуклости множества X:

x = (1 ¡ ¸k+1) x¹ + ¸k+1xk+1 2 X:

Теорема доказана. ¥

Теорема 2.1.3. Множество X µ Rn является выпуклым конусом тогда и только тогда, когда оно содержит все неотрицательные комбинации своих точек.

Теорема 2.1.4. Множество X µ Rn является аффинным тогда и только тогда, когда оно содержит все аффинные комбинации своих точек.

Упражнение. Докажите утверждения теорем 2.1.3 и 2.1.4.

Выпуклые, аффинные и конические оболочки множеств. Если множество X не выпукло, то его можно сделать выпуклым, пополнив другими элементами. Желательно только, чтобы число добавленных элементов было как можно меньшим. Это приводит к понятию выпуклой оболочки множества. Исходя из подобных соображений, можно строить конические и аффинные оболочки множеств.

Определение 2.1.7. Пусть X произвольное множество из Rn. Пересечение всех выпуклых множеств (выпуклых конусов, аффинных множеств) из Rn, содержащих X, называется выпуклой (конической, аффинной) оболочкой данного множества и обозначается convX (соответственно, coneX, a X).

Так как все пространство Rn есть выпуклое множество, то выпуклая оболочка любого непустого множества X µ Rn всегда непуста. По определению она является выпуклым множеством и имеет место включение X µ convX . Более того, если X µ Y , где Y выпуклое множество, то convX µ Y . Поэтому в случае, когда X выпуклое множество, беря в качестве Y само множество X, получаем, что выполняется обратное включение convX µ X. Отсюда заключаем, что convX = X для выпуклых множеств X. Можно сказать даже больше: множество X выпукло тогда и только тогда, когда X = convX.

Аналогично, всегда существует коническая оболочка любого непустого множества X µ Rn и coneX = X, если X выпуклый конус. То же самое можно сказать об аффинной оболочке. Она всегда не пуста и a X = X, если X аффинное множество.

Определение 2.1.8. Пусть X µ Rn некоторое множество и x0 произвольная точка из X. Множество a (X ¡ x0) называют линейным подпространством, параллельным множеству X, или несущим подпространством X и обозначают LinX.

Линейное подпространство, параллельное множеству X µ Rn, не зависит от выбора конкретной точки x0 из X. На самом деле ее можно брать даже из a X. Всегда выполняется равенство a X =