книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания

эффективной оценки и соответствующей ему матрицы ковариа­ ций. Сопоставьте результаты с решением для ОМНК, полагая мат­

рицу Q блочно-диагональной с блоками R~l и R~l

Задача 2.3.4. Получите основанный на линеаризации и итера­ ционный алгоритмы оценивания, соответствующие методу макси­ мума правдоподобия в задаче оценивания фазы гармонического колебания по измерениям (2.1.14) в предположении, что амплиту­ да и частота известны, считая что ошибки измерения являются не­ коррелированными между собой гауссовскими случайными вели­

чинами с одинаковой дисперсией /•2 Сопоставьте результаты с

решением для МНК.

Задача 2.3.5. Покажите, что оценки, соответствующие методу максимума функции правдоподобия, не зависят от линейных не­ вырожденных преобразований по отношению к используемым из­ мерениям.

Р е ш е н и е . Убедимся в этом на примере решения нелиней­ ной гауссовской задачи оценивания вектора х по измерениям (2.1.21). Введем вместо (2.1.21) преобразованное измерение

у= Ту = Ts(x) + Tv = S’(х) + v ,

вкотором Т - квадратная тпх тп невырожденная матрица.

Для доказательства сформулированного утверждения следует убедиться в том, что функции правдоподобия f ( y / x ) и f { y l x )

совпадают. Это очевидно, поскольку

(у - s(x))TR ~ \ y - *(*)) = (.V - *(х))т(ттУ т гЛ - [Г Г 1(у-*(х)) = = ( у - 7 (*))ТЛ-1 (у - s(x)),

где R = T R T T - матрица ковариаций для вектора ошибок v пре­ образованных измерений.

Задача 2.3.6. Полагая, что решению подлежит линейная зада­ ча оценивания вектора х по измерениям у = Нх + v , а оценки оты­

скиваются в виде х(у) = К у , найдите выражение для матрицы К ,

Умножая первое уравнение на матрицу Я справа и приравни­ вая полученный результат к единичной матрице Е , убеждаемся в том, что решение этой системы задается в виде:

Л= 2(H t R ’я )'1

К= (нтRAн У Н тRA ,

аматрица ковариаций ошибок оценок будет определяться как

м[ { х - х(у)){х - З Д )Т}= M^{KvvrKJ}'j = {KRKT} = (н тК'н)~'

Поскольку условие Е - КН = 0 обеспечивает несмещенность оценки, рассмотренная задача совпадает с задачей нахождения несмещенной небайесовской оценки с минимальной дисперсией в классе линейных несмещенных оценок. Эта оценка и соответст­ вующая ей матрица ковариаций задаются соотношениями:

х(у) = (HTR-lH y H TR-ly ;

P =[H TR AH Y

Важно еще раз подчеркнуть, что для решения задачи в рассмот­ ренной постановке потребовалась информация только о первых двух моментах вектора ошибок измерений. Заметим, что приве­ денное решение, при получении которого накладываются ограни­ чения на класс используемых оценок, совпадет с решением, пред­ ставленным в подразделе 2.3.3, при получении которого такое ог­ раничение не накладывается, но вводится предположение о гаус­ совском характере ошибок измерения.

Контрольные вопросы

1. Сформулируйте задачу оценивания в рамках небайесовского подхода. В чем особенности такой постановки по сравнению с постановкой задачи с использованием МНК и его модифика­ ций?

2.Дайте определение несмещенной и состоятельной оценок, а также несмещенной небайесовской оценки с минимальной дис­ персией.

3.Приведите формулировку неравенства Рао-Крамера и поясни­ те его смысл. Что такое эффективная оценка?

4.Поясните суть метода максимума правдоподобия, что такое функция правдоподобия и уравнение правдоподобия?

5.Получите выражение для информационной матрицы Фишера для линейной и нелинейной гауссовской задач оценивания.

6.Получите решение линейной гауссовской задачи оценивания методом максимума правдоподобия. Является ли полученная оценка эффективной? Какова взаимосвязь с алгоритмами мето­ да наименьших квадратов?

7.Как соотносится матрица, характеризующая нижнюю границу точности, с действительной матрицей ковариаций ошибок оце­ нивания в нелинейной гауссовской задаче и расчетной матри­ цей, соответствующей линеаризованному алгоритму?

8.Поясните возможные методы получения алгоритмов оценива­ ния в нелинейной гауссовской задаче с использованием метода максимума правдоподобия.

9.Сформулируйте задачу нахождения несмещенной небайесов­ ской оценки с минимальной дисперсией в классе линейных не­ смещенных оценок. При каких условиях решение этой задачи совпадет с решением задачи нахождения несмещенной небайе­ совской оценки без введения ограничений на класс используе­ мых оценок.

2.4. Байесовский подход. Линейные оптимальные оценки

Рассмотрим постановку и возможные алгоритмы решения зада­ чи оценивания в случае, когда помимо предположения о случай­ ном характере ошибок измерения v случайным считается и оце­ ниваемый вектор х. Введение таких предположений при поста­ новке задачи оценивания характерно для байесовского подхода (метода), который и будет рассматриваться далее. Алгоритмы оценивания, получаемые в рамках байесовского подхода, будем называть байесовскими алгоритмами. Вначале рассмотрим ли­ нейные алгоритмы.

2.4.1. Постановка задачи и ее общее решение

В рамках байесовского подхода задача оценивания (2.1.20), (2.1.21) решается в предположениях, когда вектор х и ошибки из­ мерения v , а следовательно, и сами измерения у считаются слу­ чайными.

Как и в предыдущем подразделе, введем квадратичную функ­ цию потерь

Цх - х(у)) =2 (*,• - X;(у))2 = (х - X(у))Т (х ~ -V(v)) =

1=1

и связанный с ней критерий в виде математического ожидания квадратичной функции потерь

J = MXty{L(x-x(y))}= M,,y(sp{x- .v(y))(-v- х(у))т I = Sp{p], (2.4.1)

где

P = Mxy(.v- x(y))(x- .v(v))T = J J (Л-- -v(y)X*- x(y))rf xy(x,y)dxdy (2.4.2)

апостериорная матрица ковариаций ошибок е(_у) = х - х(у)

Обращаем внимание на то, что эта апостериорная матрица ко­ вариаций не зависит от измерений, поскольку она отыскивается путем вероятностного осреднения как по х , так и по у .

Критерий (2.4.1) в рамках байесовского подхода называют бай­ есовским риском или средними байесовскими потерями.

Сформулируем задачу оценивания вектора х по измерениям у

следующим образом: найти такую оценку, которая обеспечит ми­ нимум математического ожидания для квадратичной функции по­ терь, т.е.

* ( . У) = a r g m i n М i ^ (х - x ( y ) f \ =a r g m i n ^ f p } .

■Ф) IJ [“ 7 J х (у )

Приведенная постановка задачи оценивания в значительной степени аналогична той, которая рассмотрена в подразделе 2.3.1, с одной весьма существенной разницей, заключающейся в том, что вероятностное осреднение в приведенных выше соотношениях соответствует совместной f XtV(x,y), а не условной ф.п.р.в.

f vix{ylx) , как это было в 2.3.

Таким образом, как и в разделе 2.3, сформулированная задача нахождения оценки сводится к минимизации суммы дисперсий ошибок оценивания или, что то же самое, к минимизации следа апостериорной матрицы ковариаций ее ошибок. Оценка, обеспе­ чивающая минимум (2.4.1), получила наименование оптимальной

всреднеквадратическом смысле байесовской оценки. Такую оценку называют еще байесовской оценкой с минимальной дис­ персией. В дальнейшем, если это не вызывает недоразумений, го­ воря об оптимальной оценке, будем подразумевать именно опти­ мальную в среднеквадратическом смысле байесовскую оценку или байесовскую оценку с минимальной дисперсией.

Здесь, как и при небайесовском подходе, критерий (2.4.1) прин­ ципиально отличается от наблюдаемых критериев, рассмотренных

вразделе 2.2, поскольку цель решения задачи заключается в обес­

печении определенных требований к ошибкам оценки е(у) = х - х(у) искомого вектора, а не к вычисленным значениям измеряемых параметров.

Из выражения (2.4.1), (2.4.2) следует, что для вычисления вве­ денного критерия необходимо располагать ф.п.р.в. / Х)У(х,у) Для

снижения требований к полноте априорной информации предва­ рительно рассмотрим возможность решения сформулированной задачи оценивания в рамках байесовского подхода в упрощенной постановке.

Будем считать, что отыскиваемая оценка линейным образом за­ висит от измерений, т.е. определяется как

Нетрудно видеть, что в этом случае выполняется следующее равенство:

Байесовская оценка, удовлетворяющая такому условию, назы­ вается несмещенной. Заметим, что это определение отличается от того, которое введено в подразделе 2.3. В то же время оно пред­ ставляется вполне логичным, поскольку здесь оцениваемый вектор считается случайным.

Принимая во внимание сказанное, задачу нахождения оценки вектора х по измерениям у можно сформулировать следующим

образом: найти оценку, минимизирующую математическое ожи­ дание квадратичной функции потерь в классе линейных оценок вида (2.4.3).

Поскольку предполагается линейная зависимость оценки (2.4.3) от измерений, то речь, таким образом, идет о задаче нахождения

линейных несмещенных байесовских оценок с минимальной дисперсией или, что то же самое, о задаче нахождения оптималь­ ных в среднеквадратическом смысле байесовских линейных

оценок. Далее в целях сокращения будем говорить просто о ли­ нейных оптимальных оценках. Алгоритм, обеспечивающий на­ хождение таких оценок, назовем линейным оптимальным алго­ ритмом.

Подставляя (2.4.3) в (2.4.1), можем записать

J = М ху \ x - x - К(у - у))т( х - х - К (у - у))}=

= м х,у fep[(*- * + К (У - ÿ)Xx - х + К (у - ÿ))T]}=

= SpMxy { (л- - х)(л- - х)т +К (у - у)(х - х)т +

Из этого выражения вытекает, что для вычисления критерия (2.4.2), а следовательно, и для решения задачи его минимизации при отыскании оценок в виде (2.4.3) помимо математических ожи­

даний х и у достаточно знать только матрицы Р х , Р у, Р ху

Таким образом, в рамках сформулированной постановки задачи нахождения линейных несмещенных оценок с минимальной дис-

Персией необходимо располагать лишь первыми двумя моментами для векторов х и у , представленными в виде априорных матема­

тических ожиданий х и у и соответствующих матриц Рх , Ру

Рху Обращаем внимание на тот факт, что в рассмотренной поста­ новке пока не только не вводилось предположение о линейном характере задачи, но и вообще не предполагалось задание какойлибо функциональной зависимости между векторами х и у Иными словами, ставится задача отыскания оценки вектора х при фиксированном известном значении другого статистически свя­ занного с ним вектора измерений у Вид функциональной зави­ симости между векторами х и у потребуется в дальнейшем при

определении у и Ру Рху При решении задач обработки навига­

ционной информации статистические свойства обычно задаются для оцениваемого вектора и ошибок измерения, а значения у и

Ру , Рху отыскиваются уже с привлечением соотношений (2.1.11) или (2.1.21) и правил преобразования случайных векторов. Наибо­ лее просто это может быть сделано в линейной задаче, которая подробно рассматривается в подразделе 2.4.3. Случай нелинейных измерений обсуждается в подразделе 2.4.4.

Из вышесказанного следует, что алгоритм вычисления оценки сводится к задаче параметрической оптимизации критерия J от­ носительно матрицы К Обсудим далее решение такой задачи.

Для того чтобы линейная оценка (2.4.3) при решении задачи оценивания вектора х с использованием известных фиксиро­ ванных значений вектора измерений у обеспечивала мини­

мум критерия (2.4.5), необходимо и достаточно, чтобы матрица

К 1'", используемая при вычислении этой оценки, удовлетво­

Это уравнение можно трактовать как простейший вариант уравнения Винера-Хопфа, которое вводится в дальнейшем при рассмотрении задач оценивании случайных последовательностей и процессов в главе 3.

Если матрица Ру не вырождена, то тогда из (2.4.6) следует

и, таким образом,

х{у) = х + Кш\ у - у) = г + Pv (P')-‘(y - у). (2.4.8)

Используя (2.4.8), нетрудно записать выражение для матрицы ковариаций

р1‘" = М х,у{(х ~ х(у))(х - з д ) Г} =

Таким образом, процедура вычисления оптимальных в средне­ квадратическом смысле линейных оценок задается соотношения­ ми (2.4.7), (2.4.8) и для синтеза алгоритма необходимо располагать априорными математическими ожиданиями х и у и матрицами

Рх, Ру , Рху Знание этих матриц обеспечивает также решение задачи анализа точности, поскольку с их использованием удается

найти апостериорную матрицу ковариаций ошибок Р1'" , соответ­ ствующих оптимальному линейному алгоритму.

В подразделе 1.4.4 была рассмотрена задача регрессии, суть ко­ торой заключается в получении представления одного из подвек­ торов составного вектора (например, х ) при условии, что другой подвектор (например, у ) зафиксирован исходя из минимизации среднеквадратического критерия (2.4.1) в некотором классе функ­ ций. Нетрудно заметить, что постановка задачи регрессии, в сущ­ ности, совпадает с рассмотренной выше постановкой задачи оце­ нивания, формулируемой в наиболее общем виде, когда не вводит­ ся вектор ошибок измерения v и не предполагается конкретизация вектора измерений, устанавливающая характер взаимосвязи век­ тора у с векторами х и v в виде (2.1.11) или (2.1.21). Если огра­ ничиться классом линейных функций, то получаем задачу линей­ ной регрессии. Т.е. задача линейной регрессии сводится к нахож­ дению такого представления (2.4.3), при котором минимизируется критерий (2.4.1). Таким образом, задачу получения оценки вектора х в виде (2.4.3) по измерениям (2.1.11) или (2.1.21), определяю­ щим взаимосвязь у с оцениваемым вектором и ошибками измере­ ний, можно трактовать как задачу нахождения линейной регрессии вектора х по у .

2.4.2. Свойства линейных оптимальных оценок

Обсудим более подробно свойства линейных оптимальных бай­ есовских оценок. Первое свойство непосредственно вытекает из определения линейной оптимальной оценки.

С в о й с т в о 1. Оценка (2.4.8) является несмещенной. Сформулируем и докажем еще одно весьма важное свойство

линейной оптимальной в среднеквадратическом смысле байесов­ ской оценки х(з^).

С в о й с т в о 2. Для того чтобы линейная оценка х{у) = Ку

была оптимальной, необходимо и достаточно выполнение сле­ дующего условия:

вектором измерений у. Когда два вектора некоррелированы, то, как отмечалось в 1.2.2, говорят также об их ортогональности. В связи с этим сформулированное условие называют также услови­ ем или свойством ортогональности [47]. Для простоты докажем справедливость сформулированного свойства для случая х = 0.

Н е о б х о д и м о с т ь . Пусть оценка оптимальна, т. е. матри­

ца К =К 1"' =Рху(Ру)~] определяется в соответствии с выражени­ ем (2.4.7). Отсюда с очевидностью следует, что

(2.4.7), подтверждающее оптимальность оценки, удовлетворяющей уравнению (2.4.10).

Приведенное утверждение будет также справедливо, если вме­