книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания
.pdfПринимая во внимание тот факт, что
|
М у/х{ ( у - Н х ) ( у - Н х у } = г 2Ет, |
|
2 |
получаем |
р(х) > — • |
|
т |
Таким образом, в задаче оценивания скалярной величины по измере ниям (2.3.14) в условиях, когда ошибки измерения - независимые между
собой гауссовские случайные величины с одинаковыми дисперсиями г2,
дисперсия ошибки несмещенной оценки не может быть меньше |
2 |
От- |
|
|
т |
сюда следует, что оценка, соответствующая максимуму функции правдо подобия, в этом примере является несмещенной эффективной оценкой, а следовательно, и несмещенной оценкой с минимальной дисперсией.
П р и м е р 2.3.2. Получим алгоритм нахождения оценки, соответст вующий методу максимума функции правдоподобия, в той же задаче, что и в предыдущем примере, но будем при этом считать, что ошибки изме рения V ,-, i = 1 ./72 представляют собой независимые друг от друга равно
мерно распределенные в интервале [0,1] случайные величины.
Запишем
т
Л-Иф" 0 ) = a r g m a x /v(y /,x ) = a rgm ax]“J / V(v. - х ) .
|
Поскольку |
i=1 |
|
|
|
||
|
1,хе[у,. -1 , v, ], |
i =1 лп , |
|
|
/v 0 \- - * ) = |
||
|
0, Л-г [у,- — 1, У ; 1 |
|
|
то |
Л 0 ;/л ')= П f v i y t ~ x)= |
l , x e Q m, |
|
0, х g П т , |
|||
|
|||
|
/•=1 |
|
|
где |
область Q /;î представляет собой пересечение всех интервалов |
||
[V; |
i = !•'» . т-е. Пт=ПЬ', ~ Ш |
|
|
1=1 Отсюда следует, что в качестве оценки, соответствующей максимуму
функции правдоподобия, можно принять любое значение A*G Qw. Обра тим внимание, если упорядочить полученные измерения, расположив их в порядке возрастания, то границы области С1т можно выразить через максимальное утах(ш) и минимальное уШ|П(шЬ Т*е*представить ее в виде
Пт=[ymax(/?0 - l , y min(m)]- Таким образом, алгоритм получения интере сующей нас оценки в сущности сводится к нахождению максимального и минимального значений измерений.
Если, к примеру, имеется всего два измерения, причем у 2 > у \ , то в
качестве оценки, максимизирующей функцию правдоподобия, может быть выбрано любое д* е [max [у,, у, }-l,m in {v ,,у,}] (рис. 2.3.1).
Рис. 2.3.1. К алгоритму нахождения оценки постоянной скалярной величины, максимизирующей функцию правдоподобия f ( j > / x ) = f ( y ] /.v )/(;s /х )
при равномерно распределенном характере ошибок измерения
Заметим, что в дампом примере использовать неравенство РаоКрамера не удается, поскольку ф.п.р.в. в этом случае не удовлетворяет условиям регулярности - она не является дифференцируемой.
Не такой простой представляется и процедура вычисления смещения и дисперсии оценки, отыскиваемой согласно полученному алгоритму. ♦
Из рассмотренных примеров следует, что алгоритмы нахожде ния оценок, основанные на максимизации функции правдоподобия по одним и тем же измерениям при различных распределениях ошибок измерения, могут существенным образом отличаться друг от друга. Так, в первом примере алгоритм вычисления оценки яв ляется линейным относительно измерений и представляет собой обычное усреднение измерений, в то время как во втором - алго ритм нелинейный и сводится к нахождению максимального и ми нимального значений среди имеющихся измерений.
2.3.3. Общее решение линейной гауссовской задачи.
Взаимосвязь с алгоритмами метода наименьших квадратов
Решение задачи нахождения несмещенной эффективной оценки в примере 2.3.1 оказалось достаточно простым. Более того, не трудно было заметить, что полученный алгоритм совпал с алго-
192
ритмом МНК. Это является следствием того, что в примере реша лась линейная гауссовская задача. Именно в этом случае алгоритм нахождения оценки, соответствующей максимуму функции прав доподобия, реализуется наиболее просто. Покажем это.
Будем считать, что рассматривается линейная задача (2.1.10), (2.1.11) в предположении, что ошибки измерения v представляют
собой центрированный случайный гауссовский вектор с матрицей ковариаций R . Получим оценку, соответствующую максимуму правдоподобия, и проанализируем ее свойства.
При сделанных предположениях функция правдоподобия сов падает с выражением (2.3.2), в котором s(x) = Н х, т.е.
а логарифмическая функция правдоподобия может быть записана в виде
|
Умфп (х) = (у - Нх)г R~l (у - Нх) . |
(2.3.15) |
|
Таким образом, |
|
|
|
|
хмфп (у) = arg max N (у, Нх, R) = arg min Умф" (x). |
(2.3.16) |
|
|
Л* |
Л* |
|
Отсюда получаем: |
|
|
|
|
|
хмф,,(у) = Я мфпу; |
(2.3.17) |
|
рмфп |
= ^мфпд^мфгу = |
(2.3.18) |
где |
К ш*п =(H TR - 1H Y H TR-' |
(2.3.19) |
|
Оценка (2.3.17) является несмещенной. |
|
||
Действительно, поскольку М v/x {y}=Нх, а Е - Я мф"Я = 0, то |
|||
Му / х {(х - Я мфпу)}= 0. |
|
В силу того что ошибка оценки емфп(у) = х - хмф"(у) |
может |
быть представлена в виде, аналогичном (2.2.23), т.е. |
|
емфп(у) = - Я мф%, |
(2.3.20) |
эта ошибка не зависитот оцениваемого вектора х , а зависит толь ко от ошибок измерения. Т.е. ошибка оценки в методе максимума правдоподобия в рассматриваемой задаче инвариантна относи тельно оцениваемого вектора. Существенно, что и матрица кова-
риаций здесь также не зависит от оцениваемого вектора. Поскольку в рассматриваемой задаче достаточно просто оты
скивается матрица, характеризующая нижнюю границу точности, нетрудно также убедиться в том, что оценка (2.3.17) является эф фективной. Действительно, поскольку s(x) = Hx, то, принимая во внимание соотношение
d l n / ( v / x ) = H rR~l( y - H x ) дх
и тот факт, что выполнены условия регулярности, легко вычислить математическое ожидание в (2.3.9) и для информационной матри цы Фишера получить
(2.3.21) Сопоставляя / 1(х) с матрицей ковариаций Р м*п (х ), задавае
мой выражением (2.3.18), убеждаемся в их совпадении.
Таким образом, в линейной гауссовской задаче оценка мак симального правдоподобия (2.3.17) является несмещенной эф фективной небайесовской оценкой с матрицей ковариаций (2.3.18) или, что то же самое, несмещенной небайесовской оценкой с минимальной дисперсией.
Обсудим теперь связь с МИК. Замечаем, что полученные выра жения (2.3.17), (2.3.18) идентичны выражениям (2.2.28), (2.2.29),
соответствующим ОМНК при Q = R~] Это вполне логично, по скольку в рассматриваемом случае задача минимизации критерия ОМНК совпадает с задачей максимизации функции правдоподо бия, так как критерий (2.3.15) совпадает с критерием ОМНК.
Из сказанного следует, что оценка, соответствующая методу максимума функции правдоподобия в задаче оценивания х по измерениям (2.1.11) при гауссовском характере ошибок изме
рения, совпадает с оценкой обобщенного метода наименьших квадратов, если весовая матрица в его критерии Q = R ~X.
Поскольку оценка МФП, как отмечалось выше, совпадет с оценкой ОМНК, то для оценок ОМНК при соответствующем вы боре матрицы будет справедлив вывод.
В линейной гауссовской задаче оценка, соответствующая ОМНК, при выборе весовой матрицы в критерии такой что
Q = R~l , является несмещенной эффективной небайесовской оценкой с матрицей ковариаций (2.3.18).
194
В силу отмеченного совпадения результаты, рассмотренные в примерах 22.2-2.2.5 и касающиеся ОМНК, можно трактовать как результаты, соответствующие методу максимума функции прав доподобия, если дополнительно предположить гауссовский харак
тер ошибок измерения и принять Q = R~l
В заключение отмстим, что решение линейной задачи (2.1.10), (2.1.11), исходя из стремления получить несмещенную оценку с
минимальной дисперсией в принципе может быть проведено и без задания ф.п.р.в. ошибок измерения. Это может быть сделано, если ограничиться минимизацией критерия (2.3.4) в классе линейных оценок (см. задачу 2.3.6) и считать, что для ошибки измерения v заданы ее два первых момента.
2.3.4. Решение нелинейной гауссовской задачи.
Взаимосвязь с алгоритмами метода наименьших квадратов
Обсудим теперь, к чему сводится алгоритм нахождения оценки, соответствующей максимуму функции правдоподобия в нелиней ной задаче (2 .1.20), (2.1.21) в предположении, что ошибки измере
ния v так же, как и в предыдущем подразделе, представляют со бой центрированный случайный гауссовский вектор с матрицей ковариаций R . В этом случае логарифмическая функция правдо подобия может быть записана в виде
умфпф = 1п |
/ х) = (у - s(x))TR~] {у - ф ) ) . |
(2.3.22) |
Отсюда следует, что для нахождения оценки необходимо либо отыскивать максимум этого критерия, либо решать систему нели нейных уравнений
8 1 п / ( у / ^ = ^ М д - 1 (у _ 1 М ) = 0 |
(2 3 2 3 ) |
|
дх |
dx |
|
с последующей проверкой условия (2.3.13).
Нетрудно заметить, что вид критерия (2.3.22), соответствую щий рассматриваемому гауссовскому случаю, с точностью до по стоянного множителя совпадает с критерием (2.2.5) обобщенного метода наименьших квадратов, если в ОМНК в качестве весовой
матрицы выбрать матрицу Q = R~l Отсюда вытекает следующий
вывод, аналогичный выводу для линейной задачи. Оценка, соот ветствующая методу максимума функции правдоподобия, в нелинейной задаче оценивания х по измерениям (2.1.21) при гауссовском характере ошибок измерения совпадает с оценкой обобщенного метода наименьших квадратов, если весовая
матрица в его критерии Q = R ~l .
Из сказанного следует, что рассмотренные в подразделах 2.2.5, 2.2.6 пути построения алгоритмов и анализ их точности можно трактовать как методы решения задач оценивания на основе мак симизации функции правдоподобия. В частности, здесь могут быть использованы линеаризованный и итерационный алгоритмы. Следует заметить при этом, что при анализе точности должна быть использована матрица (2.2.55), при вычислении которой необхо димо привлекать условную ф.п.р.в. / (у / .v).
Ясно, что при нахождении этой матрицы, например в соответ ствии с методом статистических испытаний, необходимо выпол нять значительный объем вычислений. И здесь весьма полезным оказывается привлечение неравенства Рао-Крамера, поскольку в нелинейной гауссовской задаче по аналогии с тем, как это было сделано для линейного случая, достаточно просто найти матрицу, характеризующую нижнюю границу точности. Действительно,
полагая, что функция s(x) |
обеспечивает выполнение условий ре |
|
гулярности, и принимая во внимание соотношение |
|
|
d l n f( y /x ) = dsr(x) R_i |
(2.3.24) |
|
дх |
R - l(y-s(x)), |
|
dx |
|
|
получаем |
|
|
ds |
(х) -I ds(x) |
(2.3.25) |
|
|
|
Нетрудно заметить, что если применительно к рассматриваемой задаче считать допустимым линеаризованное описание для (2.1.21)
иприближенно решать задачу методом максимума правдоподобия
сиспользованием (2.3.17), то матрица ковариаций, вычисляемая
согласно (2.3.18), совпадет с / (л ), поскольку
Конкретизируем полученные соотношения применительно к двум примерам.
♦ Пример 2.3.3. Получим выражение для нахождения нижней грани цы точности в задаче оценивания скалярной величины х по измерениям
|
У; = Si (я) + V,-, / = 1 лп . |
(2.3.26) |
|||
в которых Vj,i = l.m |
предполагаются независимыми между собой гаус |
||||
совскими случайными величинами с одинаковыми дисперсиями |
, т. е. |
||||
R = r 2E . |
|
|
|
|
|
Используя выражение (2.3.25), запишем |
|
|
|||
|
|
I |
|
,л\ |
|
|
|
|
dsj(x) |
|
|
|
|
|
dx |
|
|
Если ввести величину, характеризующую значения производной |
|||||
|
£(*) = , г |
! |
dSjix) |
|
|
|
dx |
|
|||
|
1 |
/=1 |
|
||
то выражение для нижнеи границы точности можно записать как |
|
||||
|
Р ( х ) > Г \ х ) = - |
г * |
(2.3.27) |
||
|
|
|
-2 |
(х)т |
|
Заметим, что |
= (стмнк(х))2 |
где |
(сгмнк(х))2- значение расчет |
||
ной дисперсии ошибки оценки, соответствующей линеаризованному
МНК с точкой линеаризации х = х л
Нетрудно конкретизировать полученные соотношения для примера 2.2.8. В частности, величина, характеризующая значение производной, будет определяться как
£ c o s 2K - +х)
Ч *) =
т
П р и м е р 2.3.4. Получим выражение для матрицы, характеризую щей иижшою границу точности, в нелинейной задаче определения коор динат места по измерениям дальностей (2.1.16) до т точечных ориенти ров, полагая, что ошибки измерения являются независимыми между со бой гауссовскими центрированными случайными величинами с диспер
сиями r 2 7i = l JH f i
Принимая во внимание (2.3.25), для матрицы нижней границы можем
записать выражение: |
в котором Mj(x) определя |
V/=1 ч |
|
ются соотношением (2.2.64), т. е. |
|
sin2 Я,(х) |
0.5 sin 217J(x) |
0.5 sin 2IJj (х) |
cos2 i7,(x) |
Если предположить, что линеаризованное описание в области апри орной неопределенности справедливо, то увидим, что матрица ковариа
ций для ОМНК при замене значения Xя на истинное значение х, как
следует из примера 2.2.9, будет совпадать с расчетной матрицей, харак теризующей нижнюю границу точности. ♦
В общем случае при использовании неравенства Рао-Крамера для анализа точности в нелинейных задачах необходимо помнить, что действительная матрица ковариаций ошибок оценивания ис следуемых алгоритмов задается соотношением (2.2.55). Эта мат
рица может существенно отличаться от / -1 (х), даже если выпол
няется приближенное равенство / -1( х ) » / -1 (хл). В частности, та кая ситуация может иметь место для линеаризованного алгоритма в силу приближенности описания (2.1.22). Вместе с тем неравенст во (2.3.8), которое в данном случае конкретизируется как
\ _1
ds(x)
Р ( х ) >
dx |
clx7 y |
справедливо всегда, если j(x) обеспечивает выполнение условий регулярности для функции правдоподобия (2.3.2). Это означает, что какой бы алгоритм ни был выбран для решения рассматривае мой задачи, матрица ковариаций его ошибок будет всегда превы шать матрицу, стоящую в правой части неравенства и вычисляе мую при фиксированном значении неизвестного вектора.
Задачи к разделу
Задача 2.3.1. Получите выражение для функции правдоподо бия и дисперсии, характеризующей нижнюю границу точности, в задаче оценивания скалярной величины х по измерениям типа (2.3.26), записываемым как
где ошибки измерения
«t = d + v, |
(2) |
представляют собой сумму центрированной гауссовской случай ной величины с дисперсией сг^, описывающей систематическую составляющую, и независимых между собой и от d центрирован ных гауссовских случайных величин с одинаковыми дисперсиями
у у
/-• = / , i - 1 .т.
Р е ш е н и е . Принимая во внимание результаты решения за дачи 1.3.6, матрицу ковариаций ошибок для вектора е и обратную ей матрицу можем представить в виде
1 |
2 |
|
|
<*d |
|
(3) |
|
( « • ) - ' - - Т Ет- |
m c d + г |
2 |
|
|
|
|
Поскольку f e(e) = N(e;0,Re), выражение для функции правдо подобия f ( y / x ) будет иметь вид
/Су1 х) = Л(у ~ *(*))=N ( y - |
rS)- |
(4) |
Нетрудно убедиться в том, что в этом случае для la f ( у/х) бу дет справедливо следующее представление:
|
/ |
|
а2 |
|
V > |
|
1 п /(у /х ) = - |
1 |
Y (y» -j »(*))2 |
( Л |
|||
|
2 . |
2 Y |
( л -*/(*)) |
• (5) |
||
|
|
т |
|
|
|
|
|
2г I--* |
+ г 1-, |
J J |
|
||
Таким образом, для нахождения оценки, соответствующей |
||||||
МФП, необходимо минимизировать критерий вида |
|
|||||
|
|
|
|
( т |
^ |
|
jr«*n(x) = _ L |
2 ( г / - * / М ) 2 - |
та ^ + г‘ Vi=tY |
Су»-*/(*)) |
(6) |
||
2г |
1=1 |
|
|
|||
Для вычисления дисперсии, характеризующей нижнюю грани цу точности, воспользуемся выражением (2.3.25). Подставляя в
него выражение для |
и вводя обозначение /г,- (х) = - S‘ ^ , |
|||
|
|
|
|
dx |
|
т |
|
( т |
'N 2 " п-1 |
получаем: I 1(х) = г 2 |
|
|
||
2> ? о о - |
mc~d + г |
Y hi W |
|
|
|
/=1 |
M=i |
|
|
Задача 2.3.2. Покажите, что выражение (6) для J M^n (х) |
из за |
|||||
дачи 2.3.1 может быть представлено в виде |
|
|
|
|
||
у м * |
= |
|
|
^ |
|
(1) |
где |
/-1 |
г~ + а /:-1. |
|
|
|
|
|
|
|
|
|
|
|
d,{x) = d |
(х) + — |
а 2 |
|
|
; |
(2) |
L' L 2 {у( - ф |
) |
- d {x)) |
||||
|
а 1:-1, + г |
|
11 |
|
|
|
5? = Г 2Н ? 2 |
* = l j t t ’ 5 0 = |
° d |
> 4 ) 0 0 - |
°* |
(3) |
|
a f _ i + r 2 |
|
|
|
|
|
|
Р е ш е н и е . Для того чтобы убедиться в справедливости (1),
запишем следующее представление
f ( y ! x ) = f ( y m!Ут-\,Ут-г>"У\>х)/(Ут-\ 1Ут-ЪУт-г>~У\>х) - /( У \ !х).
С использованием этого выражения легко получить представ ление (1), если учесть, что случайные величины у ( = (х) + + v ,,
/ = 1 .in , при фиксированных значениях х и y j , j = 1 л - 1 , являют
ся гауссовскими с математическими ожиданиями и дисперсиями, определяемыми выражениями (2), (3). Таким образом,
|
|
гг- |
I |
2 \ |
•/“* ■ « = А |
|
|
||
Е ( т , - * , ( > ) ) 2 — |
r W |
|
Z o > , - * ,(* )) |
|
2 г~ |
,=i |
mad +r |
|
, |
может быть представлен как
М^ + <*■М
Задача 2.3.3. Пусть, как и в примере 2.2.7, имеются два изме рителя, вырабатывающие показания (2.1.33), в которых
X = ( A'J , X 2 ) T представляет собой двухмерный вектор, задающий координаты объекта на плоскости. Считая, что этот вектор являет ся детерминированным вектором, а двухмерные векторы ошибок измерения являются центрированными гауссовскими векторами с матрицами ковариаций Rlt R2, получите алгоритм вычисления