книги из ГПНТБ / Химмельблау Д. Анализ процессов статистическими методами

Глава 3

СТАТИСТИЧЕСКИЙ А Н А Л И З И ЕГО П Р И М Е Н Е Н И Я

3.1. В В Е Д Е Н И Е

При получении наилучшей из возможных оценок одного или нескольких параметров распределения вероятности или предпола­ гаемой модели процесса возникает так называемая задача оцени­ вания параметров. Этими параметрами могут быть коэффициенты, определяющие или описывающие распределение вероятности слу­ чайной величины, такие, как среднее по ансамблю и дисперсия в случае нормального распределения вероятности, или коэффи­ циенты в эмпирической модели процесса. Оценивание некоторого отдельного значения параметра дает точечную оценку. Рассмотрим, например, плотность распределения вероятности одной случайной величины X некоторой известной математической формы р (х, Ѳ), содержащую один неизвестный параметр Ѳ. Случайная величина представлена случайной выборкой {хи х2, • . -, хп). На основе собранных экспериментальных данных, вычисляя некоторую ста­ тистику, например выборочное среднее X, можно получить оценку значения Ѳ. Говорят, что X = \іх, где значок Л означает оценку стоящей под ним величины.

Оценки второго типа, интервальные оценки, получаются при оценивании величины интервала, который с заданной вероят­

оценки, но гораздо чаще для данного параметра можно найти несколько состоятельных оценок. Тогда возникает вопрос, какой из них следует пользоваться. Сравнивая дисперсии оценок, можно выбрать наиболее эффективную оценку в том смысле, что ее дис­ персия минимальна [1]. Например, среднее значение и медиана для п наблюдений случайной величины, распределенной по нор­ мальному закону, имеют математическое ожидание и, и дисперсии соответственно (1/гі) а 2 и (п/2п) а 2 . Таким образом, дисперсия среднего меньше, чем дисперсия медианы, и тем самым первая величина более эффективна. Критерии несмещенности и мини­ мальной дисперсии нельзя рассматривать раздельно, ибо слегка смещенная оценка с малой дисперсией может оказаться предпочти­ тельней, чем несмещенная оценка с большой дисперсией.

этого параметра, которую можно получить по выборке из некото­ рой генеральной совокупности и которая дала бы дополнительную информацию о нем. Фишер [2] показал, что количество измеримой информации, содержащееся в некоторой оценке, равно обратной величине от ее дисперсии; таким образом, понятие достаточности эквивалентно требованию минимальной дисперсии. Достаточная оценка с необходимостью должна быть эффективной и, следова­ тельно, также и состоятельной. Если допустить, что достаточная оценка существует, то метод максимального правдоподобия, описанный в следующем разделе, позволяет ее найти. Оказывается,

к любой заданной задаче. Здесь будут рассмотрены лишь три метода:

Широко известной и весьма желательной процедурой оцени­ вания (если ее удается провести) является метод максимального правдоподобия, предложенный Фишером [3]. Этот метод асимпто-

тически приводит к оценкам, обладающим максимальной эффек­ тивностью, но не обязательно несмещенным. Достоинством метода максимального правдоподобия является то, что при определенных условиях (и не слишком строгих) оценки параметров имеют нор­ мальное распределение в случае выборок большого объема. В этом разделе метод максимального правдоподобия применяется для оценивания параметров плотностей распределения вероятности. В гл. 4 и 5 он используется для оценивания коэффициентов Билинейных эмпирических моделях процесса.

Предположим также, что значения параметров Ѳ1 ? Ѳ2 , . . . неизве­ стны. Каким образом можно найти наиболее подходящие значе­

Ѳ4, Ѳ2, . . ., теперь рассматриваемых как случайные переменные,

правдоподобными оценками. По существу в этом методе выби­

и любой другой набор значений параметров при условии, что плотность распределения вероятности случайной величины X определяется с помощью плотности распределения р (x | Ѳ4, Ѳ2, . . .) *). При получении максимально правдоподобных оценок

ности, в которой наблюдение рассматривается как некоторое фиксированное число, а параметры — как переменные:

L (ѲІ 5 Ѳ2 , . . . I XU = p fa; Ѳі, Ѳ2 , . . . ),

где строчной буквой х с числовым индексом обозначено значение соответствующего наблюдения, входящее в плотность распре-

(3.2.1)

При выборе в качестве оценок параметров, Ѳг значений, ко­ торые максимизируют L при данных значениях (Хі, х2, • • •> хп), оказывается более удобным работать с In L , а не с самой функ­ цией L :

In L = In p (XÙ ѲІ 7 Ѳ2 , . . .) + In p (x2; Qu Ѳ2 , . . . ) + . . . =

г=1

Величину In L можно максимизировать относительно вектора Ѳ, приравнивая нулю частные производные от In L по каждому из параметров:

n

Решение уравнений (3.2.3) дает искомые оценки Ѳ\, Ѳ2 , . . . .

(Часто при получении Ѳ вместо аналитического решения при­ ходится ограничиваться итерационным.) Выполнив эти выкладки можно показать, что при довольно слабых условиях при стремле­ нии п к бесконечности максимально правдоподобные оценки обла­ дают желаемыми асимптотическими свойствами:

1) l i m g {6,} = ѲГ, n-юо

2) величина ]/~п (Ѳг — Qt) распределена по нормальному закону;

3) оценки параметров совместно эффективны.

Максимально правдоподобные оценки не обязательно должны быть несмещенными; например, максимально правдоподобная оцен­ ка дисперсии случайной величины с нормальным распределением оказывается смещенной, как показано в примере 3.2.1. Однако максимально правдоподобные оценки являются эффективными и, следовательно, состоятельными. Более того, если можно полу­ чить достаточную оценку, то метод максимального правдоподобия позволяет ее получить. Наконец, если Ѳ является максимально

правдоподобной оценкой Ѳ, то / (Ѳ) будет максимально правдопо­ добной оценкой функции / (Ѳ).

Пример 3.2.1. Оценивание параметров плотности нормального

распределения вероятности методом максималь­ ного правдоподобия

Найдем максимально правдоподобные оценки Qi и Ѳ3 для плотности нормального распределения вероятности

и для удобства прологарифмируем обе части равенства (а):

Затем получим максимально правдоподобные оценки, приравни­

і=1

При исследовании с помощью этого метода плотности распределе­ ния вероятности, содержащей п параметров (Ѳ^ Ѳ2 , . . ., Ѳп ),

которые затем приравниваются выборочным моментам, получен­

ным из экспериментальных данных. После этого можно найти ліетодзначениймаксимальногѲ (возможныправдоподобиянекоторые осложнения)метод моментов.В отличивсегднеота