Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Химмельблау Д. Анализ процессов статистическими методами

.pdf
Скачиваний:
27
Добавлен:
27.10.2023
Размер:
31.74 Mб
Скачать

122

Глава 3

после чего можно из выраженшг(ж) найти оценку <а параметра со. Если требуется, можно вычислить и асимптотические дисперсии оценок.

3.2.3. Оценивание по Байесу

Современный байесовский подход к проблеме оценивания основывается на использовании априорной информации, т. е. используются известные или предполагаемые распределения оце­ ниваемых параметров. Хотя классический подход к этой проблеме и подход Байеса в какой-то мере различны, они обладают некото­ рыми общими чертами. Оба подхода требуют:

1)

существования набора параметров (значений);

2)

возможности экспериментирования с целью получения неко­

торых

сведений о наборе параметров;

3)взятия выборок для получения информации о случайных величинах;

4)постулирования правил оптимального выбора (в том смысле, что в результате принятого решения получатся оптимальные следствия).

Главное различие между этими подходами состоит в том, что при классическом подходе решения принимают на основе некото­ рой выборки, зависящей от значений параметров и типа экспери­ мента. При байесовском подходе анализ задачи начинается с опре­ деления плотности распределения априорной вероятности значе­ ний параметров на основе прошлого опыта и всей другой доступ­ ной информации. Сам параметр рассматривается как случайная величина. Затем для принятия определенного решения исполь­ зуется функция риска (или потерь), связанная с ценностью экспе­ риментальной информации, наряду с теоремой Байеса [выраже­ ние (А.2) приложения А].

Если функция риска не известна, то, используя теорему Байеса, можно максимизировать само апостериорное распределение. После того как появится выборочная информация, исследователь снова использует плотность распределения априорной вероятно­ сти и теорему Байеса для получения плотности распределения апостериорной вероятности, описывающей его новый уровень знаний о параметре. Апостериорная вероятность служит основой для принятия любых решений, а также априорной вероятностью

для

последующего

анализа.

 

Предположим,

что:

 

 

 

1)

проведено несколько

наблюдений случайной величины X ,

обозначенных вектором

X;

связь X —

2)

имеет место

некоторая

общая функциональная

= /(Ѳ, е) между величиной

X и набором параметров

(вектором),

 

Статистический

анализ и его применения

123

обозначаемым Ѳ, которые требуется оценить; 8—вектор

ненаблю­

даемых

случайных ошибок;

 

 

3)

аналитический

вид

совместной плотности распределения

вероятности р (Ѳ, е)

известен.

 

Оценка Байеса Ѳ параметров Ѳ находится следующим

образом.

Чтобы определить плотность распределения апостериорной веро­

ятности р (ѲI х), применяется

либо

теорема Байеса [выражение

(А.2) приложения А]

 

 

 

 

 

р

( Ѳ І х ) =

Р ^ Ш т ,

(3.2.4)

где р (х IѲ) =

L (Ѳ f x),

либо

может

оказаться

более удобным

использовать

формулу

(2.1.6):

 

 

 

 

 

р(Ѳ\х)

= ^ - .

(3.2.5)

В любом случае в качестве первого шага необходимо написать выражение для плотности распределения вероятности р{х), что можно сделать, по крайней мере в принципе, опираясь на инфор­

мацию, задаваемую известной

плотностью распределения р

(Ѳ, е)

и известной функциональной

связью между X, Ѳ и 8. Если

для

получения плотности распределения апостериорной вероятности используется выражение (3.2.4), вторым шагом является вычисле­ ние р (x I Ѳ). Эту условную плотность также можно получить из известных соотношений при условиях 2) и 3). Третий шаг состоит в том, чтобы вычислить р (Ѳ) по р (Ѳ, s), интегрируя по всем значениям е. Если используется соотношение (3.2.5), плот­ ность распределения вероятности р (Ѳ, х) получается из известных соотношений в предположениях 2) и 3), однако аналитическое рас­ смотрение в этом случае затруднено или просто невозможно.

Последним шагом в обоих случаях после того, как записана плотность распределения апостериорной вероятности, содержащая все сведения о Ѳ, полученные из эксперимента, является в неко­

тором смысле

оптимизация

р (Ѳ |

х). В

частном случае,

когда

требуется максимизировать

накопленную

вероятность

Р {Ѳ = Ѳ},

максимизируют

саму плотность р

(Ѳ | х)

относительно

Ѳ,

чтобы

получить значение Ѳ, соответствующее максимуму на кривой плотности (моду). Если плотность распределения априорной вероятности р (Ѳ) равномерна, такая оценка совпадает с макси­ мально правдоподобной оценкой. Можно использовать и многие другие методы оптимизации, однако они выходят за рамки настоя­

щего

рассмотрения. Примеры оценивания по Байесу приведены

в гл.

8 и 9.

124

Глава 3

3.3. П О Л У Ч Е Н И Е

И Н Т Е Р В А Л Ь Н Ы Х О Ц Е Н О К

В двух предыдущих разделах были описаны некоторые спо­ собы получения точечных оценок параметров и некоторые крите­ рии оценки их качества. Значительно более глубокое утверждение, чем в случае точечной оценки, можно сделать, оценивая довери­ тельный интервал. Доверительный интервал вычисляется по данным из некоторой выборки; фиксированная величина пара­ метра ансамбля заключена между границами этого интервала,

называемыми доверительными пределами, с некоторой

заданной

степенью достоверности,

называемой доверительной

вероятно­

стью. Джонсон и Леоне

проводят поясняющую аналогию

между

доверительным интервалом и бросанием подковы [4]:

 

 

«Доверительный интервал и связанные с ним понятия

несколько

напоминают игру с бросанием, подковы. Рассматриваемым

пара­

метром здесь служит кол (он всегда неподвижен вопреки ошибоч­ ному мнению некоторых игроков). Подкова служит доверитель­ ным интервалом. Игроку, который из 100 бросков подковы попадал на кол в среднем 90 раз, можно приписать 90%-ную достовернось (доверительную вероятность) попадания на кол. Доверитель­ ный интервал, подобно подкове, представляет собой переменную величину. Параметр, как и кол, является постоянной. Для

любого отдельного бросания (для

отдельной интервальной оценки)

кол

(или

параметр)

оказывается

внутри подковы или вне ее.

Можно сделать некоторое вероятностное утверждение

о перемен­

ных величинах, связанных с положениями краев подковы.»

Общая

процедура

получения

интервальной оценки

такова:

1.

Некоторое вероятностное утверждение записывается в мате­

матических символах, содержащих рассматриваемый параметр

ансамбля.

 

 

 

 

 

 

 

 

 

 

 

2.

Аргумент

преобразуется

так,

чтобы

параметр

 

ансамбля

был

заключен между

статистиками,

которые

можно

вычислить

по

выборке.

 

 

 

 

 

 

 

 

 

 

 

В качестве примера получим интервальную оценку для неизве­

стного

среднего

по ансамблю

х

случайной

величины

X,

распре­

деленной

по нормальному закону,

используя

выборочное

сред­

нее

X

и

выборочную

дисперсию

s\.

В разд.

2.4.2,

где

описано

^-распределение,

отмечалось,

что статистика

t =

(X

[ix)^sx

является случайной величиной с плотностью распределения вероят­ ности (2.4.14). Отсюда следует, что еще до получения выборки можно сделать некоторые вероятностные утверждения относи­ тельно величины t, такие, как

P{t^ty} = p { ^ j ^ < t v } = y , (3.3.1)

 

 

Статистический

 

анализ

и его

применения

125

И

 

 

 

 

 

 

 

 

 

 

P{tß<t<ty}

= P \t&<

* ~

^

X < f v

|

=

 

 

 

 

 

 

 

 

= P(t4)-P(tf>)

= y-P,

(3.3.2)

где индекс

у соответствует

верхнему,

a ß — нижнему

пределам

 

 

 

 

V

 

 

 

 

 

 

интегрирования в интеграле

j

р (t)

dt. Если в соотношении (3.3.2)

 

 

 

 

ß

 

 

 

t = О, то интервал по

индексы Y и ß

симметричны

относительно

t симметричен

(фиг. 3.3.1).

Чтобы

сделать

площадь под кривой

распределения на фиг. 3.3.1, в вне интервала равной а/2 4- а/2 ==

= а, было положено ß = 1 — у = а/2.

Таким

образом,

 

Р

{ * а / 2 < - £ = ^ - < * і - в / 2 }

= 1 - а .

 

(3.3.3)

После того как получена выборка, величины

X

и sx

рассма­

триваются как фиксированные числа; вероятностные

утверждения

теперь уже неприменимы, поскольку величина (X \ix)/sx

либо

лопадает внутрь

интервала (Р — 1), либо лежит

вне его = 0),

126

Глава S

хотя и неизвестно,

какая из этих ситуаций имеет место. Одна­

ко сам интервал является случайной переменной. Если много­

кратно

повторять

выборки и для каждой выборки вычислять X

и Sx,

то следует

ожидать, что величина (X \ix)lsx попадет

внутрь заданного интервала для приблизительно такой части выборок, которая указана в правой части вероятностных соотно­

шений. Именно в этом

смысле говорят о самом интервале как

о случайной

величине,

который содержит

параметр

ансамбля х

с заданной

степенью

неопределенности.

Такое

утверждение

является доверительным, и соответствующий интервал называется доверительным, а степень доверия, соответствующая этому довери­

тельному утверждению,

называется

доверительной

вероятно­

стью.

 

 

 

 

Симметричный доверительный интервал для среднего по ан­

самблю можно

получить,

преобразуя

аргумент Р в

соотноше­

нии (3.3.3) с

учетом равенства

 

 

—h-a/2 = ta/2, (h-a/2 — положительное значение t).

 

— ti-a/2 Sx <L X — \lx

 

^h-a/2sxi

 

X

+ h-aß^x

>

V-X~>

X

h-a/2Sx

 

или

 

 

 

 

 

 

 

X

*i-a/2Sjp

<

M-X <

X

+

*l-a/2*r

(3.3.4)

Доверительная вероятность для интервала, заданного неравен­ ством (3.3.4), равна 1 — а.

Подобный интервал можно получить для среднего по ансамблю,

исходя из распределения

(2.4.7) для

случайной величины

 

 

и=

х - о^- х

,

 

 

 

 

 

X

 

 

 

если известна

величина

ох-

 

 

 

 

X

— С/і-а /20-2<

]Хх <

X

+ С/і-а/20-j.

(3.3.5>

Чтобы найти доверительный интервал для дисперсии по ансамблю а\ случайной величины X, можно использовать ^ - р а с ­ пределение и записать

Р hl < х2 <

=

Р Ш - Р Ш-

(3.3.6)

На фиг. 3.3.2 графически

дана

интерпретация

вероятностей

в равенстве (3.3.6) как площадей под кривой плотности ^ - р а с п р е ­ деления.

Статистический

анализ и его

применения

127

Подставив x2 из выражения (2.4.10) в аргумент равенства (3.3.J6), получаем в качестве аргумента

преобразуя который находим доверительный интервал для ахі

4 - >

2

 

 

 

 

 

2

 

 

2

 

 

 

Если

 

 

 

а

 

T = l

— -5-,

T

 

 

 

 

то

 

 

 

 

 

 

(3.3.7)

Хі _ а/2

 

 

'Xâ/2

с доверительной вероятностью

1

а .

Аналогично можно рассмотреть и другие средние по ансамблю,

если известно распределение

их

выборочных оценок. Если д а ж е

Ф и г . 3.3.2. Графиче­

Площа.дб=Р(Х*)-Р(Х*у

 

ское представление веро­

 

ятностного соотношения

 

(3.3.6) для %2 -распреде-

 

ления-

 

распределение выборочной статистики неизвестно, доверительный интервал для любой случайной величины X с конечной диспер­ сией ох можно определить, используя неравенство Чебышева. Оно устанавливает, что вероятность получить значение нормиро­ ванной величины, равное или меньшее чем число h, по крайней

мере равна

1

(ï/h2).

 

 

Пусть

/

(X)

— неотрицательная

функция

случайной пере­

менной X.

Прежде

всего.покажем,

что если Щ {/ (X)} существует,

то для любой

положительной постоянной

с

 

 

 

 

Р { / ( Х ) > с } <

^ { / е ( Х ) } .

(3.3.8)

128 Глава 3

Пусть

I — набор X, для

которых

/ (Х)>-с,

а

— набор

остав­

шихся

X. Тогда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

оо

 

 

 

 

 

 

 

 

 

 

 

 

 

Ш { /

(X)}

=

] / ( * ) / >

(х)

dx

 

=

 

 

 

 

 

 

 

 

 

 

 

—со

 

=

j /

(ж) р

(х) dx

- f j

/

(ж) р (ж) dr.

(3.3.9)

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

 

 

І*

 

 

 

 

 

Т а к

как каждый интеграл в правой части этого равенства

неотри­

цателен,

то

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Ш {/ (X)}

>

j

/ (*) p (X) dx.

 

 

 

 

 

 

 

 

 

 

 

 

I

 

 

 

 

 

 

 

 

По

определению,

/ (X) >• с

для

некоторого

с;

следовательно,

 

 

 

g

{/ (X)} >

с j

р (ж) dx =

{/ (X) >

с},

(3.3.10)

откуда приходим к неравенству (3.3.8).

 

 

 

 

 

Полагая

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/ (X) = (X -

рх)\

с = Ä'ofc,

Л >

1,

 

 

получаем

неравенство

Чебышева,

так

как

 

 

 

 

 

 

 

 

р

{(X-

 

>

 

 

<

* { ( f 2

7 / x ) 2

}

=

ж

 

 

и

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

P{\X-\ix\>hox}<-^.

 

 

 

 

 

(3.3.11)

В качестве примера использования неравенства

(3.3.11) для h=2

отметим,

что

по

крайней

 

мере

 

1 — (V 2 ) 2

SU

всех

значений

случайной величины X должно лежать в пределах ±2aj

около

\хх независимо от вида распределения X .

 

 

 

 

 

Теперь на конкретном примере вычислим доверительные

интер­

валы для среднего и дисперсии по ансамблю.

 

 

 

Пример 3.3.1. Доверительные интервалы для среднего

значения

 

 

 

 

и дисперсии по ансамблю

 

 

 

 

 

Требуется найти доверительные интервалы для среднего и дис­ персии по ансамблю случайной величины X с нормальным законом распределения, опираясь на следующие результаты титрования:

Значения X, смЗ

76,48

76,25

76,43

76,48

77,20

76,48

76.4576.60

Статистический анализ и его применения 129

Решение

X = ±2iXi =

7Q№ö,

 

0,5543

0,0790

см6 , v = n — 1 = 7 ,

 

s - =

e 0 , 0 9 9 см*.

Используя табл. В.З приложения В для 95%-ной доверительной вероятности (1 — а = 0,95; а/2 = 0,025) и для симметричного интервала, находим £0 ,975 = 2,36.

Симметричный доверительный интервал, согласно соотноше­ нию (3.3.4), определяется неравенством

76,55 - 0,099-2,36 < и* < 76,55 + 0,099-2,36,

ИЛИ

76,31 < и* < 76,79.

Этот доверительный интервал интерпретируется следующим обра­ зом: с вероятностью 0,95 интервал между 76,31 и 76,79 содержит

среднее

по

ансамблю.

 

 

 

 

 

 

 

Доверительный интервал для ах

с а =

0,05,

согласно

нера­

венству

(3.3.7),

имеет вид

 

 

 

 

 

 

 

 

 

 

 

 

svv

< о і <

4-ѵ

 

 

 

 

 

 

 

 

 

 

 

Хсс/2

 

 

 

 

 

 

 

 

 

 

Х і - а / 2

 

 

 

 

 

 

 

 

 

 

0,0790-7

<<&<

0,0790-7

'

 

 

 

 

 

 

 

 

 

16..013

1,690

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0,03452 < о х <

0,3262.

 

 

 

 

Пример

3.3.2. Ошибка в непрерывном процессе

 

 

 

 

Исследуем подсистему, блок-схема которой изображена

на

фиг. П.3.3.2. Ошибки на входах и выходе,

указанные со знаками

 

 

 

 

A ^ а,

кг/ч

 

С — с, кг/ч

 

 

 

 

 

 

 

В-Ь,

кг/ч

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Ф и г . П . 3 . 3 . 2 .

 

 

 

 

 

плюс и минус, соответствуют пределам

доверительного

интер­

вала

с

некоторой

доверительной

вероятностью

1 — а.

Вели­

чины

А ,

[л в,

U-C — средние по

ансамблю скорости

потоков.

Имеют место ненаблюдаемые ошибки измерений в А и В,

гА

и

е в ,

которые являются случайными величинами с нормальным

законом

130

Глава 3

распределения с нулевым средним и дисперсиями соответственно of. и of . Из А взята случайная выборка и независимо от нее взята случайная выборка из В; по этим выборкам вычислены сле­ дующие выборочные статистики:

 

Выборочное

Выборочное

Число

Вещество

стандартное

среднее, кг/ч

отклонение,

значений

 

 

кг/ч

в выборке

А

10

0,20

5

В

5

0,10

5

По данной информации об А и В требуется найти доверитель­ ный интервал для с с доверительной вероятностью 1 — а = 0,95.

Решение

Из баланса веществ (для математических ожиданий)

+в = Цс>

так что С = А -\- В = 10 + 5 = 15 кг/ч. Кроме того, так как переменные независимы, дисперсия С равна [согласно равен­ ству (2.2.9а)]

Ѵаг {С} = Ѵаг {Л} + Ѵаг {В}

или [с учетом равенства

(2.4.10)]

 

 

 

 

 

 

s*cvc

s2AvA

 

s%vB

 

 

 

 

 

X2

 

X2

'

X2

 

 

Дисперсию

Ѵаг{С} можно оценить следующим образом:

 

 

 

sb= MQ,2Q)»+4.<o.ia)»

= 0 ; 0 2 5 > Ѵ с =

= 8 >

 

Доверительный интервал для цс

[согласно неравенству

(3.3.4)]

при £i_a/2

=

2,306

имеет вид

 

 

 

 

15

-

2,31 -(0,025)1/2

<

ц с

<

15 + 2,31 -(0,

025)1 /2 ,

 

 

 

 

14,64

<

цс <

15,36.

 

 

 

 

 

3.4. П Р О В Е Р К А

Г И П О Т Е З

 

 

Проверка

гипотез

тесно связана с интервальным оцениванием,

но имеет несколько другой

аспект. При проверке

гипотез

подвер­

гается испытанию некоторая гипотеза Н0 в сравнении с одной или большим числом альтернативных гипотез Ну, Н2, . . ., которые явно формулируются или подразумеваются. Например, гипоте-

Статистический

анализ и его

применения

131

зой Н0 может быть утверждение, что ц = 16; альтернативные гипо­ тезы — Hi', il > 16 и Н2: ц < 16. Или испытываемая гипотеза может состоять в том, что не будет никакого улучшения произво­ дительности некоторого процесса, а альтернативная гипотеза предполагает, что будет некоторое улучшение.

Пусть известна плотность распределения вероятности р (Ѳ) для оценки Ѳ (которая является несмещенной оценкой Ѳ).^Пред­ положив, что описание случайной переменной Ѳ с помощью р (Ѳ) корректно и что значение параметра ансамбля Ѳ равно, скажем,

 

р(Ѳ)

Область

J Область

приня-^ I

Область

 

 

 

 

неприня-

г тия

гипотезы

1

непринятия

 

 

 

 

тия

 

 

 

 

 

 

 

 

 

 

 

Площадб=\

 

/Площадь

»

\

1

Площадь=&.

 

 

 

 

-g.

/

= (1-се)

 

\

1

\

 

 

 

 

\

У

 

 

 

 

 

 

 

 

 

 

.,/ЖЖ

 

 

 

 

 

 

 

 

Ф и г . 3.4.1. Области п р и н я т и я

и непринятия

гипотезы для симметричного

 

 

 

 

 

 

к р и т е р и я .

 

 

 

00 ,

зададим следующий вопрос: если в качестве истинной гипотезы

принять, что Ѳ = Ѳ0 , как сильно

должна

отличаться величина Ѳ

от Ѳ0 , чтобы эта гипотеза была отвергнута как ложная?

Ответить

на

этот вопрос

помогает

фиг. 3.4.1. Если гипотеза Ѳ =

Ѳ0 верна,

то

Ш { Ѳ } =

Ѳ0 , как показано на

этой

фигуре. Вероятность того,

что значение

Ѳ окажется

равным

или меньшим, чем Ѳа/2> равна

 

 

 

 

 

 

J a/2

 

 

 

 

 

 

 

 

Р{в<Ѳа/2}

=

р (Ѳ)гіѲ

= •

(3.4.1)

и

вследствие

 

симметрии

 

 

 

 

 

 

 

 

 

 

P{Q>Qi-aj2}=

 

] р ( Ѳ ) е Ю = - 5 - .

(3.4.2)

е1 - а / 2

Дл я того чтобы принять некоторое решение относительно этой гипотезы, нужно еще до получения выборки задать некоторое

число а,

которое

называется уровнем

значимости

критерия;

обычно а

выбирается произвольным, но достаточно малым, с тем

чтобы можно было

считать совершенно

невероятным,

что Ѳ пре-

Соседние файлы в папке книги из ГПНТБ