книги из ГПНТБ / Химмельблау Д. Анализ процессов статистическими методами
.pdf122 |
Глава 3 |
после чего можно из выраженшг(ж) найти оценку <а параметра со. Если требуется, можно вычислить и асимптотические дисперсии оценок.
3.2.3. Оценивание по Байесу
Современный байесовский подход к проблеме оценивания основывается на использовании априорной информации, т. е. используются известные или предполагаемые распределения оце ниваемых параметров. Хотя классический подход к этой проблеме и подход Байеса в какой-то мере различны, они обладают некото рыми общими чертами. Оба подхода требуют:
1) |
существования набора параметров (значений); |
2) |
возможности экспериментирования с целью получения неко |
торых |
сведений о наборе параметров; |
3)взятия выборок для получения информации о случайных величинах;
4)постулирования правил оптимального выбора (в том смысле, что в результате принятого решения получатся оптимальные следствия).
Главное различие между этими подходами состоит в том, что при классическом подходе решения принимают на основе некото рой выборки, зависящей от значений параметров и типа экспери мента. При байесовском подходе анализ задачи начинается с опре деления плотности распределения априорной вероятности значе ний параметров на основе прошлого опыта и всей другой доступ ной информации. Сам параметр рассматривается как случайная величина. Затем для принятия определенного решения исполь зуется функция риска (или потерь), связанная с ценностью экспе риментальной информации, наряду с теоремой Байеса [выраже ние (А.2) приложения А].
Если функция риска не известна, то, используя теорему Байеса, можно максимизировать само апостериорное распределение. После того как появится выборочная информация, исследователь снова использует плотность распределения априорной вероятно сти и теорему Байеса для получения плотности распределения апостериорной вероятности, описывающей его новый уровень знаний о параметре. Апостериорная вероятность служит основой для принятия любых решений, а также априорной вероятностью
для |
последующего |
анализа. |
|
||
Предположим, |
что: |
|
|
|
|
1) |
проведено несколько |
наблюдений случайной величины X , |
|||
обозначенных вектором |
X; |
связь X — |
|||
2) |
имеет место |
некоторая |
общая функциональная |
||
= /(Ѳ, е) между величиной |
X и набором параметров |
(вектором), |
|
Статистический |
анализ и его применения |
123 |
|
обозначаемым Ѳ, которые требуется оценить; 8—вектор |
ненаблю |
|||
даемых |
случайных ошибок; |
|
|
|
3) |
аналитический |
вид |
совместной плотности распределения |
|
вероятности р (Ѳ, е) |
известен. |
|
||
Оценка Байеса Ѳ параметров Ѳ находится следующим |
образом. |
Чтобы определить плотность распределения апостериорной веро
ятности р (ѲI х), применяется |
либо |
теорема Байеса [выражение |
|||
(А.2) приложения А] |
|
|
|
|
|
|
р |
( Ѳ І х ) = |
Р ^ Ш т , |
(3.2.4) |
|
где р (х IѲ) = |
L (Ѳ f x), |
либо |
может |
оказаться |
более удобным |
использовать |
формулу |
(2.1.6): |
|
|
|
|
|
р(Ѳ\х) |
= ^ - . |
(3.2.5) |
В любом случае в качестве первого шага необходимо написать выражение для плотности распределения вероятности р{х), что можно сделать, по крайней мере в принципе, опираясь на инфор
мацию, задаваемую известной |
плотностью распределения р |
(Ѳ, е) |
и известной функциональной |
связью между X, Ѳ и 8. Если |
для |
получения плотности распределения апостериорной вероятности используется выражение (3.2.4), вторым шагом является вычисле ние р (x I Ѳ). Эту условную плотность также можно получить из известных соотношений при условиях 2) и 3). Третий шаг состоит в том, чтобы вычислить р (Ѳ) по р (Ѳ, s), интегрируя по всем значениям е. Если используется соотношение (3.2.5), плот ность распределения вероятности р (Ѳ, х) получается из известных соотношений в предположениях 2) и 3), однако аналитическое рас смотрение в этом случае затруднено или просто невозможно.
Последним шагом в обоих случаях после того, как записана плотность распределения апостериорной вероятности, содержащая все сведения о Ѳ, полученные из эксперимента, является в неко
тором смысле |
оптимизация |
р (Ѳ | |
х). В |
частном случае, |
когда |
|
требуется максимизировать |
накопленную |
вероятность |
Р {Ѳ = Ѳ}, |
|||
максимизируют |
саму плотность р |
(Ѳ | х) |
относительно |
Ѳ, |
чтобы |
получить значение Ѳ, соответствующее максимуму на кривой плотности (моду). Если плотность распределения априорной вероятности р (Ѳ) равномерна, такая оценка совпадает с макси мально правдоподобной оценкой. Можно использовать и многие другие методы оптимизации, однако они выходят за рамки настоя
щего |
рассмотрения. Примеры оценивания по Байесу приведены |
в гл. |
8 и 9. |
124 |
Глава 3 |
3.3. П О Л У Ч Е Н И Е |
И Н Т Е Р В А Л Ь Н Ы Х О Ц Е Н О К |
В двух предыдущих разделах были описаны некоторые спо собы получения точечных оценок параметров и некоторые крите рии оценки их качества. Значительно более глубокое утверждение, чем в случае точечной оценки, можно сделать, оценивая довери тельный интервал. Доверительный интервал вычисляется по данным из некоторой выборки; фиксированная величина пара метра ансамбля заключена между границами этого интервала,
называемыми доверительными пределами, с некоторой |
заданной |
||
степенью достоверности, |
называемой доверительной |
вероятно |
|
стью. Джонсон и Леоне |
проводят поясняющую аналогию |
между |
|
доверительным интервалом и бросанием подковы [4]: |
|
|
|
«Доверительный интервал и связанные с ним понятия |
несколько |
||
напоминают игру с бросанием, подковы. Рассматриваемым |
пара |
метром здесь служит кол (он всегда неподвижен вопреки ошибоч ному мнению некоторых игроков). Подкова служит доверитель ным интервалом. Игроку, который из 100 бросков подковы попадал на кол в среднем 90 раз, можно приписать 90%-ную достовернось (доверительную вероятность) попадания на кол. Доверитель ный интервал, подобно подкове, представляет собой переменную величину. Параметр, как и кол, является постоянной. Для
любого отдельного бросания (для |
отдельной интервальной оценки) |
||||
кол |
(или |
параметр) |
оказывается |
внутри подковы или вне ее. |
|
Можно сделать некоторое вероятностное утверждение |
о перемен |
||||
ных величинах, связанных с положениями краев подковы.» |
|||||
Общая |
процедура |
получения |
интервальной оценки |
такова: |
|
1. |
Некоторое вероятностное утверждение записывается в мате |
матических символах, содержащих рассматриваемый параметр
ансамбля. |
|
|
|
|
|
|
|
|
|
|
|
|||
2. |
Аргумент |
преобразуется |
так, |
чтобы |
параметр |
|
ансамбля |
|||||||
был |
заключен между |
статистиками, |
которые |
можно |
вычислить |
|||||||||
по |
выборке. |
|
|
|
|
|
|
|
|
|
|
|
||
В качестве примера получим интервальную оценку для неизве |
||||||||||||||
стного |
среднего |
по ансамблю |
\іх |
случайной |
величины |
X, |
распре |
|||||||
деленной |
по нормальному закону, |
используя |
выборочное |
сред |
||||||||||
нее |
X |
и |
выборочную |
дисперсию |
s\. |
В разд. |
2.4.2, |
где |
описано |
|||||
^-распределение, |
отмечалось, |
что статистика |
t = |
(X |
— |
[ix)^sx |
является случайной величиной с плотностью распределения вероят ности (2.4.14). Отсюда следует, что еще до получения выборки можно сделать некоторые вероятностные утверждения относи тельно величины t, такие, как
P{t^ty} = p { ^ j ^ < t v } = y , (3.3.1)
|
|
Статистический |
|
анализ |
и его |
применения |
125 |
|||
И |
|
|
|
|
|
|
|
|
|
|
P{tß<t<ty} |
= P \t&< |
* ~ |
^ |
X < f v |
| |
= |
|
|
|
|
|
|
|
|
|
= P(t4)-P(tf>) |
= y-P, |
(3.3.2) |
|||
где индекс |
у соответствует |
верхнему, |
a ß — нижнему |
пределам |
||||||
|
|
|
|
V |
|
|
|
|
|
|
интегрирования в интеграле |
j |
р (t) |
dt. Если в соотношении (3.3.2) |
|||||||
|
|
|
|
ß |
|
|
|
t = О, то интервал по |
||
индексы Y и ß |
симметричны |
относительно |
||||||||
t симметричен |
(фиг. 3.3.1). |
Чтобы |
сделать |
площадь под кривой |
распределения на фиг. 3.3.1, в вне интервала равной а/2 4- а/2 ==
= а, было положено ß = 1 — у = а/2. |
Таким |
образом, |
|
||
Р |
{ * а / 2 < - £ = ^ - < * і - в / 2 } |
= 1 - а . |
|
(3.3.3) |
|
После того как получена выборка, величины |
X |
и sx |
рассма |
||
триваются как фиксированные числа; вероятностные |
утверждения |
||||
теперь уже неприменимы, поскольку величина (X — \ix)/sx |
либо |
||||
лопадает внутрь |
интервала (Р — 1), либо лежит |
вне его (Р = 0), |
126 |
Глава S |
хотя и неизвестно, |
какая из этих ситуаций имеет место. Одна |
ко сам интервал является случайной переменной. Если много
кратно |
повторять |
выборки и для каждой выборки вычислять X |
и Sx, |
то следует |
ожидать, что величина (X — \ix)lsx попадет |
внутрь заданного интервала для приблизительно такой части выборок, которая указана в правой части вероятностных соотно
шений. Именно в этом |
смысле говорят о самом интервале как |
|||
о случайной |
величине, |
который содержит |
параметр |
ансамбля \іх |
с заданной |
степенью |
неопределенности. |
Такое |
утверждение |
является доверительным, и соответствующий интервал называется доверительным, а степень доверия, соответствующая этому довери
тельному утверждению, |
называется |
доверительной |
вероятно |
|
стью. |
|
|
|
|
Симметричный доверительный интервал для среднего по ан |
||||
самблю можно |
получить, |
преобразуя |
аргумент Р в |
соотноше |
нии (3.3.3) с |
учетом равенства |
|
|
—h-a/2 = ta/2, (h-a/2 — положительное значение t).
|
— ti-a/2 Sx <L X — \lx |
|
^h-a/2sxi |
|
|||
X |
+ h-aß^x |
> |
V-X~> |
X |
— |
h-a/2Sx |
|
или |
|
|
|
|
|
|
|
X |
— *i-a/2Sjp |
< |
M-X < |
X |
+ |
*l-a/2*r |
(3.3.4) |
Доверительная вероятность для интервала, заданного неравен ством (3.3.4), равна 1 — а.
Подобный интервал можно получить для среднего по ансамблю,
исходя из распределения |
(2.4.7) для |
случайной величины |
||||
|
|
и= |
х - о^- х |
, |
|
|
|
|
|
X |
|
|
|
если известна |
величина |
ох- |
|
|
|
|
X |
— С/і-а /20-2< |
]Хх < |
X |
+ С/і-а/20-j. |
(3.3.5> |
Чтобы найти доверительный интервал для дисперсии по ансамблю а\ случайной величины X, можно использовать ^ - р а с пределение и записать
Р hl < х2 < |
= |
Р Ш - Р Ш- |
(3.3.6) |
На фиг. 3.3.2 графически |
дана |
интерпретация |
вероятностей |
в равенстве (3.3.6) как площадей под кривой плотности ^ - р а с п р е деления.
Статистический |
анализ и его |
применения |
127 |
Подставив x2 из выражения (2.4.10) в аргумент равенства (3.3.J6), получаем в качестве аргумента
преобразуя который находим доверительный интервал для ахі
4 - > |
2 |
|
|
Xß |
|
|
|
2 |
|
|
2 |
|
|
|
Xß |
Если |
|
|
|
а |
|
T = l |
— -5-, |
T |
|
||
|
|
|
|
то |
|
|
|
|
|
|
(3.3.7) |
Хі _ а/2 |
|
|
'Xâ/2 |
с доверительной вероятностью |
1 — |
а . |
|
Аналогично можно рассмотреть и другие средние по ансамблю, |
|||
если известно распределение |
их |
выборочных оценок. Если д а ж е |
Ф и г . 3.3.2. Графиче |
Площа.дб=Р(Х*)-Р(Х*у |
|
|
ское представление веро |
|
ятностного соотношения |
|
(3.3.6) для %2 -распреде- |
|
ления- |
|
распределение выборочной статистики неизвестно, доверительный интервал для любой случайной величины X с конечной диспер сией ох можно определить, используя неравенство Чебышева. Оно устанавливает, что вероятность получить значение нормиро ванной величины, равное или меньшее чем число h, по крайней
мере равна |
1 |
— |
(ï/h2). |
|
|
|
Пусть |
/ |
(X) |
— неотрицательная |
функция |
случайной пере |
|
менной X. |
Прежде |
всего.покажем, |
что если Щ {/ (X)} существует, |
|||
то для любой |
положительной постоянной |
с |
||||
|
|
|
|
Р { / ( Х ) > с } < |
^ { / е ( Х ) } . |
(3.3.8) |
128 Глава 3
Пусть |
I — набор X, для |
которых |
/ (Х)>-с, |
а |
— набор |
остав |
|||||||||||
шихся |
X. Тогда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
оо |
|
|
|
|
|
|
|
|
|
|
|
|
|
Ш { / |
(X)} |
= |
] / ( * ) / > |
(х) |
dx |
|
= |
|
|
|
|
|
|
|
|
||
|
|
|
—со |
|
= |
j / |
(ж) р |
(х) dx |
- f j |
/ |
(ж) р (ж) dr. |
(3.3.9) |
|||||
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
5 |
|
|
|
|
І* |
|
|
|
|
|
Т а к |
как каждый интеграл в правой части этого равенства |
неотри |
|||||||||||||||
цателен, |
то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
Ш {/ (X)} |
> |
j |
/ (*) p (X) dx. |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
I |
|
|
|
|
|
|
|
|
По |
определению, |
/ (X) >• с |
для |
некоторого |
с; |
следовательно, |
|||||||||||
|
|
|
g |
{/ (X)} > |
с j |
р (ж) dx = |
{/ (X) > |
с}, |
(3.3.10) |
||||||||
откуда приходим к неравенству (3.3.8). |
|
|
|
|
|
||||||||||||
Полагая |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
/ (X) = (X - |
рх)\ |
с = Ä'ofc, |
Л > |
1, |
|
|
||||||||
получаем |
неравенство |
Чебышева, |
так |
как |
|
|
|
|
|
||||||||
|
|
|
р |
{(X- |
|
> |
|
|
< |
* { ( f 2 |
7 / x ) 2 |
} |
= |
ж |
|
|
|
и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
P{\X-\ix\>hox}<-^. |
|
|
|
|
|
(3.3.11) |
||||||
В качестве примера использования неравенства |
(3.3.11) для h=2 |
||||||||||||||||
отметим, |
что |
по |
крайней |
|
мере |
|
1 — (V 2 ) 2 |
—SU |
всех |
значений |
|||||||
случайной величины X должно лежать в пределах ±2aj |
около |
||||||||||||||||
\хх независимо от вида распределения X . |
|
|
|
|
|
||||||||||||
Теперь на конкретном примере вычислим доверительные |
интер |
||||||||||||||||
валы для среднего и дисперсии по ансамблю. |
|
|
|
||||||||||||||
Пример 3.3.1. Доверительные интервалы для среднего |
значения |
||||||||||||||||
|
|
|
|
и дисперсии по ансамблю |
|
|
|
|
|
Требуется найти доверительные интервалы для среднего и дис персии по ансамблю случайной величины X с нормальным законом распределения, опираясь на следующие результаты титрования:
Значения X, смЗ
76,48 |
76,25 |
76,43 |
76,48 |
77,20 |
76,48 |
76.4576.60
Статистический анализ и его применения 129
Решение
X = ±2iXi = |
7Q№ö, |
|
0,5543 |
0,0790 |
см6 , v = n — 1 = 7 , |
|
||
s - = |
e 0 , 0 9 9 см*. |
Используя табл. В.З приложения В для 95%-ной доверительной вероятности (1 — а = 0,95; а/2 = 0,025) и для симметричного интервала, находим £0 ,975 = 2,36.
Симметричный доверительный интервал, согласно соотноше нию (3.3.4), определяется неравенством
76,55 - 0,099-2,36 < и* < 76,55 + 0,099-2,36,
ИЛИ
76,31 < и* < 76,79.
Этот доверительный интервал интерпретируется следующим обра зом: с вероятностью 0,95 интервал между 76,31 и 76,79 содержит
среднее |
по |
ансамблю. |
|
|
|
|
|
|
|
|||
Доверительный интервал для ах |
с а = |
0,05, |
согласно |
нера |
||||||||
венству |
(3.3.7), |
имеет вид |
|
|
|
|
|
|
|
|||
|
|
|
|
|
svv |
< о і < |
4-ѵ |
|
|
|
|
|
|
|
|
|
|
|
Хсс/2 |
|
|
|
|
|
|
|
|
|
|
|
Х і - а / 2 |
|
|
|
|
|
||
|
|
|
|
|
0,0790-7 |
<<&< |
0,0790-7 |
' |
|
|
|
|
|
|
|
|
|
16..013 |
1,690 |
|
|
|
|
||
|
|
|
|
|
|
— |
|
|
|
|
|
|
|
|
|
|
|
0,03452 < о х < |
0,3262. |
|
|
|
|
||
Пример |
3.3.2. Ошибка в непрерывном процессе |
|
|
|
|
|||||||
Исследуем подсистему, блок-схема которой изображена |
на |
|||||||||||
фиг. П.3.3.2. Ошибки на входах и выходе, |
указанные со знаками |
|||||||||||
|
|
|
|
A ^ а, |
кг/ч |
|
С — с, кг/ч |
|
|
|
||
|
|
|
|
В-Ь, |
кг/ч |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
Ф и г . П . 3 . 3 . 2 . |
|
|
|
|
|
|
плюс и минус, соответствуют пределам |
доверительного |
интер |
||||||||||
вала |
с |
некоторой |
доверительной |
вероятностью |
1 — а. |
Вели |
||||||
чины |
|х А , |
[л в, |
U-C — средние по |
ансамблю скорости |
потоков. |
|||||||
Имеют место ненаблюдаемые ошибки измерений в А и В, |
гА |
и |
е в , |
|||||||||
которые являются случайными величинами с нормальным |
законом |
130 |
Глава 3 |
распределения с нулевым средним и дисперсиями соответственно of. и of . Из А взята случайная выборка и независимо от нее взята случайная выборка из В; по этим выборкам вычислены сле дующие выборочные статистики:
|
Выборочное |
Выборочное |
Число |
Вещество |
стандартное |
||
среднее, кг/ч |
отклонение, |
значений |
|
|
|
кг/ч |
в выборке |
А |
10 |
0,20 |
5 |
В |
5 |
0,10 |
5 |
По данной информации об А и В требуется найти доверитель ный интервал для \іс с доверительной вероятностью 1 — а = 0,95.
Решение
Из баланса веществ (для математических ожиданий)
+|Л в = Цс>
так что С = А -\- В = 10 + 5 = 15 кг/ч. Кроме того, так как переменные независимы, дисперсия С равна [согласно равен ству (2.2.9а)]
Ѵаг {С} = Ѵаг {Л} + Ѵаг {В}
или [с учетом равенства |
(2.4.10)] |
|
|
|
|||||
|
|
|
s*cvc |
s2AvA |
|
s%vB |
|
|
|
|
|
|
X2 |
|
X2 |
' |
X2 |
|
|
Дисперсию |
Ѵаг{С} можно оценить следующим образом: |
|
|||||||
|
|
sb= MQ,2Q)»+4.<o.ia)» |
= 0 ; 0 2 5 > Ѵ с = |
= 8 > |
|
||||
Доверительный интервал для цс |
[согласно неравенству |
(3.3.4)] |
|||||||
при £i_a/2 |
= |
2,306 |
имеет вид |
|
|
|
|
||
15 |
- |
2,31 -(0,025)1/2 |
< |
ц с |
< |
15 + 2,31 -(0, |
025)1 /2 , |
|
|
|
|
|
14,64 |
< |
цс < |
15,36. |
|
|
|
|
|
|
3.4. П Р О В Е Р К А |
Г И П О Т Е З |
|
|
|||
Проверка |
гипотез |
тесно связана с интервальным оцениванием, |
|||||||
но имеет несколько другой |
аспект. При проверке |
гипотез |
подвер |
гается испытанию некоторая гипотеза Н0 в сравнении с одной или большим числом альтернативных гипотез Ну, Н2, . . ., которые явно формулируются или подразумеваются. Например, гипоте-
Статистический |
анализ и его |
применения |
131 |
зой Н0 может быть утверждение, что ц = 16; альтернативные гипо тезы — Hi', il > 16 и Н2: ц < 16. Или испытываемая гипотеза может состоять в том, что не будет никакого улучшения произво дительности некоторого процесса, а альтернативная гипотеза предполагает, что будет некоторое улучшение.
Пусть известна плотность распределения вероятности р (Ѳ) для оценки Ѳ (которая является несмещенной оценкой Ѳ).^Пред положив, что описание случайной переменной Ѳ с помощью р (Ѳ) корректно и что значение параметра ансамбля Ѳ равно, скажем,
|
р(Ѳ) |
Область |
J Область |
приня-^ I |
Область |
|
|||||
|
|
|
неприня- |
г тия |
гипотезы |
1 |
непринятия |
|
|||
|
|
|
тия |
|
|
|
|
|
|
|
|
|
|
|
Площадб=\ |
|
/Площадь |
» |
\ |
1 |
Площадь=&. |
|
|
|
|
|
-g. |
/ |
= (1-се) |
|
\ |
1 |
\ |
|
|
|
|
|
\ |
У |
|
|
|
|
|
|
|
|
|
|
.,/ЖЖ |
|
|
|
|
|
|
|
|
Ф и г . 3.4.1. Области п р и н я т и я |
и непринятия |
гипотезы для симметричного |
|||||||||
|
|
|
|
|
|
к р и т е р и я . |
|
|
|
||
00 , |
зададим следующий вопрос: если в качестве истинной гипотезы |
||||||||||
принять, что Ѳ = Ѳ0 , как сильно |
должна |
отличаться величина Ѳ |
|||||||||
от Ѳ0 , чтобы эта гипотеза была отвергнута как ложная? |
Ответить |
||||||||||
на |
этот вопрос |
помогает |
фиг. 3.4.1. Если гипотеза Ѳ = |
Ѳ0 верна, |
|||||||
то |
Ш { Ѳ } = |
Ѳ0 , как показано на |
этой |
фигуре. Вероятность того, |
|||||||
что значение |
Ѳ окажется |
равным |
или меньшим, чем Ѳа/2> равна |
||||||||
|
|
|
|
|
|
J a/2 |
|
|
|
|
|
|
|
|
Р{в<Ѳа/2} |
= |
р (Ѳ)гіѲ |
= • |
(3.4.1) |
||||
и |
вследствие |
|
симметрии |
|
|
|
|
|
|
|
|
|
|
|
P{Q>Qi-aj2}= |
|
] р ( Ѳ ) е Ю = - 5 - . |
(3.4.2) |
е1 - а / 2
Дл я того чтобы принять некоторое решение относительно этой гипотезы, нужно еще до получения выборки задать некоторое
число а, |
которое |
называется уровнем |
значимости |
критерия; |
обычно а |
выбирается произвольным, но достаточно малым, с тем |
|||
чтобы можно было |
считать совершенно |
невероятным, |
что Ѳ пре- |