книги / Статистические методы анализа и обработки наблюдений

Предположим теперь, что проводится серия однородных испытаний. Наблюдения по этим испытаниям будут разли­ чаться из-за наличия случайных факторов, следовательно, каждый истинный результат в реальных условиях превра­ щается в случайную величину. Для того чтобы найти этот истинный результат или хотя бы дать для него достаточно «хорошую» оценку, необходимо иметь определенный запас сведений о соответствующей случайной величине.

Здесь возникают два основных вопроса. Во-первых, как связано распределение случайной величины с истинным результатом, во-вторых, как найти (или оценить) это распре­ деление по данным наблюдений?

Решение первого вопроса связано с характером ошибок, возникающих при наблюдениях. Различают ошибки трех видов.

1. С и с т е м э т и ч е с к а я о ш и б к а , т. е. ошибка, повторяющаяся и одинаковая во всей серии наблюдений. Эта ошибка связана обычно с неправильным ведением эксперимента: неисправными измерительными приборами, ошибкой экспериментатора, снимающего показания, нали­ чием неучтенных, но постоянных факторов (изменившаяся температура, повышенная влажность, наличие сильного маг­ нитного поля и т. п.).

2. Г р у б а я о ш и б к а , т. е. ошибка, связанная с резким нарушением условий испытания при отдельном наблюдении. Сюда относятся ошибки, связанные с толчком или поломкой прибора, грубым просчетом эксперимента­ тора, непредвиденным посторонним вмешательством и т. д. Если систематическая ошибка характеризуется в первую очередь своей неизменностью во всей серии испытаний, то грубая ошибка присутствует обычно не более, чем в одномдвух испытаниях и характерна именно своим отличием по величине от прочих рядовых ошибок.

тальные виды ошибок. В таком определении понятие слу­ чайности оказывается суженным по сравнению с предыду­ щим изложением. А именно, к случайным факторам (т. е. факторам, порождающим случайную ошибку) не относятся факторы с постоянным и факторы с однократным, но очень сильным действием. Такое сужение понятия случайности не нужно для теории, однако весьма полезно на практике; это, так сказать, первый наш шаг на пути получения слу­ чайных величин с «хорошими» распределениями.

С общей точки зрения ошибки всех трех видов являются случайными величинами, коль скоро порождающие их фак­ торы не учитываются и не включаются в число основных. При этом распределение случайных ошибок обладает одной важной особенностью — оно симметрично относительно ну­ ля. Это значит, что ошибки, противоположные по знаку, но одинаковые по абсолютной величине, встречаются оди­ наково часто (в среднем). Действительно, если такой сим­ метрии нет, то из рассматриваемой ошибки можно выделить систематическую (или соответствующую грубой ошибке) составляющую, так что остаток (а он-то и соответствует собственно случайной ошибке) уже будет иметь симмет­ ричное относительно нуля распределение.

Из симметричности распределения случайных ошибок вытекает важный вывод: при отсутствии систематических и грубых ошибок истинный результат наблюдения есть мате­ матическое ожидание соответствующей случайной вели­ чины. В связи с этим особую важность приобретает проблема освобождения результатов наблюдений от всех системати­ ческих и грубых ошибок.

При наличии систематической ошибки истинный резуль­ тат не совпадает с математическим ожиданием наблюдае­ мой случайной величины, отличаясь от него как раз на ве­ личину этой ошибки. Поэтому, если от систематической ошибки не удается избавиться, ее, как правило, можно учесть — для этого достаточно найти ее величину. Чтобы найти систематическую ошибку (или убедиться в ее отсут­ ствии) используют следующий прием: заменяют изучаемый объект другим, достаточно изученным (эталоном) и про­ водят над ним ту же серию испытаний. Если невозможно провести такую замену в целом, изучают систематические

ошибки каждого прибора в отдельности. Устранению систе­ матических ошибок помогает и более тщательный учет всех действующих факторов (температуры, давления, маг­ нитного поля и т. п.).

Грубые ошибки учитывать заранее невозможно, поэтому с ними нужно бороться в процессе самих испытаний, про­ водя их достаточно тщательно. Если же все-таки появляет­ ся сомнение в каком-либо из наблюдений, то соответствую­ щее значение ни в коем случае нельзя исправлять, подгоняя под остальные,— лучше совсем его отбросить. Однако и здесь нужно быть осторожным и не отбросить вместо грубой случайную ошибку, которая тоже может при некоторых условиях быть весьма значительной. Действительно, от­ брасывая хотя бы одну случайную ошибку, мы можем иска­ зить всю картину распределения таких ошибок (особенно при малом числе испытаний), что приведет нас в конечном счете к неверным общим выводам. Лучше всего при появле­ нии сомнений в отдельных результатах переделать всю серию наблюдений. В некоторых случаях при известном общем характере распределения ошибок можно использо­ вать специальные критерии, позволяющие совершенно объективно выделять в каждой серии наблюдений грубые ошибки, если таковые имеются (см., например, п. 6.5).

В дальнейших рассуждениях мы будем исходить из пред­ положения, что все систематические и грубые ошибки уч­ тены (в виде добавочных основных факторов) или отброше­ ны. Поэтому в качестве истинного результата всегда будет рассматриваться математическое ожидание соответствующей случайной величины. Но для того чтобы найти это мате­ матическое ожидание или хотя бы оценить его точность, нужно знать распределение случайной величины. Сущест­ вуют различные методы, позволяющие приближенно нахо­ дить функцию распределения случайной величины по результатам наблюдений. Частично об этом говорится в сле­ дующем пункте, частично — в п. 7.3. Во многих случаях без всяких вычислений удается определить тип распреде­ ления, используя определяющие свойства (см. п. 3.1) на­ блюдаемой случайной величины.

В подавляющем большинстве реальных испытаний наб­ людения имеют нормальное (или достаточно близкое к нему) распределение. Поэтому при обработке наблюдений

ствующего распределения; мы будем называть эту гипотезу

основной.

Проверять основную гипотезу можно двумя способами. По первому способу исследуются условия испытаний, из которых выводятся нужные определяющие свойства. Иногда здесь удается провести те же рассуждения, что и при иссле­ довании рассеяния снарядов (п. 3.1), иногда видна связь с последовательностью независимых испытаний. Но чаще всего помогает следующее общее утверждение ( т е о р е м а А . М . Л я п у н о в а): если случайная величина £ представ­ ляет собой сумму очень большого числа взаимно независимых случайных величин £lt £2, ..., £„, влияние каждой из которых на всю сумму ничтожно мало, то величина £ имеет распре­ деление, близкое к нормальному.

В этой теореме (доказательство которой слишком слож­ но для настоящей книги) не нужно знать ни величин £,-, ни их распределений, лишь бы этих величин было много, а сами они взаимно независимы и очень малы. Это и обеспе­ чивает теореме Ляпунова широкое применение на практи­ ке. Действительно, случайная ошибка является обычно суммарным результатом действия большого числа взаимно независимых случайных факторов. А это значит, что ее мож­ но рассматривать как сумму большого числа отдельных взаимно независимых «частных ошибок», соответствующих упомянутым факторам. Если эти «частные ошибки» очень малы (т. е. среди случайных факторов нет доминирующих), то в общей сумме они и дадут «почти» нормальное распре­ деление.

Нормальное распределение, благодаря своей детальной изученности, наиболее удобно для практической работы. Теорема Ляпунова заставляет нас по-инсму, чем раньше, взглянуть на то, какие факторы можно считать случайными (не учитывать), если мы хотим получить нормальное распре­ деление. А именно, к случайным желательно относить только те факторы, влияние которых в отдельности очень мало; исключение можно делать лишь для тех факторов, которые сами по себе (из каких-либо других соображений) дают нормальное распределение результатов.

Проверка основной гипотезы по описанному первому способу обладает важным достоинством — она может быть

проведена еще до наблюдений и поэтому не зависит от того, сколько проведено наблюдений и какие при этом получе­ ны результаты. К сожалению, такая проверка возможна не всегда. Иногда мы просто не в состоянии проверить, что все неучитываемые факторы действительно малы; в других случаях приходится обрабатывать статистический материал, полученный другими исследователями в различ­ ных лабораториях, и условия соответствующих испытаний вообще неизвестны. В подобных ситуациях основную ги­ потезу приходится проверять вторым способом — непосред­ ственно по результатам наблюдений. Соответствующие пра­ вила проверки носят название критериев согласия. Мы бу­ дем их рассматривать ниже, в п. 7.1; сейчас отметим только, что для получения достаточно надежных выводов критерии согласия требуют очень большого числа наблюдений.

4.3. Основная схема производства наблюдений (выбороч­ ный метод). Применение методов математической статистики к обработке наблюдений оказывается возможным благодаря тому, что производство наблюдений полностью соответ­ ствует основной схеме статистических испытаний, назы­

по результатам которого требуется описать всю генераль­ ную совокупность или какие-нибудь ее свойства, характе­ ристики.

Приведем простой пример применения выборочного ме­ тода. Завод, выпускающий электролампы, должен контро­ лировать свою продукцию, в частности, проверять долго­ вечность ламп. Чтобы проверить срок службы лампы, нуж­ но держать ее на испытательном стенде включенной до тех пор, пока она не перегорит. Если бы завод проверял все свои лампы, то его продукция не пошла бы дальше стенда. Из создавшегося положения находят простой выход: от­ бирают, скажем, одну лампу на тысячу и проверяют только отобранные лампы. В этом случае по долговечности

Перейдем к изучению связи между наблюдениями и об­ щим выборочным методом. Будем считать, что при каждом наблюдении, помимо контрольных признаков, отмечается один количественный результат (подсчет или измерение). Результаты любой серии наблюдений будут случайным образом колебаться вокруг истинного результата. Как уже указывалось в предыдущем пункте, это означает, что с истин­ ным результатом связана некоторая случайная величина и каждое реальное наблюдение дает одно из значений этой величины.

Получается следующая абстрактная схема производства наблюдений: имеется случайная величина | и в результате п независимых, испытаний получаются п ее допустимых значений. Если все допустимые значения случайной вели­ чины | считать генеральной совокупностью, то полученные при наблюдениях п значений образуют выборку. По этой выборке мы и должны определить распределение случай­ ной величины £ (в дальнейшем оно называется распределе­ нием генеральной совокупности).

Итак, производство наблюдений является частным слу­ чаем выборочного метода, когда в качестве генеральной сово­ купности берутся все допустимые значения некоторой случай­ ной величины и исследуется распределение этой величины.

Чтобы найти неизвестное распределение генеральной совокупности, используют следующие рассуждения. Полу­ ченные при наблюдениях числа xlt х2, ..., хп (называемые элементами выборки) можно считать полной совокупно­ стью значений некоторой конечнозначной случайной вели­ чины | п. При этом все полученные при наблюдениях чи­ сла нужно считать различными элементами, независимо от того, повторяются они или нет. В этих предположениях каждый элемент выборки появляется лишь в результате одного наблюдения, и значит, опыт не позволяет приписать одним элементам (как значениям случайной величины £п) большую вероятность, чем другим. Иными словами, каж­

дому элементу xt нужно приписать вероятность ^ . Полу­

ченное равномерное распределение величины £п называется

эмпирическим, или выборочным, распределением.

Если объем выборки п достаточно велик, то распределе­ ние случайной величины должно быть в каком-то смц-

Наличие в выборке повторяющихся элементов не при­ водит к дополнительным трудностям. Например, для вы­ борки

3,6 3,1 3,0 3,1 3,1.3,3 3,0 3,3

5 значение функции распределения при х=3,2 равно —.

о

4.4. Среднее и дисперсия выборки. Допустим, что, про­ водя наблюдения, мы сумели учесть все систематические ошибки и избежать грубых ошибок. Это значит, что истин­ ный результат совпадает с математическим ожиданием М£ соответствующей случайной величины. Это число нам неизвестно, но, благодаря теореме Гливенко, вместо мате­ матического ожидания величины £ при больших п можно рассматривать математическое ожидание величины £п. Действительно, оба математических ожидания одинаковой формулой выражаются через свои функции распределения

мерное распределение. Поэтому (см. п. 2.3) ее математиче­ ское ожидание есть просто среднее арифметическое элемен­ тов выборки:

ДАt _ *1 + *2 + • • • + Хп

п

В дальнейшем мы будем его называть средним выборки

и обозначать х.

Возможность приближенной замены М£ на М|„ означает, таким образом, что в качестве истинного результата можно брать среднее выборки наблюдений, причем точность за­ мены тем выше, чем больше объем выборки. Полученное ут­ верждение составляет основу всей математической обработ­ ки наблюдений. Правда, сам по себе «принцип среднего» известен очень давно и широко используется эксперимен­ таторами без всяких теоретических обоснований. Но мате­ матическая статистика позволяет пойти дальше и оценить,

90 §4. НАБ ЛЮД ЕН ИЯ

насколько неточен переход от среднего выборки к истинному результату.

Для того чтобы найти погрешность среднего, нужно уметь оценивать, насколько точны сами наблюдения. Если бы все наблюдения давали один и тот же результат, то ни­ какой погрешности вообще бы не было. Именно разброс результатов, т. е. превращение истинного результата в слу­ чайную величину, и порождает эту погрешность. Следо­ вательно, точность найденного истинного результата свя­ зана в первую очередь с мерой рассеяния — дисперсией наблюдаемой случайной величины.

Дисперсия случайной величины, так же как и математи­ ческое ожидание, полностью определяется функцией рас­ пределения этой величины. Следовательно, и здесь можно использовать теорему Гливенко, в силу которой дисперсия D£ приближенно равна дисперсии D£n и это приближение тем лучше, чем больше объем выборки п.

дает, как правило, заниженную оценку рассеяния значе­ ний генеральной совокупности и нуждается в некотором видоизменении. Путь этого изменения станет ясен, если несколько уточнить суть выборочного метода.

В предыдущих рассуждениях рассматривалась одна фик­ сированная выборка объема п, с которой связывалась конеч­ нозначная случайная величина \ п. Выборку заданного объема из бесконечной генеральной совокупности можно, однако, осуществлять бесконечным числом способов. Ясно, что любая выборка при этом сама станет случайным собы­ тием, в связи с чем любая закономерность выборок может носить лишь вероятностный характер (отсюда, кстати, по­ нятно, почему утверждение теоремы Гливенко не абсолют­ но достоверное, а лишь имеющее вероятность 1).