новая папка 1 / 352925

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

КАЛМЫЦКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ИДЕОЛОГИЯ И АЛГОРИТМ ОБРАБОТКИ РЕЗУЛЬТАТОВ ИЗМЕРЕНИЙ

ЧАСТЬ 2 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

Методические указания для студентов, магистрантов и аспирантов

Элиста 2012

Предисловие

Впервой части настоящего пособия [1] мы описали природу возникновения и классификацию погрешностей, технологию и алгоритм обработки результатов измерений,

атакже дали рекомендации, как провести аппроксимирующую кривую по экспериментальным точкам. Однако за рамками рассмотрения остался вопрос: как поступать, если вид этой кривой заранее известен из физических теоретических соображений?

Внастоящем пособии описывается идеология и алгоритм метода наименьших квадратов, позволяющего определять по экспериментальным значениям числовые параметры, характеризующие сглаживающую кривую аналитической зависимости, и приводятся примеры определения таких коэффициентов для случаев линейной зависимости и квадратичной параболы.

Хотя метод наименьших квадратов описан во многих учебниках, студентов младших курсов, не владеющих аппаратом высшей математики, “отпугивает” перегруженность изложения доказательствами, отягощенными достаточно сложными математическими выкладками. Поэтому мы сознательно упростили изложение, опуская эти доказательства; читателей, желающих глубже познакомиться с рассматриваемым вопросом, мы отсылаем к литературе, список которой приведен в конце пособия.

При составлении пособия, мы следовали, в основном, изложению рассматриваемого вопроса, приведенному в [2]. В процессе его написания использовались также источники [3-9].

Пособие может быть использовано при проведении лабораторных работ по физическому практикуму. Как нам представляется, оно может быть использовано и для проведения самостоятельных работ.

Хотя пособие ориентировано, в первую очередь, на первокурсников, мы надеемся, что оно окажется полезным и для студентов старших курсов и аспирантов, сталкивающихся в своей работе с обработкой результатов измерений.

4

1. Введение

Каждый физический эксперимент сопровождается измерениями. В работе [1] мы уже отмечали, что ни одно измерение не может быть выполнено абсолютно точно. Всегда существует какая–то разница между истинным значением величины и полученным в результате измерений, называемая ошибкой или погрешностью измерений (далее мы не делаем различий между смысловыми значениями этих терминов и используем их как синонимы). Классификация и основные правила определения погрешностей мы также приводили в пособии [1].

Достаточно часто при измерениях необходимо изменять, варьировать какой–либо параметр x и проводить серии измерений некоторой величины y при фиксированных значениях xi этого параметра, определять для каждого такого значения среднее и погрешность его измерения, получая таким образом дискретный набор экспериментальных точек yi(xi), характеризующий функциональную зависимость измеряемой величины от варьируемого параметра.

При этом нередки случаи, когда вид этой зависимости y = '(x) точно известен из теоретических физических соображений, либо достаточно очевиден из распределения экспериментальных точек вдоль изменяющегося параметра.

Однако из–за погрешностей измерений с необходимостью возникает разброс полученных в эксперименте значений yi вокруг кривой y = '(x), характеризующей указанную аналитическую зависимость. Возникает вопрос, как наилучшим образом сгладить указанный разброс, макимально приблизив кривую ко всем полученным в эксперименте значениям, отразив общую закономерность ее поведения, избавившись при этом от нефизичных осцилляций, обусловленных погрешностями измерений.

Если вид зависимости известен точно или очевиден из расположения экспериментальных точек, то задача фактически сводится к определению оптимальных значений параметров этой зависимости. Например, для линейной зависимости y = ax + b к определению a и b, для квадратичной y = ax2 + bx + c к определению a, b и c и т.д.

Для минимизации влияния ошибок измерений в таких ситуациях выдающийся немецкий математик, физик и астроном Иоганн Карл Фридрих Гаусс использовал свой метод наименьших квадратов, который сейчас повсеместно применяется в статистике. Описанию алгоритма этого метода и посвящена настоящая работа.

Метод наименьших квадратов один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих случайные ошибки (регрессионный анализ статистический метод исследования функциональной зависимости между зависимой переменной y и одной или несколькими независимыми переменными x1; x2; :::; xn; независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные критериальными).

Метод наименьших квадратов применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке результатов измерений и астрономических наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится многократно, и за окончательный результат принимают арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных

5

измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

До начала XIX века ученые не имели определенных правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приемы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805–06) и Гауссу (1794–95) принадлежит первое применение к решению указанной системы уравнений теории вероятностей, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, можно сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, изобретенный Гауссом и Лежандром способ не дает, конечно, истинных значений искомых величин, но зато дает их наиболее вероятные значения. Этот способ распространен и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и других ученых и получил название метода наименьших квадратов, поскольку после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов дает возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов.

Строгое обоснование и установление границ содержательной применимости метода даны А. А. Марковым и А. Н. Колмогоровым.

2. Идеология и алгоритм метода наименьших квадратов

Таким образом, перед нами стоит задача наиболее оптимального подбора числовых параметров a; b; c; :::, для того, чтобы максимально приблизить аналитическую зависимость y = '(x), характеризуемую этими параметрами, к экспериментальным точкам, не исказив при этом ее формы.

Пусть у нас имеются значения, полученные в результате измерений см. таблицу 1. Здесь i номер опыта, xi значение параметра, являющегося аргументом, yi отвечающее ему значение функции.

Таблица 1.

Взаимное расположение экспериментальных точек (xi; yi) и кривой теоретически известной аналитической зависимости y = '(x) схематически показано на рис. 1.

Так каким же образом подобрать характеризующие '(x) параметры? Как максимально близко к экспериментальным точкам провести описывающую эту зависимость кривую?

Это нетривиальный вопрос, поскольку минимизировать расстояние от экспериментальных точек до кривой можно различными способами. Можно добиваться того, чтобы максимальное расстояние между ними принимало минимальное значение; можно доби-

6

ваться минимума суммы абсолютных величин отклонений точек от кривой и т.д. Выбирая различные способы минимизации мы получим различные значения параметров a; b; :::, характеризующих кривую зависимости '(x).

В настоящее время общепринятым является метод наименьших квадратов. В его основе лежит требование того, чтобы сумма квадратов отклонений экспериментальных значений yi(xi) от сглаживающей кривой '(xi) обращалась в минимум:

n

X

i=1

У этого метода два существенных преимущества перед другими. Во–первых, с математической точки зрения он сравнительно прост, во–вторых, он допускает строгое теоретическое обоснование с вероятностной точки зрения (см., например, [2]).

Перейдем к описанию алгоритма метода наименьших квадратов.

Итак, из каких–либо физических или общих соображений мы выбрали общий вид сглаживающей функции y = '(x); ее конкретный вид зависит от нескольких числовых параметров a; b; c; :::, и нам необходимо найти такие их значения, чтобы выполнялось приведенное выше требование минимума суммы квадратов.

Для этого представим эту функцию как зависимость не только от x, но и от a; b; c; ::::

Нам требуется исследовать эту функцию на экстремум и подобрать такой набор параметров a; b; c; :::, чтобы выполнялось:

n

X

i=1

Для этого, как и во всех задачах исследования функций на экстремумы, последовательно продифференцируем ее по a, b, c и т.д. и приравняем производные к нулю:

: : : : : : : : : : : : : : : : :

Здесь (@'=@a)i значение частной производной функции ' по параметру a, вычисленное в точке xi; для (@'=@b)i , (@'=@c)i, ::: аналогично (при вычислении частной производной от функции нескольких аргументов мы предполагаем, что изменяется только тот аргумент, по которому производится дифференцирование, а остальные аргументы полагаем фиксированными, т.е. постоянными).

Поскольку мы предполагаем, что вид функции '(x) нам известен, частные производные мы можем взять аналитически. Таким образом, приведенная выше система уравнений в частных производных сводится к системе алгебраических уравнений; при этом

7

эта ситема содержит столько же уравнений, сколько неизвестных параметров a; b; c; :::, т.е. полностью определена и имеет единственное решение для каждого конкретного вида функции '(x). Далее мы рассмотрим такие решения для двух видов этой функции линейной и квадратичной параболы.

3. Начальные и центральные статистические моменты

Чтобы перейти к дальнейшему изложению, необходимо ввести понятия начальных и центральных статистических моментов.

По определению, начальным статистическим моментом случайной величины x

порядка s называется число, определяемое выражением:

где xi значение случайной величины, полученное в i–ом опыте, n число опытов.

Центральным статистическим моментом случайной величины x порядка s называется число, определяемое выражением:

Здесь mx = M [X] математическое ожидание, в данном случае (в случае выполнения закона нормального распределения ошибок Гаусса см., например, [1]) совпадающее со статистическим средним значением величины, т.е.:

n

mx = M [X] = 1 xi =< x > : (9)

X

n

n=1

Как видно из приведенных формул, эти моменты различаются лишь тем, что начальные вычисляются относительно начала координат (откуда и произошло их название), а центральные относительно центра распределения, т.е. относительно среднего значения величины. Отметим, что начало координат можно выбрать совершенно произвольным образом из соображений удобства вычислений; формула пересчета значений от одной системы координат к другой очевидна: если у нас есть набор полученных в результате опытов значений xi, но мы хотим сдвинуть начало координат на величину a вправо, то новые значения x~i связаны с прежними соотношением x~i = xi a.

Для статистических моментов существуют аналогии в физике, например момент инерции. Как хорошо известно, этот момент также можно вычислять относительно произвольно выбранного начала координат, либо относительно центра масс; при этом полученные значения связаны теоремой Гюйгенса–Штейнера.

Важно понять, что для каждой конкретной серии экспериментальных значений xi моменты представляют собой не нечто непонятное и загадочное, а вполне определенные числа, постоянные значения которых для данной серии получаются обработкой экспериментальных данных. Поэтому мы рекомендуем читателю не пугаться “страшных” обозначений, а спокойно воспринимать их как обычные числа.

Например, пусть в результате опытов были получены значения, приведенные в таблице 2:

8

и т.д.

Сделаем два небольших замечания.

Во–первых, статистический первый центральный момент всегда равен нулю. Дей-

что описывает связь вторых центрального и начального моментов и является аналогом теоремы Гюйгенса–Штейнера в механике (отметим, что в приведенном выше примере (11) не совсем выполняется из–за ошибок округления, поскольку берется разность двух больших чисел, очень близких по значению, одно из которых подверглось округлению, и эта разность сравнивается с малым, также приближенным округленным числом).

Учитывая последнее замечание, сделанное в скобках, очень часто на практике бывает удобно и полезно переместить начало осчета в точку, близкую к точке среднего значения, но не совпадающую с ней. Этот прием мы демонстрируем далее в примере 1 Приложения I.

Совершенно аналогичным образом вводится понятие статистических моментов системы двух величин.

Для центрального статистического момента системы двух величин выполняется:

9

Отметим, что, в принципе, в данной работе можно было бы и не вводить понятия статистических моментов, но, как мы увидим далее, они позволяют существенно сократить записи выражений, так как не прийдется многократно переписывать знаки суммирования.

4. Определение параметров линейной функции

Пусть при проведении измерений получена совокупность значений (xi; yi) и из тео-

Требуется, используя метод наименьших квадратов, определить оптимальные значения a и b.

В соответствии со сказанным в пункте 2, дифференцируем это выражение после-

XX X

nn

XX

Замечаем, что все суммы, входящие в последние два уравнения, есть не что иное, как введенные нами в пункте 3 статистические моменты. Соответственно, получаем:

10