Метод наименьших квадратов

Метод наименьших квадратов применяется для решения следующих задач:

1. Необходимо определить величины х₁, х₂,…, х_N, которые нельзя определить непосредственно, но известно, что они линейно зависимы, а коэффициенты этой зависимости можно получить в результате измерений. Таким образом, мы имеем переопределенную систему линейных алгебраических уравнений. Решение этой системы может быть получено решением задачи минимизации. Выполняя дифференцирование минимизируемой функции , приходим к линейной системе, которая будет иметьN уравнений и N неизвестных.

2. Требуется дать приближенное аналитическое описание по таблично заданным данным. Из каких-либо соображений подбирается аппроксимирующая функция, а параметры этой функции подбираются так, чтобы сумма квадратов отклонений вычисляемых значений аппроксимирующей функции от заданных была минимальной.

Метод линеаризации данных по методу наименьших квадратов.

Техника линеаризации данных применяется для подгонки кривых, позволяющих при преобразовании переменных получить линейную зависимость вида . В таблице 1 приведены основные приемы линеаризации.

Таблица 1.

Таблица замены переменной для метода линеаризации данных

№ п/п	Функция	Линеаризованная форма	Замена переменных и констант
1
2
3
4
5
6

Пусть заданы N точек с различными абсциссами {x_k}. Величина среднеквадратичной ошибки будет минимальной, когда каждая частная производная по неизвестным (в данном случае неизвестные А и В) будет обращаться в нуль, т.е. А и В являются решением нормальной системы уравнений вида:

(3.4)

Решая систему нормальных уравнений (3.4) находим искомые коэффициенты А и В.

Пример: Аппроксимировать таблично заданную функцию по пяти заданным точкам полиномом первой степени или построить линейную зависимость с помощью метода наименьших квадратов.

k	0	1	2	3	4
xk	0	1	2	3	4
yk	0	1	2	2	3.5

Решение:

1. Запишем нормальную систему для - полинома первой степени:

,

где N = 5 – количество точек.

2. Вычислим все необходимые суммы:N=5, ,,, . Таким образом, подставляя числовые значения сумм в нормальную систему и решая ее, относительно неизвестных получаем, что А=0,8 и В=0,1

3. Таким образом,

4. Проверяем полученный полином. Для наглядности построим исходные данные и полученную зависимость на графике:

Замечания:

1. Если данные не проявляют полиномиальной природы, то результат построения полинома методом наименьших квадратов будет сильно осциллировать, т.е. появится полиномиальное раскачивание. Оно наблюдается у полиномов высокой степени, поэтому полиномы выше пятой степени редко используются.

Интерполирование сплайнами Кусочно-линейное и кусочно-квадратичное интерполирование

Иногда, интерполирование по всей совокупности точек бывает не достаточным. В этих случаях можно воспользоваться объединением фрагментов графиков полиномов низкой степени и интерполированием между последовательными узлами. Самый простой в использовании полином первой степени. Он создает ломаную, состоящую из отрезков, которые проходят через две точки. Чтобы представить эту кусочно-линейную кривую, используется полином Лагранжа:

или используя формулу угла наклона отрезка линии в точке:

,

где - линейный сплайн на отрезке [x_k+1, x_k], y_k – заданное значение функции, полученное экспериментально в заданных узлах. Аналогично можно построить кусочно-квадратичный полином.

Недостатком этого подхода является резкое изменение кривизны в общих узлах.

Пример: Для функции y=f(x), заданной таблично осуществить кусочно-линейное интерполирование и кусочно-квадратичное интерполирование.

x	0	0,5	1	2	3	4	5
f(x)	1,5	0	0	2	2	1	2

Решение: Осуществим кусочно-линейное интерполирование. Для этого разобьем данную функцию на элементарные промежутки, определяемые соседними числами верхней строки таблицы, и на каждом из участков строим прямую линию (полином первой степени), т.е.

Рис. 3.1. График полученного кусочно-линейного интерполирования.

Осуществим кусочно-квадратичное интерполирование. Для этого будем рассматривать тройки известных точек отрезков [0;1],[1;3],[3;5]. На каждом из этих отрезках по известным точкам построим полином второй степени. В результате получим:

Рис.3.2. График полученного кусочно-квадратичного интерполирования.