3.2.2. Метод найменших квадратів

Припустимо, що ми вивчаємо дві змінні величини x, y і шукаємо вигляд функціональної залежності між ними. З цією метою ми здійснюємо n випробувань над і подаємо отримані результати таблицею пар і відповіднимим точками площини (див. таблицю 1 і рис. 2).

Рис. 2

Таблиця 1

Розташування точок іноді дозволяє нам висунути гіпотезу стосовно вигляду залежності, про яку йдетья. Наприклад, рис. 2a веде до гипотези про лінійну залежність між , а саме

.

З іншого боку, рис. 2б породжує гіпотезу про параболічну (другого степеня) залежність

.

Наша мета – знайти параметри найкращим (в деякому сенсі) чином. Як один з таких часто-густо застосовується метод найменших квадратів.

Нехай, взагалі кажучи, ми припускаємо

. ( 16 )

Введімо наступні величини (так звані помилки, або нев"язки)

, ( 17 )

тобто різниці між теоретичними значеннями и результатами екс-периментів над x і y. Метод найменших квадратів, розроблений Лежандром¹ і Ґауссом² і обґрунтований Ґауссом, полягає в наступному: ми шукаємо так, щоб зробити мінімальною (або мінімізувати) суму квадратів нев"язок. Це значить, що ми повинні знайти мінімум наступної функції змінних :

. ( 18 )

Для відшукання a, b, … ми повинні розв"язати систему рівнянь

( 19 )

яка називається нормальною системою методу найменших квадратів.

Ми обмежимось двома гіпотезами, породженими розташуванням точок на рис. 1 a, 1 б, саме і .

Якщо ми припускаємо

, ( 20 )

то ми повинні мінімізувати функцію

. ( 21 )

Її частинні похідні по a и b дорівнюють

і

,

і ми повинні розв"язати таку нормальну систему лінійних рівнянь відносно a, b

( 22 )

В разі гіпотези

( 23 )

ми повинні мінімізувати функцію трьох змінних a, b, c

( 24 )

з наступними частинними похідними по a, b, c:

Отже, необхідно розв"язати таку систему рівнянь відносно a, b, c:

( 25 )

Приклад. Величина товарообігу (в тисячах умовних міжнародних одиниць, у.м.о.) і витрати y обертання (в у.м.о.) задано таблицею 2.

Розташування точок A, B, C, D, E, F (див. рис. 3) дозволяє нам висунути гіпотезу, що

Table 2

№			Точки
1	60	551	A	33060	3600
2	80	576	B	46080	6400
3	140	628.5	C	87990	19600
4	160	673	D	107680	25600
5	240	768.5	E	184440	57600
6	320	863	F	276160	102400
	1000	4080		735410	215200

,

тобто що витрати y обертання і величи-на товарообігу пов"язані лінійною залежністю. На підставі (22) ми повин-ні розв"язати систему рівнянь

Розв"язок системи є

, ,

Рис.3 так що залежність, про яку йдеться, дається рівнянням

.