ekz_terver_zima
.pdf
Оценим коэффициенты уравнения методом наименьших квадратов (МНК). Будем обозначать ̂ вычисленные (прогнозные) значения.
Согласно МНК, требуется найти такие значения оценок параметров a^ и b^, чтобы была минимальной сумма квадратов отклонений прогнозных значений от наблюдаемых:
̂ |
|
|
̂ |
2 |
= ∑ |
|
|
̂ |
|
2 |
( |
( |
|
→ . |
|||||||
(̂, ) = ∑ |
=1 |
− ) |
|
=1 |
− (̂ + )) |
|||||
|
|
|
|
|
|
|
|
|
||
Значит, для нахождения оценки параметров парной регрессионной модели МНК необходимо найти экстремум (минимум) функции двух аргументов.
Запишем необходимые условия экстремума:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
= 0 |
|
|
|
|
|
|
|
|
|
= −2 ∑ ( − ̂ − ) |
= 0 |
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
̂ |
<=> |
|
|
|
̂ |
|
=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
= 0 |
|
|
|
|
|
|
|
|
|
= −2 ∑ ( − ̂ − ) = 0 |
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
̂ |
|
|
|
|
|
|
̂ |
|
=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
{ |
|
|
|
|
{ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
̂ |
|
= 0 |
|
|
|
|
|
̂ = |
|
|
|
|
|
̂ |
|
|
|
|
||||||||||||
|
|
|
|
∑ − ̂ − ∑ |
|
|
|
|
|
∑ − ∑ |
|
|
|
|||||||||||||||||||||||||
|
<=> |
{ |
|
|
|
|
|
|
|
|
|
|
|
|
<=> |
{ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
̂ |
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
̂ |
|
2 |
|
|||||||||
|
|
|
|
|
|
|
|
|
∑ |
= 0 |
|
∑ |
− ̂ ∑ |
|
|
|
|
|
= 0 |
|||||||||||||||||||
|
|
|
|
∑ − ̂ ∑ − |
|
|
|
|
− ∑ |
|
||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
|
Из первого уравнения системы найдем оценку параметра а: ̂ = |
|
∑ |
− |
|
|
|
|
|
|
|
̂ |
|
||||||||||||||||||||||||||
|
|
|
|
∑ = ̅ − ̅. |
||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Преобразуем второе уравнение системы и подставим полученную оценку: ∑ − ̂ |
∑ − |
|||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
̂ |
|
2 |
|
|
̂ |
|
̂ |
∑ |
|
2 |
|
|
|
|
|
|
|
|
̂ |
̂ |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
||||
∑ |
|
= ̅̅̅ − (̅ − ̅) ̅− |
|
= ̅̅̅ − ̅ + ̅̅− ∑ |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
̅̅̅ − ̅ |
|
|
|
|
|
|
|
|
̅̅̅ − ̅ |
̅̅̅ − ̅ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
∑ 2 |
− (1 |
∑ |
2 |
|
|
= |
2 = |
2 |
|
|
|
|
|
|
= выб |
|
|
|
|
||||||||||||||
|
|
|
|
1 |
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
̂
̂ = ̅ − ̅
Таким образом решение системы уравнений имеет вид: { ̂
= выб
Уравнение регрессии Y на X имеет вид: = ̅ + выб ( − ̅).
Уравнение регрессии Х на Y имеет вид: = ̅+ 1 ( − ̅).
выб
Заметим, что каждое из уравнений имеет x¯ своим решением , т.е графики проходят через точку (x¯,y¯).
4. Проверка гипотезы о значимости выборочного коэффициента корреляции.
Как известно, если коэффициент корреляции = (ξ,η)√DξDη равен нулю, то величины ξ и η некоррелированы, если |r|=1, то величины ξ и η линейно связаны η=aξ+b.
Следовательно, при изучении связи величин необходимо оценить отличие выборочного коэффициента корреляции от нуля.
Проверим гипотезу о значимости коэффициента корреляции, т.е. H0:"r = 0" против гипотезы
H1:"r ≠ 0".
Статистика = √1−−22 имеет распределение Стьюдента с n−2 степенями свободы.
Для заданного уровня значимости критическое значение равно tкр = t(α2 ; n − 2).
Если tнабл < tкр, принимают гипотезу H0:"r=0", в противном случае H0 отвергают, и делают вывод о значимом отличии коэффициента корреляции от нуля.
Если установлено, что коэффициент значимо отличается от нуля, то линейное уравнение должно достаточно близко описывать имеющуюся между величинами, но неизвестную связь.
5. Теорема Гаусса-Маркова.
В предположении модели 1-3:
1) ̅̅̅̅̅
= + + = 1,
2)– детерминированная величина
3)= 0, 2 = 2, ( ) = 0 ≠
оценки а и b, полученные методом наименьших коэффициентов, имеют наименьшую дисперсию в классе линейных несмещенных оценок (т.е. являются эффективными оценками).
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
( , ) |
|
|
|
|
|
− ̅̅̅̅̅ |
|
|
∑ −∑ |
∑ |
|
|
|
|||||||||||||||||||
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
∑ − |
|
|
∑ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
Док-во. ̂ = ̅ − ̅= |
|
|
|
|
|
|
|
|
|
= |
|
|
|
|
|
|
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
2 |
|
1 |
|
|
|
|
2 |
∑ 2−(∑ )2 |
|
|
|
|
||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∑ |
|
−( |
|
|
|
|
∑ ) |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
̂ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Проверим несмещенность: ̂ = , = . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
̂ |
( , ) |
|
|
|
|
|
( − )( − ) |
|
|
|
|
|
|
|
∑( |
|
− ̅)( − ̅) |
|
∑ |
|
||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
= ( |
|
|
|
|
|
|
|
) = [ |
|
|
|
|
|
|
|
|
|
|
|
|
|
] = ( |
|
|
|
|
|
|
|
|
|
|
|
|
|
) = |
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
∑( |
|
|
2 |
|
∑ |
2 |
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
( − ) |
|
|
|
|
|
|
|
|
|
|
|
|
− ̅) |
|
|
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
= (по предположению 2) [ |
= − ̅отклонение] = |
1 |
∑ |
|||||||||||||||||||||||||||||||||||||||||||||||||||
|
∑ 2 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
∑ 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
= |
|
|
|
|
∑ = |
|
|
|
|
= , причем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
∑ |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∑ 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
= ( − ̅) = ( + − |
1 |
∑( + )) = ( + − − ̅)= ( − ̅) |
||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
= |
= |
по условию 2) о детерминированности |
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
1 |
|
|
|
|
|
|
|
1 |
|
|
|
|
̂ |
|
|
1 |
|
|
|
|
|
|
1 |
|
|
̂ |
|
|
|
|
|
|
|
|
|
1 |
|
∑ ( + ) − |
1 |
|
|
|
|
||||||||||||
̂ = ( |
|
∑ |
− |
|
|
∑ ) |
= |
|
∑ − |
|
|
∑ = |
|
|
|
|
|
|
∑ |
|||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
11
=+ ∑ − ∑ =
Теперь докажем эффективность (минимальность) дисперсии. Вычислим дисперсии оценок а и
b. Запишем выражения в смещениях:
∑ |
|
|
|
|
|
|
||
|
|
= ∑ |
( |
|
|
) = ∑ |
|
|
∑ 2 |
|
∑ |
2 |
|||||
|
=1 |
|
|
=1 |
|
|||
|
|
|
|
=1 |
|
|
|
|
|
|
|
|
̂ |
∑( − ̅)( − ̅) |
|
[ |
= |
− ̅, |
= − ̅]. Тогда = |
∑( − ̅)2 |
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|