3.1. Формулы для коэффициентов и стандартных ошибок

Обобщением линейной регрессионной модели с двумя переменными является многомерная регрессионная модель (или модель множественной регрессии). Пусть n раз измерены значения факторов x₁ , x₂ , ..., x_k и соответствующие значения переменной y; предполагается, что

y_i = b _o + b ₁x_i1 + ... + b _k x_ik+ e _i , i = 1, ..., n, (3.1)

(второй индекс у х относится к номеру фактора, а первый – к номеру наблюдения); предполагается также, что

Me _i = 0,

M(e _i e _j) = 0, i не равно j,   (3.2)

т.е. e_i – некоррелированные случайные величины. Соотношения (1) удобно записывать в матричной форме:

Y = Xb +e , (3.3)

где Y = (y₁, ..., y_k)^T – вектор-столбец значений зависимой переменной,

Т – символ транспонирования,

b = (b₀, b₁, ..., b_k)^T – вектор-столбец (размерности k) неизвестных коэффициентов регрессии,

e = (e₁, ..., e_n)^T – вектор случайных отклонений,

– матрица n x (k + 1); в i-й строке (1, x_i1, ...,x_ik) находятся значения независимых переменных в i-м наблюдении первая переменная – константа, равная 1.

Оценка коэффициентов регрессии. Построим оценку для вектора  так, чтобы вектор оценок = Х зависимой переменной минимально (в смысле квадрата нормы разности) отличался от вектора Y заданных значений:

Решением является (если ранг матрицы Х равен k +1) оценка

= (X^TX)^-1 X^TY (3.4)

Нетрудно проверить, что она несмещенная. Ковариационная (дисперсионная) матрица равна

s² (X^TX) = Z , (3.5)

где обозначено Z = (X^TX) .

Справедлива теорема Гаусса – Маркова. В условиях (3.2) оценка (3.4) является наилучшей (в смысле минимума дисперсии) оценкой в классе линейных несмещенных оценок.

Оценка дисперсии s² ошибок. Обозначим

e = Y – = Y – Х = [I – X (X^TX) X^T] Y = BY (3.6)

– вектор остатков (или невязок); B = I – X (X^TX) X^T – матрица.

Для остаточной суммы квадратов справедливо соотношение M = M (n – k -1) s² , откуда следует, что несмещенной оценкой для s² является (3.7)

Если предположить, что e_i в (2) нормально распределены, то справедливы следующие свойства оценок:

1) (n – k – 1) имеет распределение хи квадрат с (n-k-1) степенями свободы;

2) оценки и s² независимы.

Как и в случае простой регрессии, справедливо соотношение:

или Tss = Ess + Rss (3.8)

в векторном виде: , где .

Поделив обе части на полную вариацию y:

Tss = , получим коэффициент детерминации

(3.9)

Коэффициент R² показывает качество подгонки регрессионной модели к наблюдённым значениям y_i. Если R² = 0, то регрессия Y на x₁ , ..., x_k не улучшает качество предсказания y_i по сравнению с тривиальным предсказанием . Другой крайний случай R² = 1 означает точную подгонку: все e_i = 0, т.е. все точки наблюдений лежат на регрессионной плоскости. Однако, значение R² возрастает с ростом числа переменных (регрессоров) в регрессии, что не означает улучшения качества предсказания, и потому вводится скорректированный (adjusted) коэффициент детерминации

(3.10)

Его использование более корректно для сравнения регрессий при изменении числа переменных (регрессоров).