4. Выбор уравнения

4.1. Влияние отсутствия необходимой переменной

Проблема смещения

Предположим, что переменная у зависит от двух переменных х₁ и х₂ в соответствии с отношением: у=α + β₁х₁ + β₂х₂ + и, (4.1), однако вы не уверены в значимости х₂. Считая, что модель должна выглядеть как у = α + β₁х₁ +и₁ (4.2), вы оцениваете регрессию

ŷ = а + в₁ x₁ (4.3)

и вычисляете в₁, по формуле Соv(х₁,у)/Var(х₁) вместо правильного выражения, данного в уравнении. По определению, в₁, является несмещённой оценкой величины β₁, если Е(в₁) равняется β₁. практически, если соотношение (1) верно, то

Е{Cov(х₁,у)/Var(х₁)} = β₁ + β₂Cov(х₁,х₂)/Var(х₁). (4.4)

Сначала мы дадим интуитивное объяснение этого, а затем – формальное доказательство.

Если опустить х₂ в регрессионном соотношении, то переменная х₁ будет играть двойную роль: отражать своё прямое влияние и заменять переменную х₂ в описании её влияния. Данное кажущееся опосредованное влияние величины х₁ на у будет зависеть от двух факторов: от видимой способности х₁ имитировать поведение х₂ и от влияния величины х₂ на у.

Кажущаяся способность переменной х₁ объяснять поведение х₂ определяется коэффициентом наклона h в псевдорегрессии:

х₂ = g + hх₁. (4.5)

Величина h, естественно, рассчитывается при помощи обычной формулы для парной регрессии, в данном случае Cov(х₁,х₂)/Var(х₁). Влияние величины х₂, на у определяется коэффициентом β₂. Таким образом, эффект имитации посредством величины β₂ может быть записан как β₂ Cov(х₁,х₂)/Var(х₁).Прямое влияние величины х₁ на у описывается с помощью β₁. Таким образом, при оценивании регрессионной зависимости у от переменной х₁ (без включения в неё переменной х₂) коэффициент при х₁ определяется формулой:

β₁ + β₂ Cov(х₁,х₂)/Var(х₁) + ошибка выборки (4.6)

При условии, что величина х₁, не является стохастической, ожидаемый значением коэффициента будет сумма первых двух членов этой формулы. Присутствие второго слагаемого предполагает, что математическкое ожидание коэффициента будет отличаться от истинной величины β , другими словами, оценка будет смещенной.

x₁ x₂

Рис. 4.1. Непосредственный и кажущийся эффект х₁

Есть, однако, один исключительный случай, когда оценка в, остаётся несмещённой. Это случается, когда выборочная ковариация между х₁ и х₂ в точности равняется нулю. Если Cov(х₁,х₂) = 0, то смешение исчезает. Действительно, коэффициент, полученный с использованием парной регрессии, будет точно таким же, как если бы вы оценили правильно специфицированную множественную регрессию. Конечно, величина смещения здесь равнялась бы нулю и при β₂ = 0, но в этом случае неправильной спецификации не возникает.

Неприменимость статистических тестов

Другим серьезный следствием невключения переменной, которая на самом деле должна присутствовать в регрессии, является то, что формулы для стандартных ошибок коэффициентов и тесноты статистики, вообще говоря, становится неприменимыми. Это, разумеется, означает, что, основываясь на полученных результатах оценки регрессии, в принципе нельзя заниматься проверкой каких-либо гипотез.

Направление смещения

Возвращаясь к общему случаю, мы видим, что если истинная модель выражается формулой (1), где у – функция переменных х₁ и х₂, и если в уравнении регрессии опустить х₁, то коэффициент при х₁ смещается на величину, равную β₂Cov(х₁,х₂)/Var(х₁). Поскольку величина Vаr (х₁) не может 6ыть отрицательной, то направление смещёния определяется знаками величин β₂ и Cov(х₁,х₂). В примере с экспериментом по методу Монте-Карло величина β₂ была положительной, а S и Iq имели положительную корреляцию, поэтому смещение оказалось положительным, а невключение переменной IQ привело к систематическому завышению коэффициента при S. Это, однако, не должно означать, что смешения обязательно является положительным. Если β₂ отрицательная или же отрицательна ковариация между х₁ и х₂, то смещение будет отрицательным. Естественно, что если обе эти величины отрицательны, то смещение в результате будет положительным.