книги / Эконометрика. Начальный курс

Обратно, любая функция, удовлетворяющая условиям pi), р2), является плотностью распределения некоторой случайной ве­ личины.

Непрерывная случайная величина с плотностью р(х) имев!'

симметричное распределение, если р{х) = р(—х) для всех х.

Если случайная величина не принадлежит ни одному из этих двух классов, то говорят, что она имеет смехианный тип.

Математическое ожидание (среднее значение) дискретной случайной величины X, имеющей распределение (МС.2), есть по определению ряд

при условии его абсолютной сходимости. Для непрерывной слу­ чайной величины X с плотностью распределения р(х) математи­ ческое ожидание — это интеграл

также при условии, что он абсолютно сходится. В общем слу­ чае математическое ожидание определяется как интеграл ЛебегаСтилтьеса f*™ х dF(x), но для наших целей достаточно опреде­ лений (МС.4) и (МС.5). Математическое ожидание имеет следую­ щие свойства (X, Y — произвольные случайные величины, а, 6 — константы):

Е1) Е(оХ + ЬУ) = вЕ(Х) + ЬЕ(У);

Е2) если X ^ Y при всех реализациях, то Е(Х) ^ Е(У);

ЕЗ) если X — непрерывная случайная величина с плотностью распределения р(х), a g(x), х € R — числовая функция, то для случайной величины Y = д(Х) справедливо равенство

/ +оо

g{x)p{x)dx. (МС.6)

■00

Другой важнейшей числовой характеристикой случайной ве­ личины X является дисперсия, отражающая степень «разброса» случайной величины относительно среднего значения. Она опре­ деляется равенством

V(A") = E(X - EX)2.

Величину о = у/Щ ХJ называют стандартным отклонением

случайной величины X.

Из свойства Е1) непосредственно вытекает, что

V(X) = Е{Х2) - (ЕХ)2.

Рассмотрим задачу минимизации по с среднеквадратичного отклонения /(с) = Е(Х —с)2. С помощью элементарных вычис­ лений получаем следующий результат.

Е4) Функция /(с) достигает минимума при с = Е(Х), причем inin/(c) = V(X).

Вматематической статистике широко используются квантили

ипроцентные точки распределения случайной величины. Пусть случайная величина X имеет непрерывную функцию распределе­ ния F{x) и пусть задано число 0 < q < 1. Квантилью уровня q (или q-квантилью) распределения F(x) называется такое число uq, что F(uq) = Р(Х ^ uq) = q. Если величина X дискретна, то может случиться, что такого числа uq либо не существует, либо их бесконечно много. Но всегда можно найти два числа xq < xq такие, что F(x'q) ^ q, F(xq) > q. Тогда ^-квантиль определяется как любое число, лежащее между xq и х".

Для симметричных распределений F(x) вводится также поня­ тие двусторонней q-квантили, а именно, число tq (0 < q < 1) называется двусторонней ф-квантилыо распределения F(x), если

Р( |* к «,) = ?-

Пусть теперь задано число 0 < а < 1. 100ог-процентной тонкой непрерывного распределения F(x) называется такое чис­ ло wa, что 1—F(wa) = Р(ЛГ > wa) = а. Для дискретной величины

это определение модифицируется аналогично тому, как это сдела­ но для квантили. Нетрудно проверить, что щ — iwj_9.

Упорядоченный набор х = (Х \ , . . . , Х п)' случайных величин

X i , ... , Хп называется п-мерным случайным вектором, а случайнал величина Xi — его г-й компонентой. По аналогии с (МС.1) определяется функция распределения случайного вектора х:

F (x\, . . . , in) = P(^i ^ ®Ь".• IХ п ^ хп).

Кал и в одномерном случае, случайный вектор х называется непрерывным, если его функция распределения имеет смешанную частную производную тг-го порядка по всем переменным, а сама эта производная называется плотностью распределения случай­ ного вектора х:

d*F

р(х) =p(xi,...,xn) = — ~ 0 Х~(х )-

Для непрерывного случайного вектора справедливо равенство, аналогичное (МС.З):

для любого (измеримого) множества А С Д*. Свойства Fl)-F3) и pi), р2) легко обобщаются на многомерный случай. Это мы остав­ ляем читателю. Негрудно проверить, что если n-мсрный случай­ ный вектор х имеет плотность рх (х) = рх (хх, ■■■,хп), то любой его нодвектор, например (для простоты), у = ( Х \ , Х*)', к < п , также имеет плотность

P y (l|,... ,®fc) = / Рх(Х\ , ... ,®fc,Xfc+1,. •. , ЗСц)dxk+i' ‘' din-

JR—*

Одним из основных понятий теории вероятностей является по­ нятие независимости случайных событий и случайных величин. Случайные величины Х \,. . . , Х п называются независимыми, если

для любых (измеримых) множеств Ai С R, i = 1, . . . , п. Мож­ но легко установить, что если компоненты случайного вектора х = (Xj,... , Х п)' независимы, то его функция распределения

распадается в произведение функций распределения компонент, а если, кроме того, каждая случайная величина Xi непрерывна, то вектор х также непрерывен и его плотность есть произведение плотностей компонент:

i> • • • 1 ® п ) = F X i ( ® i ) ■■■

Pbfat-.. ,Xn) = PX,(®l) • • -РХ.(*п)-

(Е Х ь ... , EXn)'. В многомерном случае свойство ЕЗ) выглядит следующим образом. Пусть вектор х имеет плотность р(х) и пусть g. Rn —>Rm — некоторая вектор-функция. Тогда

Аналогом дисперсии для случайного вектора является матри­ ца ковариаций или ковариационная матрица, определяемая ра­ венством

V(x) = Е((х —Е х)(х - Ех)').

Матрица ковариаций n-мерного вектора имеет размерность п х п, се элемент есть ковариация

Cov(X j, X f ) = Е ( ( Х { - Е X i ) ( X i - E X ,))

случайных величин Х< и X j . В частности, на главной диагона­ ли расположены дисперсии компонент вектора х. Нетрудно про­ верить, что матрица ковариаций симметрична и неотрицательно определена.

В дальнейшем часто будет применяться следующий легко до­ казываемый результат. Пусть х — n-мерный случайный вектор со средним значением Ех и матрицей ковариаций V(x) и пусть Ь — m-мерный вектор и А — m х п матрица. Тогда для случайного

Для двух случайных величин X и У мерой их линейной зави­ симости служит коэффициент корреляции

Cov(X, У)

г(Х,У) = Согг(Х,У) =

y/V(X)V(Y)

Коэффициент корреляции обладает следующими свойствами:

rl) - 1 ^ г(Х,У) ^ 1 для любых случайных величин X н У;

г2) если г(Х,К) = 1, то У = аХ + Ь, а > 0; если г(Х,К) = -1 , то У = аХ + Ь, а < 0;

гЗ) если случайные величины X и У независимы, то г(Х, У) = 0.

Случайные величины X и К, для которых г(Х,У ) = 0, назы­ ваются некоррелированными. Таким образом, в силу гЗ) незави­ симые случайные величины некоррелированы, обратное, вообще говоря, неверно. Из свойства Е1) легко следует, что для любых случайных величин X и У

V(X + У) = V(X) + У(У) + 2 Соу(Л \Г);

в частности, для некоррелированных (а тем более для независи­ мых) X и У выполнено равенство

В многомерном случае обобщением ковариации является мат­ рица взаимных ковариаций. Пусть х —n-мерный, а у — /г-мерный случайные векторы. Матрицей взаимных ковариаций называется п х к матрица

Cov(x.y) = Е((ас - Ех)(у - Еу)').

Если Cov(x,y) = 0, то говорят, что векторы х и у некорре­

Ь € R1 — произвольные (неслучайные) векторы. Проводя непо­ средственные вычисления, получаем, что

Условное математическое ожидание при каждом у удовлетво­ ряет тем же условиям Е1)-Е3), что и обычное математическое ожидание. В прикладных областях теории вероятностей h(y) на­ зывают функцией регрессии х на у. Если у h(y) в качестве аргу­ мента взять случайный вектор у, то получим случайный вектор h(y ), называемый условным математическим ожиданием х при условии у и обозначаемый Е(® | у). Перечислим его основные свойства.

СЕ1) Правило повторного условного математического ожидания: если д: R n —* Rk — некоторая (неслучайная) функция и

« = 9 (у), то

Е(Е(® | у) | z) = Е(® | z).

В частности, Е(Е(гс | у)) = Е(®).

СЕ2) Если д(у)— скалярная случайная величина, то

Е(у(у)® | у) = 0 (у)Е(® | у).

СЕЗ) Если векторы г и у независимы, то

Е(® | у) = Е(®).

Условное математическое ожидание обладает оптимизацион­ ным свойством, аналогичным свойству обычного математическо­ го ожидания Е4). А именно, пусть X — скалярная случайная ве­ личина, у — n-мерный случайный вектор и /: Rn —» J?1 — про­ извольная функция. Рассмотрим среднеквадратичное отклонение Е(Х —/( у ))2 и поставим задачу нахождения функции / , мини­ мизирующей это отклонение. С помощью простых выкладок, ис­ пользуя свойства СЕ1), СЕ2), получаем следующий результат.

СЕ4) Минимальное значение величины Е(АТ- / ( у ))2 достигается при /(у) = Е(Х | у).

3.Некоторые специальные распределения

Вэтом разделе рассматриваются некоторые конкретные случай­ ные величины и случайные векторы, часто используемые в теории вероятностей, математической статистике и их приложениях.

1.Биномиальное распределение. Дискретная случайная величи­

на ип(р), принимающая значения к = 0,... ,п с вероятностями

Рк = Р (М р ) = *0 =С*рк( 1 - р ) п~к, 0<р<1, ^ =

называется биномиальной случайной величиной с параметрами п н р. Случайная величина с таким распределением возникает в схеме Бернулли. Предположим, что проводится серия п незави­ симых испытаний, причем каждое испытание имеет два исхода — «успех» или «неудача», и пусть р — вероятность успеха в отдель­ ном испытании. Тогда общее число успехов в этих п испытаниях является биномиальной случайной величиной. Свяжем с каждым г-м испытанием случайную величину £j = 1, если в i-м испытании успех, и £j = 0, если п г-м испытании неудача. Тогда случайные величины £j, г = 1,... ,п, независимы и

П

"п(р) =

t=i Из Е1) и (МС.8) легко следует, что

Ei/n(p) = пр, V (i/n(p)) = «р(1 - р)-

2. Пуассоновское распределение. Дискретная случайная величи­ на П(Л), принимающая значения к = 0,1,... с вероятностями

называется пуассоновской случайной величиной с параметром Л. Пуассоновское распределение широко используется в теории мас­ сового обслуживания. Число Л носит название интенсивность. Непосредственные вычисления показывают, что

Е(П(Л)) = V(n(A)) = А.

называется равномерной на отрезке (а,Ь]. Негрудно проверить,

4. Показательное (экспоненциальное) распределение. Непре­ рывная случайная величина X , плотность распределения которой задается формулой

j Хе~Хх, ® ^0 ,

|0 , х < О,

называется показательной или экспоненциальной с параметром Л. В широком числе случаев показательное распределение описы­ вает время безотказной работы прибора, при этом число Л интер­ претируется как интенсивность отказа. Это распределение нахо­ дит также широкое применение в демографии. Как и раньше, с помощью несложных вычислений получаем

Е(Х) = ± V(X) = - I

5. Нормальное (гауссовское) распределение. Непрерывная слу­ чайная величина X, плотность распределения которой задается формулой

( х - т ) 2\

1 6 Д, m € R, о > 0.

2в2 У

называется нормальной или гауссовской с параметрами т и о2. Часто используется обозначение X ~ N(m,iт2). Нормальная слу­ чайная величина с m = 0 и <г2 = 1 называется стандартной нор­ мальной величиной. Если X ~ N(m,(T2), то случайная величина

Z = (X - пг)/сг является стандартной нормальной. Гауссовское