книги / Непараметрическая статистика

ность этих свойств состоит в том, что они проявляются неза­

при выполнении определенных требований к свойствам наблюдаемой случайной величины. Многие выдающиеся ма­ тематики приложили немало усилий к тому, чтобы ослабить эти требования; но практикам нелишне помнить, что иногда встречаются случаи, когда даже эти достаточно слабые ог­ раничения не выполняются.

Законы больших чисел и предельные теоремы являются классическими разделами современной теории вероятностей. Поэтому в данной главе будут приведены лишь основные ре­ зультаты; их доказательства читатель может найти, напри­ мер, у Б. В. Гнеденко [3], А. Реньи [2] и Д. Фрейзера [1].

Известно, что доказательства законов больших чисел базируются на неравенствах Маркова и Чебышева. Желая подчеркнуть, что эти неравенства сами имеют непараметри­ ческий характер (т. е. являются справедливыми для непа­ раметрического семейства функций распределения), мы об­ судим их в отдельном параграфе.

§ 6.2. НЕРАВЕНСТВА МАРКОВА И ЧЕБЫШЕВА

Для непараметрической статистики весьма важен ответ на следующий вопрос: что можно сказать о поведении вы­ борочных значений независимо от вида их распределения? Ответы типа «выборочные значения будут группироваться в основном в области наиболее вероятных значений» или «разброс выборочных значений связан с масштабным пара­ метром распределения» верны, но неконкретны. Конструк­ тивное значение имели бы лишь суждения, содержащие ко­ личественные характеристики. Поэтому большой интерес представляют знаменитые неравенства Маркова и Чебыше­ ва, являющиеся именно такими количественными утвержде­

113

случайная величина с произвольным распределением, имею­

Действительно, применив неравенство (6.2.1) к случайной величине Y— (X—М)2 и положив р = Я 21, мы получим (6.2.2).

Пользуясь неравенствами Маркова и Чебышева, мы мо­ жем сделать важные заключения о поведении случайной ве­ личины, которые справедливы для широкого класса распре­ делений. Например, если функция, обратная F(x), однознач­ на, то (6.2.1) можно записать в виде

F- 1 | l - —

откуда, в частности, следует, что верхний квартиль положи­ тельной случайной величины не может превышать ее учетве­ ренное среднее, а медиана — удвоенное среднее. С другой стороны, неравенство Чебышева выражает замечательный непараметрический факт: для любой случайной величины можно указать конкретные пределы, за которые ее реали­

суждений пришлось, однако, уплатить ценой некоторых ог­ раничений на классы возможных распределений: для нера­

реальных распределений границы Чебышева намного пре­ вышают истинные границы, определяемые заданной вероят­ ностью (см., например, А. Реньи [2], Ф. П. Тарасенко [3]).

Поэтому предпринимались попытки усилить неравенство Чебышева. Такую возможность предоставляет применение неравенства Маркова к различным положительным функци­

Мх—Е( |Х—М |а). Тогда из (6.2.1) имеем:

114

Выбор а, минимизирующего правую часть (6.2.3), даст не­ равенство, усиленное по сравнению с неравенством Чебы­ шева.

Аналогичные неравенства можно получить путем рас­ смотрения функции Y=exp[ e( X—М )]. Введем обозначение

Используя (6.2.6) и дополнительное условие ограниченности величины X, |А| < /( , С. Н. Бернштейн [1] получил весьма сильное неравенство

Р ( | X—М | ^ per) < 2ехр

(6.2.7)

§ 6.3. ЗАКОНЫ БОЛЬШИХ ЧИСЕЛ

Во многих случаях статистики S,\, с помощью которых выносятся статистические решения, имеют аддитивную струк­

туру, т. е. являются суммами некоторых случайных вели-

N

чин: S \ = h x l. Оказывается, что при определенных условиях i=i

поведение таких статистик при неограниченном возрастании объема выборки N не зависит от вида распределения исход­ ной выборки.

Совокупность таких утверждений об асимптотической сходимости статистик данного класса к определенным кон­ стантам известна под названием законов больших чисел. Непараметричность законов больших чисел представляет ин­ терес для непараметрической статистики, так как она не­ посредственно может использоваться и для синтеза и для анализа непараметрических процедур. Напомнив определе­ ние сходимости по вероятности (см. § 2.2), приведем основ­ ные формулировки законов больших чисел.

115

Т е о р е м а 6.3.1. (Теорема Бернулли). В последователь­ ности независимых испытаний относительная частота собы­ тия А сходится по вероятности к вероятности Р(А) собы­ тия А при неограниченном увеличении числа испытаний.

Относительная частота mlN может быть представлена в

мости от того, реализовалось или нет событие А в t-м испы-

верждает, что в данном случае эмпирическое среднее схо­ дится по вероятности к математическому ожиданию. Теоре­

Для одинаково распределенных величин можно доказать более сильный результат, не требующий существования дис­ персий слагаемых.

Т е о р е м а 6.3.3. (Теорема Хинчина). Если случайные величины Х\, Х2, ... независимы, одинаково распределены и имеют конечные средние М, то

lim i - .D ( 5 Ar)= 0 ,

N -+oojSJ^

ТО

N N

Важное значение имеют исследования Маркова, Берн­ штейна, Гнеденко, направленные на выяснение того, при ка­

для последовательности Хи Х2, ... как угодно зависимых случайных величин имело место

116

необходимо и достаточно, чтобы

Нш£

Дальнейшие исследования показали, что статистики ад­ дитивного типа не только сходятся к соответствующим сред­ ним по вероятности, как это утверждается законами больших чисел, но, начиная с некоторого N0, со сколь угодно близкой к единице вероятностью S N не выходит за пределы, сколь угодно близкие к среднему. Серия таких, более сильных, чем

последовательность независимых и одинаково распределен­ ных случайных величин, то существование математического

В частности, справедлива

ш

117

тер этих свойств выборки указывает теорема Шэннона-Мак­ миллана, которая утверждает, что все высоковероятные реа­ лизации выборки из дискретного распределения асимптоти­ чески равновероятны и что характеристическим параметром ансамбля этих реализаций является энтропия. (См., напри­ мер, Ф. П. Тарасенко [4]).

§ 6.4. ЦЕНТРАЛЬНЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ДЛЯ СУММ НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Всякое статистическое решение принимается на основе некоторой статистики S N= S ( x u ...,xN). Для количественной характеристики получаемых решений необходимо знание распределения случайной величины SN. Во многих случаях вычисление этого распределения даже при известном распре­ делении выборочных значений является весьма сложным. Однако, оказывается, что при выполнении определенных ус­ ловий распределение статистики SN при возрастании N стре­ мится к некоторому простому и известному распределению, вне зависимости от того, каков конкретный вид распределе­ ния выборочных значений. Такие утверждения называются предельными теоремами.

Вслед за классической теоремой Муавра-Лапласа целый

ограничимся перечислением основных предельных теорем для сумм независимых случайных величин.

Будем пользоваться обозначением

1 Л- _ £

(6.4.1)

ф { х ) = 7 Т * 1 е~ т‘‘и-

Начнем со следующего обобщения теоремы Муавра-Лап ласа:

118

kl<'y

то (6.4.2) имеет место для любой, подходящим образом вы­ бранной последовательности чисел {Л^} и (Вдг).

Теоремы 6.4.1 — 6.4.4 утверждают сходимость функции распределения стандартизованных сумм tN случайных вели­ чин Xt к интегральному нормальному распределению. Естест­ венно возникает вопрос, при каких условиях плотность ве­ роятностей величины tN сходится к плотности нормального распределения. Очевидно, эти условия будут более строгими,

чен Б. В. Гнеденко; основной результат можно сформулиро­ вать следующим образом:

ленные случайные величины, имеющие ограниченную плот-

равномерно по х стремится к плотности нормального распре­ деления:

Во многих приложениях предположение о независимости выборочных значений выполняется лишь приближенно, а иногда и заведомо не выполняется. Можно ожидать, что ут­ верждение о предельной нормальности сумм случайных ве­ личин останется в силе, если зависимость между слагаемыми будет «достаточно слабой» или если она сильна для сосед­ них выборочных значений, но убывает «достаточно быстро» при увеличении разности их номеров. В последние годы раз­ личные исследователи много внимания уделяют выяснению того, какие же зависимости являются достаточно слабыми

120

или достаточно быстро убывающими для того, чтобы можно было пользоваться нормальной аппроксимацией предельных законов распределения. Приведем здесь некоторые из резуль­ татов в этом направлении, ориентированные на непараметри­ ческую статистику.

Примером последовательности случайных величин, зави­ симость между которыми не связана с их номерами в выбор­ ке, но является достаточно слабой при достаточно больших объемах выборки, могут служить компоненты Ri, R2, ..., R,v рангового вектора при равновероятности перестановок выбо­ рочных значений. В этом случае может быть доказана асимптотическая нормальность линейных ранговых ста­ тистик*.

где о=7 ^ 0 и ф — либо неубывающая на [0, 1] функция, либо>

функция, невозрастающая на [0, а] и неубывающая на [а, 1], для некоторого а е ( 0, 1).

Предположим, что

Тогда для любого е> 0 существует такое б= б(е, ф), что при выполнении условия

стантьг

121

при малых значениях |i—k\, но быстро ослабевает при уве­ личении |i—k\.

Удалось доказать центральную предельную теорему для так называемых m-зависимых процессов. Последовательность

т или больше соседних наблюдений, то оставшиеся две под­ последовательности будут независимыми. Обозначим

т-1

симая последовательность случайных величин с существую­ щими E(Ai) = p и £ ( | А г|3), то предельное распределение ве­

личины S v /yA/ нормально со средним y./Vp, и дисперсией А,

i4)=var(A?) + 2 [COV(A!A2) + ...+cov(A iA mц )].

Другой пример случайных последовательностей зависи­ мых случайных величин, для которых удается доказать цен­ тральную предельную теорему, дают марковские процессы. Правда, строгие доказательства удалось построить пока для случая однородных цепей Маркова с конечным числом состоя­ ний (см. А. Реньи [1]).

§6.6. О ПРЕДЕЛЬНЫХ РАСПРЕДЕЛЕНИЯХ НЕ НОРМАЛЬНОГО

ТИ П А

До сих пор мы обсуждали условия, при которых распре­ деления статистик аддитивнго типа сходятся к нормальному распределению. Возникает вопрос, существуют ли другие предельные распределения для сумм независимых случай­ ных величин? Оказалось, что нормальное распределение яв­ ляется не единственно возможным предельным законом.

122