книги / Непараметрическая статистика

ние на константу не влияет на качество тестовой статистики, получаем, что в указанном приближении оптимальная тесто­ вая статистика имеет вид

В лйтературе принято называть весовые коэффициенты aNj термином scores, который удобно перевести как в е с а (в

сделать это бывает затруднительно, и тогда можно сделать еще один шаг аппроксимации, заменив математическое ожи­ дание функции порядковой статистики функцией от матема­ тического ожидания порядковой статистики:

Основанием для такого шага является сходимость порядко­ вых статистик к квантилям (см. § 3.5) и предположение о гладкости усредняемой функции. В результате мы получаем линейные ранговые статистики вида

В силу сходимости порядковых статистик к квантилям, статистики (10.2.7) асимптотически эквивалентны статисти­ кам, основанным на весах aNl, получаемых по формуле

(10.2.4).

О тестах, основанных на линейных ранговых статистиках, можно сделать следующие утверждения:

1. Поскольку при нулевой гипотезе распределение ран­ гового вектора не зависит от вида распределения выборки,

275

такие тесты сохраняют уровень значимости при любых рас­ пределениях выборки.

2. Так как при сближении альтернативы с гипотезой (0-ИЗ) разница между линейной ранговой статистикой и ста­ тистикой отношения правдоподобия исчезает, ранговые тес­

вами, при 9-4-0 и Л^-э-оо, ранговые тесты являются асимпто­ тически оптимальными.

мым веса оказываются «привязанными» к конкретной паре (f, g). Это приводит к тому, что хотя уровень значимости не зависит от f, мощность заданного S -теста будет зависеть от того, каковы истинные f и g, и будет, конечно, максималь­ ной при их совпадении с теми, на основе которых вычислены веса aN. . Это и является причиной существования «предпоч­

тительных» распределений для каждого из ранговых тестов. 4. Аддитивная структура ранговых статистик обеспечи­ вает им асимптотическую нормальность при выполнении ус­ ловий центральной предельной теоремы. Для многих ранго­ вых тестов и конкретных f и g выполнение этих условий до­ казано строго (см. Чернов и Сэвидж [1], Гаек и Шидак [1], Гаек [1], [2], [3] и др.). Это существенно облегчает опре­ деление приближенных критических значений для соответст­ вующих тестов, а при асимптотической нормальности в слу­ чае истинности альтернативы — и вычисление мощностей или

констант эффективности.

§ 10.3. ф-ФУНКЦИИ ГАЕКА

Для построения конкретного рангового теста необходимо

и говорить, что веса aNl порождаются ф-функцией. Хотя мно­

гие ранговые тесты были предложены различными авторами из других соображений*, введение ф-функций позволяет ал­ горитмически получать известные ранее и новые тесты.

* Интересно, например, отметить, что история знакового теста, который также относится к ранговым, восходит к 1710 году, когда Арбутнотт [1], анализируя с помощью знакового теста статистические данные о рожда­ емости мальчиков и девочек, обосновывал «мудрость провидения всевыш­ него».

2 7 6

Для каждого конкретного типа альтернативы ф-функции имеют свой вид. Например, для альтернатив сдвига

f x( F ~ 4 u ) )

(Эту формулу легко получить, задав масштабную альтерна­

и этот список можно продолжить.

Конкретная тестовая статистика получится путем вычис­

2 7 7

Аналогичным образом строятся тестовые статистики для других распределений и типов альтернатив.

§ 10.4. ОПРАВДАНИЕ КРАТКОСТИ ДАННОЙ ГЛАВЫ

Литература по ранговым тестам насчитывает сейчас мно­ гие сотни статей и большое количество монографий. Одна из них, отражающая современное состояние теории ранговых тестов и содержащая необходимые практические рекомен­ дации и таблицы и обширную библиографию, к настоящему времени переведена на русский язык. Это книга Я- Гаека и 3. Шидака [1], адресованная тем, кто хочет углубленно изу­ чить теоретические вопросы (отметим также книгу профессо­ ра Пражского университета Я- Гаека [1], предназначенную для лиц, интересующихся прежде всего приложениями; важ­ ные результаты по мощностным свойствам многих ранговых тестов содержатся в монографии Брэдли [1]). Поэтому мы

не будем в данной книге излагать другие вопросы теории, кроме уже обсужденных выше.

§10.5. ПРИМЕНЕНИЕ РАНГОВЫХ ТЕСТОВ К ЗАДАЧЕ ОБНАРУЖЕНИЯ СЛАБЫХ СИГНАЛОВ В ШУМАХ

Задача обнаружения слабых сигналов на фоне мешаю­ щих шумов относится к одной из важнейших прикладных за­ дач статистики. Многие области науки, техники, практики вообще сталкиваются с необходимостью ее решения, но, по­ жалуй, наиболее остро эта задача стоит в радиолокации и дальней связи. Этой задаче посвящено колоссальное количе­ ство статей, книг и диссертаций, хотя в принципе это «всего лишь» задача проверки статистической гипотезы об отсутст­ вии сигнала против альтернативы и его присутствии Эта проблема остается актуальной и сегодня и прежде всего по­ тому, что на практике все чаще приходится сталкиваться с более сложной помеховой ситуацией и использовать более сложные реальные сигналы, чем те, которые предполагаются в развитых до сих пор моделях.

Одна из современных ветвей теории обнаружения свя­ зана с неизвестностью или нестационарностью распределе­ ний, участвующих в задаче обнаружения. Это, естественно, привлекло интерес исследователей к непараметрическим ме­ тодам. Ранговые тесты при этом оказались как бы специаль­ но приспособленными к задаче обнаружения: их высокие ка­ чества проявляются именно в случае альтернатив, мало от­ личающихся от гипотезы, что на инженерном языке как раз

278

и соответствует случаю слабых сигналов или, точнее, малых отношений сигнала к шуму.

Не претендуя на полноту, дадим краткий обзор работ, посвященных использованию ранговых процедур для целей обнаружения. Можно выделить три основных группы таких работ.

Работы первой группы посвящены изложению и разви­ тию теории ранговых тестов применительно к задаче обна­ ружения. Сюда следует отнести статьи Левина [1], Кушнира и Левина [1], посвященные асимптотической оптималь­ ности ранговых тестов; работу Антоняка и Дилларда [1], в которой рассматривается последовательный вариант ранго­ вой процедуры; статью Вольфа и Гаствирта [1], затрагиваю­ щую интересный и важный вопрос о переходе от дискретной выборки к непрерывной реализации принимаемого сигнала (при использовании знакового теста). Лаиниотис [1] пред­ ложил модификацию знакового теста, сводящуюся к вве­ дению более чем одного опорного квантиля; Тарасенко и Шуленин [3] уточнили вопрос о выборе оптимальных опор­ ных квантилей для этой процедуры. Если опорный квантиль неизвестен, кажется естественной модификация теста, сос­ тоящая в использовании оценки этого квантиля вместо его истинного значения. Однако Гаствирт [1] показал, что такой модифицированный знаковый тест теряет непараметричность: уровень его значимости очень сильно зависит от истинного распределения. Практическая необходимость обнаружения сигнала в многоканальных системах потребовала развития теории многовыборочных ранговых тестов. Некоторые резуль­ таты в этом направлении содержатся в работах Карлайла [1], Дэли и Рашфорта [1], Столла и Курца [1], Воински и Курца [1], Зигангирав [1] предложил своеобразный много­ выборочный ранговый тест, чувствительный как к альтерна­ тиве сдвига, так и к масштабной альтернативе.

Вторую группу работ образуют исследования свойств за­ данных ранговых тестов (прежде всего их эффективности) в различных конкретных условиях обнаружения. Вопросы об­ наружения в гауссовом шуме с помощью коррелятора сов­ падений полярностей рассмотрены Вольфом, Томасом и Виль­

нова также в предположении белого гуассова шума. Случай цветного шума рассмотрен у Карлайла [1]. Многочислен­ ные варианты возникают при конкретизации свойств полез­ ного сигнала. Обнаружение сигналов известной формы (при­ водящее, естественно, к ранговым статистикам корреляцион­ ного типа) исследовалось Вольфом и Гаствиртом [1], Грёне-

279

вельдом [1], Томасом . ш . Левиным и Кашмиром [1], Кушниром и Левиным [1]. Обнаружение стохастических сигна­ лов рассматривали Левин и Кушнир (в двух только что упо­ мянутых статьях) и Грёневельд [1]. Специфика обнаруже­ ния амплитудно-модулированных и фазово-модулированных сигналов учтена Левиным и Рыбиным [1, 2], а также Кушниром [1]. Особенности радиолокационного обнаружения (т. е. обнаружения в одной из многих ячеек разрешения по измеряемому параметру) рассмотрены Антоняком и Диллар­ дом [1]; интересный вариант обнаружения сигнала в одной из частотных ячеек исследовал Воински ш -

Исследования первых двух групп носят теоретический ха­ рактер. По существу, они отвечают на вопросы, какими дол­ жны быть структура и алгоритм работы ранговых обнаружи­ телей и какими свойствами будут обладать эти ранговые об­ наружители, е с л и их р е а л и з о в а т ь . Однако реализа­ ция ранговых тестов на практике наталкивается на ряд труд­ ностей. Некоторые простые тесты (такие, как знаковый, или коррелятор полярностей) требуют порядка N операций, но имеют низкие эффективности. Более сложные и более мощ­ ные тесты требуют вычисления рангов; при этом необходимо запоминание всех выборочных значений, а число операций над ними достигает N2. Кроме того, необходимо вычисление (или запоминание) всех весовых коэффициентов aN., причем

эти веса требуют пересчета при изменении объема выборки. Если учесть, что при обнаружении слабых сигналов объемы выборки велики (N может достигать порядка нескольких ты­ сяч), то работа ранговых обнаружителей в реальном мас­ штабе времени оказывается нереальной. Поэтому работы Фьюстела и Дэвиссона [1, 2, 3], посвященные поиску путей обхода этих трудностей, мы выделим в третью, самостоятель­ ную и специфическую группу работ.

Идея Фьюстела и Дэвиссона, как и все хорошие идеи, чрезвычайно проста и состоит в том, что можно разумным образом отказаться от оптимальности теста (тем более, что каждая тестовая статистика оптимальна лишь для конкрет­ ной альтернативы), упростить статистику, несколько проиг­ рав в эффективности, но зато существенно выиграв в прос­ тоте реализации. Для этого предлагается два (не исключаю­

ф-функции, что даст существенное упрощение в вычислении весов. (Расчеты показывают, что потеря эффективности при этом достигает всего нескольких процентов). Второй способ направлен на сокращение числа операций при упорядочива­ нии, опять-таки без значительных потерь в эффективности.

280

Л И Т Е Р А Т У Р А

А й р л э н д , К а л б э к (С. Т. I r e l a n d , S. K u l l b a c k ) . 1. Mini­ mum Discrimination Information Estimation. Biometrics, 1968, 24, N 3, 707—

1. Asymptotic theory of certain goodness of fit criteria based on stochastic processes. AMS, 1952, 23, 193—212.

А н т о н я к , Д и л л а р д (С. E. A n t o n i a k , G. M. D i l l a r d ) . 1. A distribution-free sequential probability-ratio test for multiple-resolution-

element radars. IEEE Trans., 1968, IT, Nov., 822—825.

А р б у т н о т т (J. A r b u t h n o t t ) . 1. An Argument for Divine Provi­

dence, taken from the constant Regularity observ’d in the Birth of both Sexes

one-sample distribution-free test and their two-sample extensions. AMS, 1966,

37, 120— 132.

Б e p к, С э в и д ж (R. Н. B e r k , I. R. S a v a g e ) . 1. The informa­ tion in a rank-order and the stopping time of some associated SPRT’s. AMS,

bution of Kolmogorov’s statistics for finite sample size. Journ. Amer. Statist. Assoc., 1952, 47, 425—440. 2. On the power of a one-sided test of fit for con­ tinuous probability functions. AMS, 1953, 24, N 3, 484—489.

2 8 2

Б и р н б а у м , Т и н г и (Z. W. В i г n b a u m, F. Н. T i n g e y ) . 1. One-sided confidence contours for probability distribution functions. AMS,

276. 2. Contributions to sample spacings theory, I: Limit distributions of sums of ratios of spacings. AMS, 1966, 37, 4, 904—924. 3. Contributions to sample spacings theory, II: Tests of the parametric goodness-of-fit and two-sample

v. 7, 251—256. 2. The limiting joint distribution of the largest and smallest

sampling theory for distributions approaching the uniform distribution. Z.

283

В а н И д е н К. (С. V a n E e d e n ) . 1. The relation between Pitman’s

width of classes for the chi-square-tests of goodness of fit. J. Am. Stat. Ass.,

effect of autoregressive dependence on a nonparametric test. IEEE Trans.,

relative efficiency of goodness-of-fit tests against scalar alternatives. J. Am.

284-