книги / Статистический анализ временных рядов

ется всего р диагональных элементов, равных 1. Все остальные диа­ гональные элементы этих матриц равны нулю. Учитывая, что зна­ чения vA, A = 1 , ..., Я, и du, i = 1 , ..., р, упорядочены одинаковым

образом, получаем отсюда, что те элементы с«\ которые равны 1 при некотором А, соответствуют последовательным значениям ин­

декса /. В силу положительной полуопределенности матрицы С<Л) из с(и = 0 вытекает,что и c'f = с]? = 0, } = 1, ..., р. Таким образом,

С(Л) имеет не более одного диагонального блока, отличного от нуле­ вого. Но тогда из (23) следует, что остальные недиагональные эле­

менты равны нулю и ранг C<ft) равен числу единиц на ее диагонали. Поэтому сумма рангов положительно полуопределенных матриц

С<Л), Л — 1, ..., Я, равна р, а ранг С(й> совпадает с рангом матрицы

матрицы С(Л). Поэтому число тех du, которые равны vA, не меньше ранга С(Л). Поскольку последнее утверждение справедливо для всех . А, это число в точности равно рангу С(Л). Пусть ненулевыми среди

приведенных ранее соображений ясно, что верхний левый угол мат­ рицы Lx есть единичная матрица, а верхний левый угол Lg являет­ ся нулевой матрицей, g ф l . Поскольку ранг Lx равен порядку матрицы I, то остальные элементы Lx равны нулю. Подобные же со­ ображения, примененные к следующей группе уравнений, показы­ вают, что L2 имеет единичную матрицу в следующем диагональном блоке и нули на остальных местах и т. д. В результате получаем, что каждая матрица Lg имеет диагональный блок, представляющий собой единичную матрицу, причем порядок этой матрицы равен рангу Lg.B

BXSX-1 = 1 тогда и только тогда, когда X с вероятностью 1 явля­

ется положительной постоянной.

= (х— ру г г (z'sz)-,z'z (Х—р) = р + 2 .

Равномерные распределения на областях, заключенных в пределах эллипсоидов (38) и (39), имеют те же самые векторы средних и те же ковариационные матрицы, что и оценки b и Ь* соответственно. Неравенство (36) означает геометрически, что эллипсоид (38) рас­ положен целиком внутри эллипсоида (39). Числитель первого и вто­ рого отношений в (37) пропорционален квадрату объема эллипсои­ да (38), а знаменатель пропорционален квадрату объема эллипсои­ да (39). (См. Т. Андерсон (1958).)

Теорема 10.2.3. Eff (b*) <; 1, причем Eff (b*) = 1 тогда и толь­ ко тогда, когда оценка наименьших квадратов совпадает с марков­ ской.

Для облегчения изучения эффективности оценок наименьших квадратов нам понадобятся некоторые алгебраические результаты.

Лемма 10.2.2. Если Z = WQ и матрица Q не вырождена, то эф­ фективность оценок наименьших квадратов коэффициентов регрес­ сии по г совпадает с эффективностью оценок наименьших квадратов коэффициентов регрессии'по W.

которое и является эффективностью оценок наименьших квадратов коэффициентов регрессии по W.B

Лемма 10.2.3. Если Z = KW и К'2К = 47, где К — ортогональ­ ная матрица, то эффективность оценок наименьших квадратов коэффициентов регрессии по Z, имеющей ковариационную матри­ цу 2, совпадает с эффективностью оценок наименьших квадра­ тов коэффициентов регрессии по W, имеющей ковариационную мат­ рицу 47.

Д оказательство. Эффективность оценок наименьших квадратов коэффициентов регрессии по Z, имеющей ковариационную матри­ цу 2, равна (37). Подставляя в (37) Z = KW и К'2К = Y (т. е. 2 =

618 ЛИНЕЙНЫЕ ТРЕНДЫ И СЛУЧАЙНЫЕ СОСТАВЛЯЮЩИЕ Гл. 10*

=* КЧГК')> получаем

а это и есть эффективность оценок наименьших квадратов коэффи­ циентов регрессии по W, имеющей ковариационную матрицу ? в

Предположим, что существует рх (0 < р2 < р) линейно незави­ симых линейных комбинаций столбцов матрицы Z, являющихся характеристическими векторами матрицы 2, и пусть эти линейные

комбинации заданы в виде ZGX= \*у Здесь pt является максималь­ ным числом таких линейно независимых комбинаций. Пусть мат­ рица G2 размера р X (р — рх) выбрана так, что ZG2 ортогональна ZGi. При этом справедливы соотношения (31) и (32). Положим (ZG1ZG2) = ZG = W = (WjWa). Тогда эффективность оценки наи­ меньших квадратов равна

WjWj о 2

| WjSWx I • I Wjs-'W! I ■I w'sw21 • I W'S-«W21

|W2W2 |»

|w;sw2| • |W'S->W2r

ввиду того, что Wx = Vi, где V* состоит из характеристических век­

торов 2 [т. е. Wi 2W X = ЛТ, Wi 2 - 1 W 2 = (Ai)~*]. Иными сло­ вами, эффективность оценки наименьших квадратов оказывается равной эффективности оценки наименьших квадратов коэффициен­ тов регрессии по части матрицы Z, ортогональной той части Z, коэффициенты которой удается эффективно оценить. Геометриче­ ская интерпретация этого факта состоит в том, что имеется такая Рх-мерная гиперплоскость, проходящая через р, которая имеет одно и то же пересечение с эллипсоидом (38) и с эллипсоидом (39). Отно­ шение объемов зависит при этом от длин главных осей, ортого­ нальных к указанному рх-мерному подпространству.

Доказательство, Утверждение леммы вытекает из результатов лемм 10.2.2 и 10.2.3.в

Если имеется некоторая информация о Z или о 25, то могут представлять интерес нижние границы эффективности оценок наименьших квадратов при этих условиях. Пусть, например, мат­ рица 25 известна, но этот факт не используется при оценивании. Насколько при этом могут оказаться неэффективными оценки наи­ меньших квадратов? Эта задача сводится к отысканию минимума (43) по всем матрицам W размера Т X р, таким, что W'W = I. [Минимизацию (43) можно выполнять на компактном множестве матриц W, так что минимум существует и достигается.]

Если р = 1, то (43) принимает вид

Л емма 10.2.5. (Неравенство Канторовича.) Если случайная ев' личина X такова, что 0 < т < X < ,М, то

(46) 8Х • %Х~1< (т+ М)3

4тМ

Доказательство. Если 0 < m < х < Л1, то

(47)0 < ( М — х)(х — т) — (М + т — х )х — Мт,

откуда

Поэтому умноженное на %Х математическое ожидание случайной величины УХ удовлетворяет неравенству

больший и наименьший характеристические корни матрицы 2, то

ветственно, нижняя граница в (51) достигается для Рг= Рн и Р/ =

Если р >- 2, то здесь уже не удается найти такой удовлетвори­ тельной нижней границы, которая была бы достижимой. Например, имеет место оценка

однако она не достижима. Ватсон (1967) получил другую оценку снизу:

При этом он привел два примера, в одном из которых лучшей ока­ зывается оценка (52), а в другом — оценка (53). [См. Ватсон (1955).!

Т еорема 10.2.5. Оценки наименьших квадратов являются эффек­ тивными для всех Z тогда и только тогда, когда матрица 2 отли­ чается от единичной матрицы I лишь скалярным множителем.

Д оказательство. Единственными матрицами, для которых все; векторы характеристические, являются матрицы, указанные в фор­ мулировке теоремы.н

Пусть в качестве примера А0 = 1, Ау = (В/ + В О, где

..., 1)', затем, если Т четное, 2 (—1)'у/, соответствующий характери­

этом, для каждого k — 1, 2, ..., [(7’ — 1)/2] корни имеют кратность, два. Соответствующая каждому двойному корню пара характери­ стических векторов, указанных выше, может быть заменена любой' парой линейных комбинаций этих векторов, образующей ортого­ нальное преобразование размерности два. Оценка наименьших квадратов будет здесь эффективной тогда и только тогда, когда р столбцов матрицы Z являются независимыми линейными комбина­ циями р из этих характеристических векторов.

10.2.3.Асимптотическая эффективность оценок наименьших квадратов

Пусть {щ} — случайный процесс с &ut = 0 и %utus — о (t — s). Положим

Если последовательные значения уи ..., ут для любого Т образуют вектор у, удовлетворяющий соотношениям (1) и (2) с р = (ръ РР)', Z = (га)' и 2 = [a (t — s)1, то марковская оценка и оценка наименьших квадратов вектора Р, а также ковариационные матрицы этих оценок выражаются соотношениями (3), (4), (5) и (6) соответст­ венно. Нас интересует сейчас вопрос о том, при каких условиях обе ковариационные матрицы (5) и (6) будут асимптотически экви­ валентны, в том смысле что

Нормировка предполагается здесь одинаковой для обеих матриц и такой, что пределы в (58) нетривиальны. Мы ставим этот вопрос и для одной заданной ковариационной последовательности {а (Л)}, и для класса всех ковариационных функций с непрерывными поло­ жительными спектральными плотностями. Такие задачи впервые были рассмотрены Гренандером (1954), Розенблаттом (1956), Гренандером и Розенблаттом (1957).

Для того чтобы получить ответ на подобные вопросы, необхо­ димо сделать определенные предположения о последовательности