QalOGUGtk0

Второй способ – в виде матрицы R,размерности n n , где rij определяет степень близости i-ro объекта к j-му ( i, j 1,n )

R(rij ); i, j 1, n

2.Мера близости и матрица расстояний

В общем случае понятие однородности объектов задается либо введение правила вычисления расстояний (xi , x j ) между любой парой иссле-

дуемых объектов (x1,x2,...,xn), либо заданием некоторой функции r(xi , x j ) ,

характеризующей степень близости i-гo и j-гo объектов. Свойства (xi , x j ) :

(xi , x j ) 0 – неотрицательная определенность расстояния;

(xi , xi ) 0 – неразличимость тождественных объектов;

(xi , x j ) (x j , xi ) – симметричность расстояния;

(xi , x j ) (x j , xh ) (xi , xh ) – неравенство треугольника (длина любой стороны треугольника не больше суммы длин двух оставшихся).

r(xi , xi ) max r(x j , xi ) 1, при 1 i,j n,

i, j

монотонного убывания r(xi , x j ) по мере увеличения (xi , x j ) , т.е. из (xi , x j ) (xh , xg ) должно следовать неравенство r(xi , x j ) r(xh , xg ) .

0 r(xi , x j ) 1

Рассмотрим наиболее широко используемые в задачах кластерного анализа расстояния и меры близости.

Обычное Евклидово расстояние

это геометрическое расстояние в многомерном пространстве (наиболее общий случай):

71

где xir , ( x jr )- величины r -ой компоненты у i-го (j-гo) объекта (r

=1,2,...,k, i,j=l,2,...,n)

Использование этого расстояния оправдано в следующих случаях:

а) наблюдения берутся из генеральной совокупности, имеющей многомерное нормальное распределение с ковариационной матрицей вида

2 Ek , т.е. компоненты X взаимно независимы и имеют одну и ту же дисперсию 2 , где Ek - единичная матрица;

б) компоненты вектора наблюдений X однородны по физическому смыслу и одинаково важны для классификации;

в) признаковое пространство совпадает с геометрическим пространством.

Естественное с геометрической точки зрения евклидово пространство может оказаться бессмысленным (с точки зрения содержательной интерпретации), если признаки измерены в разных единицах. Чтобы исправить положение, прибегают к нормированию каждого признака путем деления центрированной величины на среднеквадратическое отклонение и переходят от матрицы X к нормированной матрице с элементами

t xir xr ir sr

где xir - значение r-го признака у i-гo объекта xr - среднее значение r-го признака;

ка.

Однако эта операция может привести к нежелательным последствиям. Если кластеры хорошо разделены по одному признаку и не разделены по другому, то после нормирования дискриминирующие возможности первого признака будут уменьшены в связи с увеличением "шумового" эффекта второго.

"Взвешенное" Евклидово расстояние

(2)

применяется в тех случаях, когда каждой компоненте xr вектора наблюдений X удается приписать некоторый "вес" r , пропорционально

72

степени важности признака в задаче классификации. Обычно принимают 0r 1, где r=1,2,...k.

Определение "весов", как правило, связано с дополнительными исследованиями, например, организацией опроса экспертов и обработкой их мнений. Определение весов только по данным выборки может привести к ложным выводам.

Квадрат евклидова расстояния (центроидное расстояние)

r 1

используется, чтобы придать большие веса более удаленным друг от друга объектам.

Расстояние Чебышёва

используется, когда необходимо определить объекты как различные, если они различаются по одному параметру

Расстояние городских кварталов (манхэттенское расстояние, Хеммингово расстояние).

Используется как мера различия объектов, задаваемых дихотомическими признаками. Это расстояние равно числу несовпадений значений соответствующих признаков в рассматриваемых i-м и j-м объектах. В большинстве случаев эта мера расстояния приводит к таким же результатам, как и для обычного расстояния Евклида. Однако для этой меры влияние отдельных больших разностей (выбросов) уменьшается (так как они не возводятся в квадрат).

Степенное расстояние.

где t и p - параметры, определяемые пользователем.

Применяется, когда желают прогрессивно увеличить или уменьшить вес, относящийся к размерности, для которой соответствующие объекты сильно отличаются. Несколько примеров вычислений могут показать, как "работает" эта мера. Параметр p ответственен за постепенное взвешивание

73

разностей по отдельным координатам, параметр t ответственен за прогрессивное взвешивание больших расстояний между объектами.

Если t = p = 2, то это расстояние совпадает с расстоянием Евклида. Если t = p = 1, то это расстояние совпадает с манхэттенским расстоя-

нием.

Если t = p = , то это расстояние совпадает с расстоянием Чебышё-

ва.

Процент несогласия.

Эта мера используется в тех случаях, когда данные являются категориальными.

Расстояние Махаланобиса

Используют в случае зависимых компонент x1,х2,...хk вектора наблюдений Х и их различной значимости в решении вопроса классификации. Расстояние связано с ковариационной матрицей генеральной совокупности, из которой извлекаются наблюдения, и симметрической неотрицательно определенной матрицей «весовых» коэффициентов , которая чаще всего выбирается диагональной. Сходно со взвешенным евклидовым расстоянием.

Расстояния между объектами, определяемые с помощью данных метрик, заносятся в симметричную матрицу расстояний D:

Меры близости всех кластеров объединяются в симметричную матрицу расстояний S (в качестве мер близости обычно используют коэффициенты корреляции):

Процедура образования кластеров при этом аналогична процедуре с использованием метрик.

74

По матрице расстояний можно построить диаграмму «паутинка», которая создается следующим образом:

1.Центром выбирается один из объектов.

2.Пропорционально матрице расстояний располагаются остальные объекты по мере удаления от центра диаграммы.

3.Расстояния между кластерами

В ряде процедур классификации (кластер-процедур) используют понятия расстояния между группами объектов и меры близости двух групп объектов.

Пусть Si- i-я группа (класс, кластер), состоящая из ni объектов;

xi - среднее арифметическое векторных наблюдений Si группы, т.е.

"центр тяжести" i-й группы;

(Sr , Sm ) - расстояние между группами srи sm.

Наиболее употребительными расстояниями и мерами близости между классами объектов являются:

- расстояние, измеряемое по принципу “ближайшего соседа”

- расстояние, измеряемого по принципу "дальнего соседа"

- расстояние, измеряемое по центрам тяжести групп – невзвешенный центроидный метод

-расстояние, измеряемое по центрам тяжести групп с использованием веса для учёта разницы между размерами кластеров (т.е. числами объектов в них). Поэтому, если имеются (или подозреваются) значительные отличия в размерах кластеров, этот метод оказывается предпочтительнее предыдущего – взвешенный центроидный метод.

-расстояние, измеряемое по принципу средней связи, определяется как среднее арифметическое всех попарных расстояний между представителями рассматриваемых групп – невзвешенное попарное среденее

-расстояние, измеряемое по принципу средней связи, идентично расстоянию невзвешенного попарного среднего, за исключением того, что при вычислениях размер соответствующих кластеров (т.е. число объектов, содержащихся в них) используется в качестве весового коэффициента. Поэтому предлагаемый метод должен быть использован (скорее даже, чем предыдущий), когда предполагаются неравные размеры кластеров.

-расстояние медианное - центр объединенного кластера вычисляется как медиана объединенных объектов.

75

- расстояние Варда (Уорда)- отличается от всех других, поскольку использует методы дисперсионного анализа для оценки расстояний между кластерами. Расстояние минимизирует сумму квадратов для любых двух кластеров. В целом представляется эффективным, однако стремится создавать кластеры малого размера.

Академиком А.Н.Колмогоровым было предложено "обобщенное расстояние" между классами, которое включает в себя в качестве частных случаев все рассмотренные выше виды расстояний.

Расстояния между группами элементов особенно важно в так называемых агломеративных иерархических кластер-процедурах, так как принцип работы таких алгоритмов состоит в последовательном объединении элементов, а затем и целых групп, сначала самых близких, а затем все более и более отдаленных друг от друга.

При этом расстояние между кластерами можно определить по линейной формуле

где l ,m (Sl , Sm ) ; l ,q (Sl , Sq ) ; q,m (Sq , Sm )

В этом случае кластеры m и q объединяются в новый кластер и требуется рассчитать расстояние от нового кластера до кластера l. Различные

где kl, km, kq – количество объектов в классах l, mи qсоответственно. При выборе метрики и метода кластеризации необходимо учитывать исходную форму представления данных, которые должны быть сопоста-

76

пользуются в задачах кластерного анализа для сравнения качества процедур разбиения.

обобщенная внутриклассовая дисперсия

xq - среднее значениеq-й компоненты, вычислено по наблюдениям l–

го классаобобщенная внутриклассовая дисперсия, в которой операция

суммированияWl заменена операцией умножения:

сосредоточены ли наблюдения, разбитые на классы, в пространстве размерности, меньшей, чем k.

78

Давидюк Е.С.

Решение задач по теме «Регрессионный анализ»

1. Основные определения

Опр.Результирующая (зависимая, эндогенная) переменная y – при-

знак, характеризующий результат или эффективность функционирования анализируемой экономической системы. Ее значения формируются в процессе и внутри функционирования этой системы под воздействием ряда других переменных и факторов. В регрессионном анализе результирующая переменная выступает в роли функции, значения которой определяются факторами, выступающих в роли аргументов.

Опр. Объясняющие (предикторные, экзогенные) переменные X (x1,..., xk ) - признаки, поддающиеся регистрации, описывающие усло-

вия функционирования изучаемой реальной экономической системы. Опр. Функция y f ( X ) называется функцией регрессии y по X

Опр.Регрессионный анализ - это статистический метод исследования зависимости случайной величины y от переменных X (x1,..., xk ) , рас-

сматриваемых в регрессионном анализе как неслучайные величины независимо от истинного закона распределения xi ,i 1,k .

Обычно предполагается, что случайная величина y имеет нормальный закон распределения с условным математическим ожиданием y f ( X ) , являющимся функцией от аргументов xi ,i 1,k , и с постоянной,

не зависящей от аргументов дисперсией 2 .

Для проведения регрессионного анализа из (к+1) -мерной генеральной совокупности ( y, x1,..., xk ) берется выборка объемом пи каждое i-ое

наблюдение (объект)характеризуется значениями переменных ( yi , xi1,..., xik ), где xij - значение j-ой переменной для i-го наблюдения ( i 1, n ), yi - зна-

чение результативного признака для i-го наблюдения.

Основными этапами построения регрессионной модели являются:

• построение системы показателей (факторов), сбор и предварительный анализ исходных данных, построение матрицы коэффициентов парной корреляции;

•выбор вида модели и численная оценка ее параметров;

•проверка качества модели;

•оценка влияния отдельных факторов на основе модели;

•прогнозирование на основе модели регрессии.

79