Методическое пособие 620

115

10. Проверяется адекватность модели. В случае адекватности модели - окончание алгоритма. Если модель неадекватна, но возможно ее усложнение - переход к п.7, в противном случае необходима корректировка исходной выборки (увеличение ее объема, сокращение числа неточных измерений).

Схема алгоритма построения прогностических моделей приведена на рисунке 3.

Построение уравнений множественной регрессии часто производится путем так называемого пошагового (многошагового) анализа, в процессе которого производится формирование модели и с помощью статистикоматематических критериев завершается отбор факторов и уточняется форма связи каждого фактора с результативным признаком.

Определение числовых значений параметров уравнения множественной регрессии обычно производится методом наименьших квадратов, для чего строится и решается система нормальных уравнений.

Критерий метода наименьших квадратов можно записать таким обра-

зом:

Для линейной множественной регрессии

Y( x1 , x2 ,..., xm) =b0+b1x1+b2x2+b3x3+...+bmxm

система нормальных уравнений такова:

Коэффициенты при xi в уравнении множественной линейной регрессии показывают, на сколько в среднем изменяется результативный признак при увеличении соответствующего фактора на единицу и при фиксированном (постоянном) значении других факторов, входящих в уравнение регрессии.

116

Формирование множества показателей, идентефицирующих состояние объекта

Xi i 1,N

Выбор контролируемых показателей

Yi i 1,M

Проведение дисперсионного анализа для оценки качества показателей Yi

Фильтрация информации

Выбор оптимального Признакового пространства

Выбор вида модели

линейная неполная квадратичная квадратичная

Вычисление оценок коэффициентов уравнения регрессии

Рис. 6.3. - Схема алгоритма построения регрессионных моделей

117

Величина совокупного коэффициента корреляции по значениям парных коэффициентов может быть определена следующим образом:

Величина R2, называемая коэффициентом детерминации, показывает, в какой мере вариация результативного признака обусловлена влиянием при- знаков-факторов, включенных в рассматриваемое уравнение корреляционной зависимости.

Величина совокупного коэффициента корреляции изменяется в пределах от 0 до 1 и численно не может быть меньше, чем любой из образующих его парных коэффициентов корреляции. Чем ближе совокупный коэффициент корреляции к единице, тем меньше роль неучтенных в модели факторов и тем больше оснований считать, что параметры регрессионной модели отражают степень эффективности включенных в нее факторов.

Иногда рассеяние точек корреляционного поля настолько велико, что нет смысла пользоваться уравнением регрессии, так как погрешность в оценке анализируемого показателя будет чрезвычайно велика. Для всей совокупности наблюдаемых значений рассчитывается средняя квадратическая ошибка уравнения регрессии Se, которая представляет собой среднее квадратическое отклонение фактических значений yi , относительно значений, рассчи-

где Se - средняя квадратическая ошибка уравнения регрессии;

118

yi - фактические значения результативного признака, полученные

по данным наблюдения;

yi - значения результативного признака, рассчитанные по уравне-

нию корреляционной связи и полученные подстановкой значений факторного признака xi в уравнение регрессии;

m - число параметров в уравнении регрессии. А также определяется стандартная ошибка:

Чем меньше рассеяние эмпирических точек вокруг прямой, тем меньше средняя квадратическая ошибка уравнения. Таким образом, величина Se служит показателем значимости и полезности модели, выражающей соотношение между признаками.

Проверка адекватности модели - одна из важнейших процедур регрессионного анализа, поскольку исследователь должен удостовериться в том, что практическое использование полученной модели приведет к положительным результатам. При выборе структуры модели стремятся к тому, чтобы она была как можно проще, т.е. включала как можно меньше коэффициентов. Это так называемый принцип экономичности модели.

Сокращение числа коэффициентов облегчает как процедуру оценивания, так и использование модели.

После построения модели (уравнения регрессии) ее необходимо оценить и проанализировать.

Важное место при оценке модели занимает измерение тесноты связи. Общая дисперсия

является мерой колеблемости фактических (эмпирических) значений признака у около их средней величины. Она характеризует общую вариацию результативного признака у, объясняемую влиянием всех факторов, от которых он зависит. Отклонения yi y объясняются тем, что сочетание значений

факторов, влияющих на у, у каждой единицы совокупности является индивидуальным, различным.

119

Кроме общей дисперсии, на основе уравнения регрессии и отклонений yi y можно вычислить средний квадрат этих отклонений, т.е. средний

квадрат отклонений теоретических значений yi , рассчитанных по уравнению регрессии, от их средней величины (средняя величина yi равна общей сред-

ней y ):

числить средний квадрат этих отклонений, т. е. средний квадрат отклонений фактических значений результативного признака от теоретических его значений, полученных путем подстановки в уравнение регрессии соответствующих значений признака-фактора:

Это - мера колеблемости фактических значений у около соответствующих теоретических значений, т. е. около линии регрессии (остаточная дисперсия). В математической статистике

Для измерения тесноты связи между у и х логично поэтому использовать отношение факторной дисперсии к общей дисперсии результативного признака. Это отношение называется теоретическим индексом детерминации

(i2):

2

i2 2y . (6.23) y

Теоретический индекс детерминации показывает, какая часть общей вариации результативного признака-фактора у объясняется признакомфактором х, входящим в соответствующее уравнение регрессии.

В качестве показателя тесноты связи используется также квадратный корень из индекса детерминации, называемый индексом корреляции (i).

120

Показатели регрессии и корреляции - параметры уравнения регрессии, индексы или коэффициенты детерминации и корреляции, исчисленные для ограниченой по объему совокупности, могут быть искажены действием случайных факторов. Поэтому нужно проверить, насколько показатели характерны для того комплекса условий. в которых находится исследуемая совокупность, не являются ли они результатом стечения случайных обстоятельств. Проверка значимости (существенности) показателей регрессии и корреляции производится с помощью t- критерия (Стьюдента), дисперсионного F-критерия (Фишера):

где m - число параметров в уравнении регрессии.

Вычисленные по этим формулам значения t сравниваются затем с критическими их значениями при принятом уровне значимости и числе степеней свободы k=n-2. Критические значения t находятся по таблице распределения Стьюдента.

Расчетное значение F сравнивается с критическим (табличным) для принятого уровня значимости и чисел степеней свободы k1=n-1, k2=n-m. Если Fрасч>Fкр, то гипотеза об адекватности модели данным эксперимента принимается.

Оценка значимости коэффициентов регрессии с помощью критерия t часто используется для завершения отбора факторов в процессе шагового анализа. Наиболее известны две процедуры, которые реализованы в прикладных пакетах: последовательное увеличение и последовательное уменьшение группы независимых переменных. Например, последовательное уменьшение заключается в том, что после решения модели и оценки значимости всех коэффициентов регрессии из модели исключается тот фактор, коэффициент при котором незначим и имеет наименьший коэффициент доверия t. После этого модель пересчитывается и снова производится оценка значимости всех коэффициентов регрессии. Если среди них опять окажутся незначимые, то снова исключается фактор с наименьшим коэффициентом t.

121

Процесс исключения факторов продолжается до тех пор, пока не будет получено уравнение регрессии, все коэффициенты в котором значимы. Пошаговая регрессия применяется для минимизации количества независимых переменных, входящих в исследуемую модель.

6.4. Построение формализованных моделей на основе методов кластерного анализа

Для решения задач прогнозирования и выбора адекватных управляющих воздействий предлагается использовать формализованные модели, позволяющие в понятной и доступной форме представить различные классы объектов.

Постановка задачи моделирования имеет следующий вид. Имеется исходное множество объектов

странстве признаков (показателей) Pi . Каждому элементу gn множества G ставится в соответствие лингвистическая переменная ln (тип объекта).

Построение формализованных моделей заключается в разбиении мно-

где Z ij - значение параметров модели (эталон параметров),

L j - лингвистическое описание модели (класс объектов).

Для решения этой задачи предлагается два подхода: первый из них основан на прямой обработке статистической информации, второй - на классификационном методе.

122

При прямой обработке статистических данных критерием для классификации является значение лингвистической переменной ln . Число классов

(J) соответствует количеству возможных типов объектов для данной группы объектов (множества G).

Параметры модели рассчитываются следующим образом:

L j - определено однозначно для каждой группы (критерий классифи-

кации);

где Gj - множество объектов, вошедших в j-ю группу; N j - количество объектов, вошедших в j-е множество.

Данный метод хотя очень прост, но из-за большого количества рутинных операций весьма трудоемок. В результате субъективной оценки пара-

метров l значительна вероятность ошибки при разбиении исходного множе-

j

ства на группы и как следствие - вероятность неточной оценки параметров модели.

Подход, основанный на классификационном методе (кластерном анализе), лишен этих недостатков. В данном случае построение процедур классификации основано на минимаксном критерии. Суть данного метода заключается в интуитивном представлении понятия класса. Объекты объединяются в классы по следующему признаку: объекты внутри класса более «похожи» (более близки), чем объекты из различных классов.

Критерий качества кластеризации в той или иной мере отражает следующие неформальные требования:

а) внутри групп объекты должны быть тесно связаны между собой; б) объекты разных групп должны быть далеки друг от друга; в) при прочих равных условиях распределения объектов по группам

должны быть равномерными.

Узловым моментом в кластерном анализе считается выбор метрики (или меры близости объектов), от которого решающим образом зависит окончательный вариант разбиения объектов на группы при заданном алгоритме разбиения.

Для определения степени близости между объектами для различных типов данных могут быть использованы следующие показатели.

1. Для количественных шкал используется линейное расстоя-

ние

124

Количество групп для классификации устанавливается равным J, где J - число различных значений лингвистической переменной lj , соответствую-

ваются равными среднему значению параметров, вошедших в каждый класс: