Точно Не проект 2 / Не books / Источник_1

Формирование эталонов на основе решения задачи кластеризации можно рассматривать как один из подходов к обучению при распознавании образов.

Общая идея, лежащая в основе классификации по минимуму расстояния, предполагает, что все точки, представляющие объекты одного класса в пространстве признаков, расположены близко друг к другу, а точки различных классов удалены друг от друга на некоторое расстояние. В этом случае улучшить результаты классификации можно, если минимизировать расстояния между точками одного класса и максимизировать расстояния между точками разных классов. С этой целью могут выполняться сложные линейные или нелинейные преобразования, деформирующие пространства признаков [26]. Из-за сложности вычислений геометрические методы распознавания используют в основном для иллюстрации других методов

8.3. Байесовский метод распознавания

Байесовский метод распознавания объектов предусматривает построение решающих правил на основе статистических свойств классов. Пусть x – вектор признаков, соответствующий ki классу. Априорная вероятность реализации класса ki равна Р(ki). Задача состоит в том, чтобы отнести входной вектор x к одному из известных классов с минимальной ошибкой. Считается, что система распознавания допускает ошибку, если относит к классу kj объект, на самом деле принадлежащий классу ki .

Если в результате измерений определить p(x | ki ) – плотность рас-

пределения вектора x при условии, что он принадлежит классу ki , то в соответствии с теоремой Байеса

j 1

где М – число классов. Выражение (8.6) определяет вероятность того, что наблюдаемый вектор x принадлежит классу ki.

Анализируя значения p(ki | x), можно вынести решение об отнесении наблюдаемого вектора к тому или иному классу. Решение об отнесении вектора x к классу ki можно считать оправданным, если для любого j выполняется условие:

терь устанавливает потери, равные нулю при правильной классификации и единице при ошибочной классификации. Отметим, что в этом случае потери одинаковы при любых неправильных классификациях.

Подставив (8.13) в (8.11), получим

применение байесовского правила (8.8) обеспечивает минимизацию (8.12) для случая функции потерь вида (8.13).

Структурная схема классификатора, функционирующего на основе правила (8.8), изображена на рисунке 8.4. [43].

Рисунок 8.4 – Структурная схема байесовского классификатора

Выражение (8.14) получено для случая фиксированной функции потерь, имеющей равные значения при отнесении объекта к любому ошибочному классу. Если функции потерь характеризуется различными значениями при отнесении объекта к тому или иному ошибочному классу, то применяется решающее байесовское правило вида

Конкретизируем данное выражение для случая М=2. Тогда

Так как плотность нормального распределения выражается экспоненциальной функцией, то представим решающую функцию di(x) p(x | ki)P(ki), соответствующую правилу (8.8), в виде:

Такое представление не меняет суть правила (8.8) в силу того, что натуральный логарифм – монотонно возрастающая функция. Поставив

(8.17) в (8.18), получим

сит от i. Решающая функция (8.19) определяет разделяющую поверхность, представленную суммой линейных и квадратичных членов. Если ковариационные матрицы для всех классов одинаковы, то (8.19) можно переписать в виде [43]:

Решающая функция (8.21) совпадает с решающей функцией (8.3), которая соответствует классификатору, функционирующему на основе минимума расстояния для случая единственного эталона класса. При этом в качестве эталона класса выступает вектор средних значений mi .

Вероятность ошибки байесовского классификатора при использовании решающей функции (8.20) зависит от расстояния Махалонобиса между классами ki и kj, представленных эталонами mi и mj :

d(ki,kj ) (mi mj)T C 1(mi mj ).

Вероятность ошибки монотонно убывает с ростом d(ki,kj ). При d(ki,kj)=11 вероятность ошибки меньше 0,05 [43].

возможность ее восстановления, то уравнение (8.24) не может быть задано в явной форме. В этом случае определение оптимального вектора w = w* осуществляется на основе алгоритмов обучения. Дискретный алгоритм обучения может быть записан в форме разностного рекуррентного уравнения

где wC(x[t],w[t 1]) – градиент функции потерь по аргументу w; [t]

– диагональная матрица коэффициентов, определяющая скорость сходимости алгоритма. Алгоритм обучения (8.25) позволяет по наблюдаемому век-

wC(x,w) накладывает определенные ограничения на характер изменения во времени матрицы коэффициентов [t]. С течением времени элементы матрицы [t] должны стремиться к нулю. Это обеспечивает сходимость векторов w[t] к оптимальному вектору w* с вероятностью единица. При этом элементы матрицы [t] должны уменьшаться таким образом, чтобы устранять влияние шума, но не настолько быстро, чтобы остановиться в точке, отличной от минимума [50]. Если [t] I [t], где I – единичная матрица, [t] – элемент последовательности уменьшающихся положительных чисел, то алгоритм обучения (8.25) соответствует методу стохастической аппроксимации. Примером последовательности [t] может служить гармонический ряд 1, 1/2, 1/3,…,1/t.

Отметим, что алгоритм обучения (8.15) может быть построен только для таких функций потерь C(x,w), для которых определен градиент

wC(x,w). Найдем градиент функции потерь (8.22). Представим решаю-

щую функцию f (x,w) в виде

8.5. Распознавание и обучение на основе моделей нейронных сетей

Коннекционистские модели машинного обучения используются в ИИ с момента появления персептрона Розенблатта. Название данных моделей происходит от английского слова connection (соединение, связь). В общем случае такие модели представляют собой сети, в которых узлы соединены направленными связями с определенными весами. Каждый узел выполняет обработку сигналов, поступающих на его вход, и рассматривается как некоторый процессорный элемент (ПЭ). Так как алгоритм функционирования процессорных элементов подобен алгоритмам преобразования информации в нервных клетках человека и животных – нейронах, то коннекционистские модели также называют искусственными нейронными сетями (ИНС). В этом случае узлы сети – это искусственные нейронные элементы.

За последние двадцать лет ИНС нашли широкое применение при решении самых разнообразных задач, к которым относят: распознавание рукописных знаков и речи, сжатие различных сигналов, обработка и понимание изображений, экспертные системы, оптимизация, прогнозирование и др.

Обучение ИНС сводится к модификации весов связей между нейронными элементами. Существуют три различных подхода к обучению ИНС: обучение с учителем, обучение с подкреплением, обучение без учителя (самоорганизующиеся нейронные сети). Ниже рассмотрим указанные модели обучения на примерах ИНС различной структуры. Однако предварительно введем основные понятия.

8.5.1. Модели нейронных элементов

Известно, что мозг человека содержит примерно 10¹¹ нейронов [47]. Каждый нейрон представляет собой живую клетку, состоящую из дендритов, сомы и аксона (рисунок 8.5). Дендриты – ветвеобразные отростки, которые обеспечивают сбор сигналов от других нейронов или рецепторов. Сома нейрона представляет тело клетки. В соме происходят сложные биохимические процессы, благодаря которым осуществляются нелинейные преобразования сигналов, поступающих через дендриты. Аксон является отростком клетки, по которому ее выходной сигнал поступает на дендриты других нейронов. Аксон разветвляется на большое число волокон. Место соединения волокон с дендритами называется синапсом.

Сигналы, распространяющиеся в биологической нейронной сети, представляют собой короткие электрические импульсы. Под воздействием