8124

инициализации весов сигмоидных нейронов, чтобы предотвратить насыщение. Например, если исходные веса имеют слишком большие значения, большинство нейронов перейдет в состояние насыщения, в

результате чего сеть будет плохо обучаться.

Сигмоидальная функция является:

•непрерывной;

•монотонно возрастающей;

•дифференцируемой.

Функция активации гиперболический тангенс

В данной работе в качестве активационной функции для скрытых и выходного слоев используется гиперболический тангенс. Это обусловлено следующими причинами:

•симметричные активационные функции, типа гиперболического тангенса обеспечивают более быструю сходимость, чем стандартная логистическая функция;

•функция имеет непрерывную первую производную;

•функция имеет простую производную, которая может быть вычислена через ее значение, что дает экономию вычислений.

81

График функции гиперболического тангенса показан на рисунке:

Функция активации ReLU

Известно, что нейронные сети способны приблизить сколь угодно сложную функцию, если в них достаточно слоев и функция активации является нелинейной. Функции активации вроде сигмоидной или тангенциальной являются нелинейными, но приводят к проблемам с затуханием или увеличением градиентов. Однако можно использовать и гораздо более простой вариант — выпрямленную линейную функцию активации (rectified linear unit, ReLU), которая выражается формулой:

График функции ReLU в соответствии с рисунком ниже:

82

Из недостатков можно отметить, что ReLU не всегда достаточно надежна и в процессе обучения может выходить из строя («умирать»).

Например, большой градиент, проходящий через ReLU, может привести к такому обновлению весов, что данный нейрон никогда больше не активируется. Если это произойдет, то, начиная с данного момента, градиент,

проходящий через этот нейрон, всегда будет равен нулю. Соответственно,

данный нейрон будет необратимо выведен из строя. Например, при слишком большой скорости обучения (learning rate), может оказаться, что до 40% ReLU «мертвы» (то есть, никогда не активируются). Эта проблема решается посредством выбора надлежащей скорости обучения.

Практическая часть

Необходимо разработать приложение для классификации двумерных изображений хроматомасспетрограмм для экспресс диагностики онкологических заболеваний.

Описание базы данных

Для выявления метаболических профилей онкологических заболеваний были сформированы группы пациентов с клинически подтвержденными формами рака, в том числе рака желудка, рака легкого, рака кишечника, рака пищевода. Выбор именно этих форм онкопатологии обусловлен тем, что в российской статистике смертности они занимают лидирующие позиции.

Анализ состава летучих метаболитов мочи проводили методом газовой хромато-масс-спектрометрии (ГХ-МС). Для подготовки пробы использовали метод твердофазной микроэкстракции (ТФМЭ), при котором забор летучих метаболитов осуществляется с помощью специального волокна, входящего в состав шприца.

84

15 мин в нем происходит адсорбция летучих веществ. Затем волокно втягивается в иглу, извлекается из пузырька.

4. Игла помещается в испаритель хроматографа, где происходит десорбция летучих веществ и разделение их на компоненты. Через 6 мин после включения режима исследования шприц извлекается из испарителя. Через 75

мин процесс анализа завершается и формируется хромато-масс-

спектрограмма, представляющая собой развертку во времени сигнала с выхода масс-спектрометрического детектора представлен пример изображений хромато-масс- спектрограмм. Уровень сигнала на выходе детектора кодируется яркостью изображения.

Стандартной процедурой обработки хромато-масс-спектрограмм является идентификация веществ, соответствующих выделенным в хромато грамме пикам, путем сопоставления полученных и эталонных массспектров.

Из полученного перечня исключались вещества, выделяющиеся с поверхности колонки и других узлов хроматографа.

Эталонные масс-спектры берутся из библиотек масс-спектральных данных NIST 17 которые подключаются к программам, как правило,

входящим в состав масс-спектрометрического оборудования. Далее определялась частота выявления каждого метаболита в различных группах и формировались их метаболические профили. Для этого выделялись те метаболиты, количество которых более чем на 20% выше в одной группе по сравнению с любой другой группой. После проведения данной процедуры были выявлены метаболические профили для каждого заболевания и для контрольной группы, представленные.

Необходимо разработать модель сверточной нейронной сети со

следующей архитектурой:

1 слой - Слой свертки с ядром 3х3, принимает на вход одноканальное

изображение, выдает на выход 32 канальное изображение

86

2 слой – Слой прореживания, принимает на вход 32 канальное изображение, выдает на выход тоже 32 канальное изображение, но в два раза уменьшает высоту и ширину изображения

3 слой - Слой свертки с ядром 3х3, принимает на вход 32 канальное изображение и выдает на выход 32 канальное изображение

4 слой - Слой прореживания, принимает на вход 32 канальное изображение, выдает на выход тоже 32 канальное изображение, но в два раза уменьшает высоту и ширину изображения

5 слой - Слой свертки с ядром 3х3, принимает на вход 32 канальное изображение и выдает на выход 64 канальное изображение

6 слой - Слой прореживания, принимает на вход 64 канальное изображение, выдает на выход тоже 64 канальное изображение, но в два раза уменьшает высоту и ширину изображения

7 слой - Слой свертки с ядром 3х3, принимает на вход 64 канальное изображение и выдает на выход 64 канальное изображение

8 слой - Слой «выравнивания». Преобразует трехмерный тензор с выхода 7 слоя в одномерный тензор (вектор)

9 слой – Слой последовательной нейронной сети, состоящий из 16

нейронов с функцией активации «relu»

10 слой – Слой последовательной нейронной сети, состоящий из 2

нейронов с функций активации softmax. Выдает вероятность принадлежности изображения к одному из классов – контрольная группа (норма) или группа пациентов с наличием злокачественных заболеваний.

87