книги / Прикладной статистический анализ в горном деле (Многомерная математическая статистика)

По виду обоих графиков можно заключить, что выборочная плотность распределения остатков имеет выбросы, при удалении которых остатки аппроксимируется нормальным законом распределения, что является признаком адекватности построенной модели прогноза.

Кроме того, в правильно подобранной модели остатки будут очень похожи на белый шум: в них не будет периодических колебаний, систематических смещений, явно выраженного тренда. Дисперсия остатков будет примерно одинакова на всем протяжении ряда, остатки будут независимы (между ними не будет сильных корреляций).

Рис. 6.54. Нормальный вероятностный график остатков прогнозируемых значений переменной KCl

Чтобы убедиться, что все высказанные выше предположения справедливы для нашего ряда, построим график остатков

(рис. 6.55).

На графике видны выбросы в отрицательной области.

Для проверки отсутствия корреляции между остатками перейдем на вкладку «Автокорреляции» и построим графики автокорреляционной функции (рис. 6.56, а) и частной автокорреляционной функции (рис. 6.56, б) ряда остатков.

261

Таблица 6.12

Значения статистических характеристик остатков временного ряда: слева – остатки всего; справа – ряд с удалёнными выбросами

По минимальному значению (– 0,388) не проходит четыре наблюдения. Скорее всего это выбросы, для их объяснения потребуется дополнительные знания об особенностях залегания пласта в местах отбора этих проб и характере их отбора. Если не удаётся изыскать причины низких концентраций полезного компонента, временной ряд можно сгладить.

После удаления тренда остаток имеет стандарт, равный 0,73. Среднее близко к нулю (0,002), минимум равен 0,75, максимум – 0,16. После проведения ARIMA стандарт остатков составил 0,13. Таким образом, уменьшение разброса составляет величину 0,73 : 0,13 = 5,6.

263

7. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ И ИХ УСТРОЙСТВО

7.1. Введение в нейронные сети. История нейронных сетей

В цитируемых ранее работах [1; 23; 27; 35; 61; 66] освещены традиционные методы регрессионного анализа, временных рядов и случайных функций, решающие подобные задачи. Особенно привлекательны методы, основанные на основах самоорганизации. В горном деле имеются примеры использования метода группового учёта аргументов (МГУА) [31]. В последнее время в разных отраслях применяются искусственные нейронные сети (ИНС), имеющие аналогичный МГУА подход. Математический аппарат нейронных сетей широко освещён в технической литературе [4; 5; 18; 75; 82], имеются и примеры использования его аналогов в геометризации месторождений полезных ископаемых [31].

Нейронные сети начинали развиваться с работ МакКаллока и Питтса. В 1943 г. они разработали модель нейронной сети на основе имеющихся на то время исследований деятельности головного мозга. В основе их предположения заложена аналогия нейронов, алгоритм которой оперирует двоичными числами. В 1957 г. Френком Розенблаттом был разработан перцептрон, который и стал прообразом искусственного интеллекта на основе двуслойной обучающейся нейронной сети. Через несколько лет был продемонстрирован первый действующий образец, который был способен обучаться и распознавать некоторые буквы.

По мере своего развития нейронные сети стали формироваться в новую вычислительную технологию, способную дать новые подходы к исследованию сложных задач в различных отраслях и получению приемлемых результатов. Первоначально они использовались в области распознавания образов, предоста-

264

вив новые возможности, позднее нейронные сети внедрились в технологию поддержки принятия решений. Используются они и для решения задач в сферах геологии, горного дела и других отраслях. Способность к работе с зашумленными данными, описанию динамических процессов позволяют применять нейронные сети для решения большого класса задач. Это задачи на распознавание образов, аппроксимация грубых данных, оптимизация, прогноз, диагностика, обработка сигналов, управление процессами, ассоциативный поиск, классификация и др. Таким образом, преимущества технологии нейронных сетей предоставляют в горной промышленности еще одну возможность для решения задач в дополнение к ранее используемым традиционным методам исследования.

Всередине прошлого века среди ученых было выдвинуто множество суждений о том, как должна быть реализована и по какому принципу будет функционировать типовая ЭВМ. К тому моменту уже было предложено несколько вариантов архитектуры компьютера. В настоящее время выбрана и используется практически на всех существующих компьютерах архитектура машины фон Неймана, которая получила название нейросетевого компьютера, или просто нейросети.

Вбиологии нейронной сетью называется некоторая совокупность нейронов, связанных между собой. Каналы связи именуются синапсами (рис. 7.1). Если программа построена по структуре нейронной сети, появляется возможность на компьютерном уровне выполнить некоторые математические действия над входными данными и выдать результат. Таким образом, нейронные сети и входные данные для них представляют собой упрощённую модель биологического аналога – человеческого мозга. Поскольку человеческий мозг сложен и детально не изучен, человек пока не способен воссоздать механизм его функционирования в полной мере. Тогда под искусственной нейронной сетью будем понимать такую программу, которая основана на принципах работы головного мозга.

Нейронная сеть (НС) – это совокупность нейронов, определённым образом связанных между собой [5; 18]. Каждый из

265

этих нейронов получает данные, преобразовывает их и передаёт другому нейрону. Все нейроны имеют одинаковый механизм обработки сигналов, но результат получается различный. На результат влияют синапсы, именно они и объединяют нейроны друг с другом. Каждый нейрон имеет множество синапсов, которые ослабляют или усиливают сигнал. Корректно назначая параметры синапсов, мы сможем получать на выходе результаты преобразования входной или промежуточной информации.

7.2. Искусственный нейрон

Нейрон представляет собой вычислительный элемент, который может получать информацию, производить над ней простые действия и передавать ее дальше. Нейроны можно разделить на три основных типа [18; 75; 80] (см. рис. 7.1) – входной (многоугольник), скрытый (окружность) и выходной (ромб).

б– нейроны входного слоя; в – нейроны скрытых слоёв (показан один слой); г – нейроны выходного слоя; д – вектор выходных сигналов

При решении простейших задач нейронная сеть состоит из малого количества нейронов, которые группируются в нейроны входного слоя и нейроны выходного слоя. Сложные процессы требуют для адекватного описания значительный состав нейронов, тогда в нейросети формируются дополнительно скрытые слои. В одном слое нейроны между собой никак не свя-

266

заны, но связаны с нейронами предыдущего и следующего слоев (см. рис. 7.1). Информация в искусственных нейронных сетях передаётся с первого на второй слой, со второго на последующий и т.д. [18]. Соответственно, есть входной слой (слой входных нейронов), он получает информацию от входных данных, может иметься n скрытых слоев нейронов (обычно их не больше трех), каждый из которых ее обрабатывает и передаёт на следующий слой. А последним в этой структуре располагается выходной слой нейронов, который и выводит результат.

У каждого из нейронов есть два основных параметра [18]:

•входные данные (input data),

•выходные данные (output data).

Нейрон характеризуется текущим состоянием, он имеет определенное количество входов – дендридов и единственный выход – аксон (рис. 7.3). Входные сигналы от исходных данных или нейронов предыдущего слоя до текущего нейрона доносят синапсы. Интенсивность сигнала, который получает нейрон, и возможность его активации определяются активностью синапсов [72]. Сигнал с синапсов приходят сначала на дендриты, где каждый сигнал умножается на соответствующий вес, и доставляется к нейрону (рис. 7.2).

Нейрон обычно пассивен. Когда суммарный уровень взвешенных сигналов, пришедших в его ядро от дендритов, становится выше априори заданного уровня (его именуют порогом активации), нейрон становится активным. У того нейрона, у которого вес будет больше, его информация и будет доминирующей в нейроне следующего слоя. Если вес сигнала не достигнет порога активации, нейрон не активируется и не сможет передать сигнал дальше. Прежде чем от нейрона сигнал поступит на синапсы для следующих нейронов (см. рис. 7.3), он проходит через аксон. Именно с аксона сигнал (возбуждения или торможения) будет доставлен в точку ветвления. Если порог активации достигнут, информация преобразовывается в аксоне с помощью функции активации (пока что просто представим ее как f(Р)) и

267

попадает на выход (или в точку ветвления для передачи через входной синапс какого-нибудь нейрона следующего слоя) [18]. Точка ветвления (выход) – это конечный узел искусственного нейрона, на её вход обычно попадает выходной сигнал функции активации, который затем посылается на входы других нейронов. Выбор активационной функции зависит от особенности поставленной задачи либо от индивидуальностей некоторых алгоритмов обучения.

Синапс – это канал связи между двумя нейронами соседних слоёв (в ряде программных продуктов связи могут присутствовать не только между соседними слоями). Наличие такой связи позволяет изменять входную информацию, когда она передается от одного нейрона к другому. У дендритов есть вес. Допустим, есть 4 нейрона, каждый из них передаёт информацию нейрону следующего слоя. В этом случае у сети имеются 4 веса, соответствующих каждому из этих нейронов. Синапсы передают этот сигнал до дендритов других нейронов, которые могут, в свою очередь, также активироваться.

Рис. 7.2. Веса синапсов

Таким образом, интенсивность сигнала, получаемого нейроном (а также и возможность его активации), сильно зависит от активности дендритов [74]. Для упрощения изложения в литературе иногда дендриты объединяют с синапсами. Тогда вес дендрита присваивают синапсу, как показано на рис. 7.3.

268

скольким входным связям. Каждый входной сигнал направляется на синапс, имеющий определенный вес. Вес синапса связан с активностью нейрона, причём у каждого нейрона имеется некоторое пороговое значение. Вычисляется взвешенная сумма входов, из нее вычитается пороговое значение и в результате получается величина активации нейрона (она ещё именуется постсинаптическим потенциалом нейрона – PSP);

2) в аксоне сигнал активации преобразуется с помощью функции активации (или передаточной функции). И в итоге генерируется выходной сигнал нейрона.

В том случае, когда используется ступенчатая функция активации нейрона (выход нейрона равен нулю, если вход отрицательный, и единице, если вход нулевой или положительный), такой искусственный нейрон будет работать точно так же. Но пороговые функции редко используются в искусственных нейронных сетях, а вот веса могут иметь и отрицательное значение – в этом случае синапс оказывает на нейрон не возбуждающее, а тормозящее воздействие [72].

Простейшая сеть имеет последовательную структуру передачи импульса: сигналы проходят от входов через внутренние компоненты и в конце концов приходят на выходные элементы. В обратном направлении сигнал не распространяется, в связи с чем такие сети получили наименование «сети прямого распространения». Такая структура имеет устойчивое поведение.

В некоторых нейросетевых моделях сеть может содержать связи, направленные назад, от дальних слоёв нейронов к более ближним к входу слоям нейронов. В этом случае сигнал передаётся на дендриты нейрона предыдущих слоёв. Такая сеть будет рекуррентная (или сеть с обратными связями), она может быть неустойчива и может иметь очень сложную структуру. Рекуррентные сети представляют большой интерес для исследователей в области нейронных сетей, однако при решении практических задач наиболее полезными оказались структуры прямой передачи [72].

270