- •Линейные пространства векторов. Скалярное произведение. Понятие базиса и линейной независимости элементов линейного пространства. Преобразования базиса.
- •Определение матрицы. Операции с матрицами (умножение на скаляр, сложение, умножение матриц, транспонирование матриц). Обратная матрица и методы ее получения. Функции от матриц.
- •Производные. Необходимое и достаточное условие дифференцируемости функции. Частные производные. Полный дифференциал. Производная и дифференциал сложной функции.
- •Градиент функции. Производные по направлению. Необходимые и достаточные условия экстремума функции многих переменных. Условные экстремумы. Метод множителей Лагранжа.
- •Задачи аппроксимации функций (интерполяция, экстраполяция, приближение в среднем). Способы построения интерполяционного полинома. Аппроксимации на основе ортогональных базисов. Понятие сплайна.
- •Численные методы оптимизации: методы Ньютона и секущей, методы покоординатного и градиентного спуска. Улучшение сходимости градиентных методов.
- •Численные методы оптимизации, основанные на случайных числах. Метод Монте-Карло, линейный случайный поиск, метод оптимизации отжигом.
- •Прямые и итерационные методы решения систем линейных алгебраических уравнений. Методы для систем с матрицами специального вида (ленточные, треугольные, положительно-определенные).
- •Линейные пространства функций (примеры). Скалярное произведение и норма. Операторы над линейными пространствами функций. Функционалы. Собственные числа и функции оператора в пространстве l2.
- •Определение вероятности. Вероятностная модель и вероятностное пространство. Вероятность случайного события и методы ее статистического оценивания по выборке.
- •Модель случайной величины. Закон, функция, плотность распределения. Квантили и моменты распределений, методы их статистического оценивания по выборке.
- •Вероятностные и толерантные интервалы: сходства и различия. Понятия точечного и интервального оценивания. Доверительные интервалы. Несмещенные и эффективные оценки.
- •Параметрическое оценивание распределений случайной величины. Метод моментов. Метод наибольшего правдоподобия и его численная реализация. Способы проверки качества параметрического оценивания.
- •Статистические гипотезы и статистические критерии. Односторонние и двусторонние критерии. Критерии согласия. Параметрические критерии. Ошибки первого и второго рода. Мощность критерия.
- •Модель многомерной случайной величины. Совместные и условные распределения. Условные моменты распределений и их оценивание по выборке. Многомерное распределение Гаусса и его свойства.
- •Случайные процессы и временные ряды. Понятие стационарности. Ковариационная (корреляционная функция). Теорема Карунена-Лоэва. Спектральная плотность случайных процессов.
- •Алгоритмы на графах. Алгоритмы обхода (поиска на) графах. Обнаружение кратчайшего пути и минимального цикла в графе. Построение остовного дерева.
- •Основные понятия машинного обучения. Отличие машинного обучения от статистики. Методы на обучении с учителем. Методы на обучении без учителя. Метрики качества алгоритмов машинного обучения.
- •Цикл обучения. Понятия обучающей и тестовой выборки. Отложенная выборка. Кросс-валидация. Понятия недообучения и переобучения. Дилемма смещения и разброса. Размерность Вапника-Червоненкиса.
- •Понятия классификации и кластеризации. Метрические, иерархические, вероятностные методы классификации и кластеризации. Dbscan и kNn. Оценка качества классификации и кластеризации.
- •Понятие искусственной нейронной сети. Типы нейронных сетей. Понятие стохастического градиента для обучения нейронной сети. Многослойный перцептрон. Сверточные нейронные сети.
- •Методы снижения размерности данных. Метод главных компонент. Метод канонических корреляций. Методы факторного анализа. Нелинейные методы снижения размерности.
- •Принцип повышения размерности пространства. Метод опорных векторов. Понятие и свойства ядра. Метод Kernel-Trick.
- •Построение списка решений и дерева решений. Редукция деревьев решений. Понятие бэггинга и бустинга для деревьев решений. Случайный лес и способы его построения.
- •Обучение с подкреплением. Модели агентов и отклика среды. Задачи, решаемые обучением с подкреплением.
- •Ассоциативный анализ и задача о "покупательской корзине". Алгоритмы аprior и fp-Growth.
- •Способы представления знаний. Модели графов знаний. Полнота графов знаний. Методы прямого и обратного вывода по графам знаний. Онтологическая модель и средства ее реализации.
- •Экспертные методы в принятии решений. Принятие решений при многих критериях. Множество Парето. Экспертные системы поддержки принятия решений.
- •Методы машинного обучения для анализа текстовой информации. Понятие эмбеддинга. Методы построения и использования эмбеддингов при работе с текстом.
- •Генеративные методы машинного обучения. Генеративно-состязательные сети. Вариационные автокодировщики. Байесовские сети. Принципы работы, оценка качества.
Определение матрицы. Операции с матрицами (умножение на скаляр, сложение, умножение матриц, транспонирование матриц). Обратная матрица и методы ее получения. Функции от матриц.
Определение матрицы. Матрица – математический объект, записываемый в виде прямоугольной таблицы элементов кольца1 или поля (например, целых, действительных или комплексных чисел), который представляет собой совокупность строк и столбцов, на пересечении которых находятся его элементы. Количество строк и столбцов задает размер матрицы.
Операции с матрицами. Умножение на скаляр требует умножить все элементы матрицы на некоторое число.
Пусть , тогда .
Частный случай умножения матрицы на ноль дает ноль.
При сложении матриц происходит поэлементное сложение чисел.
Пусть и , тогда .
Результатом произведения двух матриц является матрица сумм поэлементного перемножения i-ой строки левой матрицы на j-ый столбец правой матрицы.
Пусть и , тогда . Следовательно,
Транспонированной матрицей называется матрица, полученная из исходной путем замены ее строк на столбцы:
Пусть , тогда
Обратная матрица и методы ее получения. Обратной матрицей называется такая матрица , при умножении на исходную получается единичная матрица (иногда обозначают ).
Есть несколько методов получения обратной матрицы:
Метод Жордана-Гаусса
С помощью матрицы алгебраических дополнений
С использованием LU или LUP разложений
Итеративные методы Шульца и Ньютона
Метод Жордана-Гаусса подразумевает использование вспомогательной единичной матрицы . Требуется путем линейных преобразований привести исходную матрицу к виду единичной матрицы . Каждое преобразование, применяемое к необходимо также выполнять и для вспомогательной , таким образом в конце череды линейных преобразований вспомогательная станет , а исходная сведется к :
Матрица алгебраических дополнений может быть использована для получения обратной матрицы, иногда этот метод можно увидеть, как аналитическое решение:
где – сопряженная матрица, полученная транспонированием кофакторной матрицы С, вычисляемой из алгебраических дополнений:
Функции матриц. В частном случае функцию от матрицы можно вычислить довольно просто, например, или многочлен . Но в общем виде так можно посчитать далеко не всякую функцию. Зато любую функцию можно применить к диагональной матрице:
Следовательно, если мы хотим описать применение функции к матрице в общем виде, это можно сделать следующим способом:
Т.е. фактически мы применяем функцию к диагонализированной матрице, после чего возвращаем результат в исходную квадратную форму.
Под подразумевается унитарная матрица, состоящая из собственных векторов матрицы .
Также можно обобщить применение некоторой функции к матрице через ряды Тейлора:
Тогда … Число элементов ряда зависит от требуемого уровня точности.
1Кольца представляют собой алгебраические структуры, обобщающие поля. Другими словами, кольцо - это множество, оснащенное двумя двоичными операциями, удовлетворяющими свойствам, аналогичным свойствам сложения и умножения целых чисел. Элементами кольца могут быть числа, но они также могут быть и нечисловые объекты.
Собственные числа матрицы и методы их получения. Характеристический полином. Свойства собственных чисел и собственных векторов для специфических видов матриц (симметричные, положительно-определенные). Понятие обусловленности и его характеристики.
Собственные числа матрицы, методы их получения. Характеристически полином. Собственный вектор – понятие в линейной алгебре, определяемое для произвольного линейного оператора1 как ненулевой вектор , применение к которому оператора даёт коллинеарный вектор – тот же вектор , умноженный на некоторое скалярное значение (которое может быть равно 0). Скаляр, на который умножается собственный вектор под действием оператора, называется собственным числом линейного оператора , соответствующим данному собственному вектору .
– собственные числа матрицы ;
– собственный вектор;
– единичная матрица.
Полученное выражение имеет нетривиальное ( только в том случае, если определитель характеристической матрицы равен нулю, т.е. матрица вырождена.
Корни характеристического полинома и есть собственные числа матрицы .
Свойства собственных чисел и векторов квадратных матриц.
Собственные вектора с различными собственными числами линейно независимы.
Нулевая или сингулярная матрица (вырожденная, т.е. определитель которой равен нулю) имеет нулевые собственные числа.
У квадратной матрицы не может быть собственного числа равного нулю.
Если – собственное число квадратной матрицы , то – собственное число матрицы, умноженной на скаляр .
Аналогично собственное число матрицы .
Аналогично собственное число матрицы .
Аналогично собственное число , где – полином, т.е. некоторая функция вроде квадратного уравнения, но вместо аргументом выражения является сама матрица .
Но при транспонировании собственное число матриц и остается прежним – .
Сумма собственных значений матрицы всегда равна ее следу .
Если размерности матриц и совпадают, то их левое и правое произведение имеет те же собственные числа.
Свойства собственных чисел и векторов симметричных матриц. Симметричные матрицы это квадратные матрицы, которые зеркально отражены по диагонали.
Все собственные числа симметричной матрицы вещественны (действительны).
Собственные вектора, принадлежащие различным собственным числам симметричной матрицы, ортогональны.
Для симметричной матрицы число ее собственных чисел, лежащих на некотором интервале, определяется по формуле:
– главные миноры исходной матрицы
– число знакопостоянств2
Существует ортогональная матрица , такая что:
где – диагональная матрица, полученная из исходной
Свойства собственных чисел и векторов положительно и отрицательно определенных матриц. «Определенные» матрицы являются подвидом квадратных симметричных матриц.
Все собственные числа положительно определенных матриц положительны.
Соответственно, у отрицательно определенных матриц собственные числа отрицательны.
*Собственные значения кососимметричных (зеркально отраженных по диагонали с изменением знака чисел на противоположный) матриц, либо мнимые, либо равны нулю.
Понятие обусловленности и его характеристики. Число обусловленности описывает устойчивость системы, т.е. насколько сильно изменится решение линейной системы уравнений при изменении на небольшое число. – не сингулярная матрица.
Более точно число обусловленности можно описать как максимальное отношение относительной ошибки решения к относительной ошибке аргумента . Пусть будет ошибкой аргумента , тогда будет ошибкой решения . Следовательно, по определению:
Это же определение верно для любой операторной3 нормы, которая удовлетворяет следующему выражению:
Определение зависит от выбора нормы. Например, для матричной нормы подчиненной Евклидовой норме, число обусловленности может быть вычислено как:
где и – максимальные и минимальные сингулярные значения . Если нормальная4 матрица, то
где и максимальные и минимальные собственные числа соответственно. Если унитарная5 матрица, то
1Оператор – это в общем-то некоторая «функция», применение которой отображает, т.е. преобразует, одно пространство в другое. В нашем случае под пространством понимается матрица, а в качестве линейного оператора выступает скалярное произведение на некоторую другую матрицу , но для простоты говорят, что и есть оператор, «применение» которого к , т.е. умножение на который, и дает искомый результат.
2Число знакопостоянств вычисляется буквально как число раз, когда знак следующего элемента в последовательности чисел не меняется.
3Операторна норма матрицы, индуцированная или подчиненная векторной норме. Грубо говоря, когда формула вычисления нормы может быть применена к матрице .
4Нормальной называют матрицу, которая коммутирует со своей транспонированной версией, , для комплексных матриц действует то же правило, только называется Эрмитовым сопряжением, потому что при транспонировании меняется знак мнимой части комплексного числа.
5Унитарная матрица или ортогональная матрица, название зависит от того комплексные или вещественные в ней числа, при умножении на саму себя транспонированную дает единичную матрицу , т.е. .