- •Линейные пространства векторов. Скалярное произведение. Понятие базиса и линейной независимости элементов линейного пространства. Преобразования базиса.
- •Определение матрицы. Операции с матрицами (умножение на скаляр, сложение, умножение матриц, транспонирование матриц). Обратная матрица и методы ее получения. Функции от матриц.
- •Производные. Необходимое и достаточное условие дифференцируемости функции. Частные производные. Полный дифференциал. Производная и дифференциал сложной функции.
- •Градиент функции. Производные по направлению. Необходимые и достаточные условия экстремума функции многих переменных. Условные экстремумы. Метод множителей Лагранжа.
- •Задачи аппроксимации функций (интерполяция, экстраполяция, приближение в среднем). Способы построения интерполяционного полинома. Аппроксимации на основе ортогональных базисов. Понятие сплайна.
- •Численные методы оптимизации: методы Ньютона и секущей, методы покоординатного и градиентного спуска. Улучшение сходимости градиентных методов.
- •Численные методы оптимизации, основанные на случайных числах. Метод Монте-Карло, линейный случайный поиск, метод оптимизации отжигом.
- •Прямые и итерационные методы решения систем линейных алгебраических уравнений. Методы для систем с матрицами специального вида (ленточные, треугольные, положительно-определенные).
- •Линейные пространства функций (примеры). Скалярное произведение и норма. Операторы над линейными пространствами функций. Функционалы. Собственные числа и функции оператора в пространстве l2.
- •Определение вероятности. Вероятностная модель и вероятностное пространство. Вероятность случайного события и методы ее статистического оценивания по выборке.
- •Модель случайной величины. Закон, функция, плотность распределения. Квантили и моменты распределений, методы их статистического оценивания по выборке.
- •Вероятностные и толерантные интервалы: сходства и различия. Понятия точечного и интервального оценивания. Доверительные интервалы. Несмещенные и эффективные оценки.
- •Параметрическое оценивание распределений случайной величины. Метод моментов. Метод наибольшего правдоподобия и его численная реализация. Способы проверки качества параметрического оценивания.
- •Статистические гипотезы и статистические критерии. Односторонние и двусторонние критерии. Критерии согласия. Параметрические критерии. Ошибки первого и второго рода. Мощность критерия.
- •Модель многомерной случайной величины. Совместные и условные распределения. Условные моменты распределений и их оценивание по выборке. Многомерное распределение Гаусса и его свойства.
- •Случайные процессы и временные ряды. Понятие стационарности. Ковариационная (корреляционная функция). Теорема Карунена-Лоэва. Спектральная плотность случайных процессов.
- •Алгоритмы на графах. Алгоритмы обхода (поиска на) графах. Обнаружение кратчайшего пути и минимального цикла в графе. Построение остовного дерева.
- •Основные понятия машинного обучения. Отличие машинного обучения от статистики. Методы на обучении с учителем. Методы на обучении без учителя. Метрики качества алгоритмов машинного обучения.
- •Цикл обучения. Понятия обучающей и тестовой выборки. Отложенная выборка. Кросс-валидация. Понятия недообучения и переобучения. Дилемма смещения и разброса. Размерность Вапника-Червоненкиса.
- •Понятия классификации и кластеризации. Метрические, иерархические, вероятностные методы классификации и кластеризации. Dbscan и kNn. Оценка качества классификации и кластеризации.
- •Понятие искусственной нейронной сети. Типы нейронных сетей. Понятие стохастического градиента для обучения нейронной сети. Многослойный перцептрон. Сверточные нейронные сети.
- •Методы снижения размерности данных. Метод главных компонент. Метод канонических корреляций. Методы факторного анализа. Нелинейные методы снижения размерности.
- •Принцип повышения размерности пространства. Метод опорных векторов. Понятие и свойства ядра. Метод Kernel-Trick.
- •Построение списка решений и дерева решений. Редукция деревьев решений. Понятие бэггинга и бустинга для деревьев решений. Случайный лес и способы его построения.
- •Обучение с подкреплением. Модели агентов и отклика среды. Задачи, решаемые обучением с подкреплением.
- •Ассоциативный анализ и задача о "покупательской корзине". Алгоритмы аprior и fp-Growth.
- •Способы представления знаний. Модели графов знаний. Полнота графов знаний. Методы прямого и обратного вывода по графам знаний. Онтологическая модель и средства ее реализации.
- •Экспертные методы в принятии решений. Принятие решений при многих критериях. Множество Парето. Экспертные системы поддержки принятия решений.
- •Методы машинного обучения для анализа текстовой информации. Понятие эмбеддинга. Методы построения и использования эмбеддингов при работе с текстом.
- •Генеративные методы машинного обучения. Генеративно-состязательные сети. Вариационные автокодировщики. Байесовские сети. Принципы работы, оценка качества.
Модель случайной величины. Закон, функция, плотность распределения. Квантили и моменты распределений, методы их статистического оценивания по выборке.
Модель случайной величины. Модель случайной величины – это математическое описание случайного процесса или явления, которое может принимать различные значения с определенными вероятностями. В рамках модели случайной величины мы определяем закон распределения, функцию распределения и плотность распределения.
Закон, функция, плотность распределения. Закон распределения определяет вероятности различных значений случайной величины. Например, для дискретных случайных величин мы можем определить вероятности каждого возможного значения , где – вероятность значения ; а для непрерывных случайных величин мы определяем вероятность попадания в определенный интервал значений как интеграл от функции плотности вероятности . Часто можно встретить табличную форму закона распределения для дискретных чисел и график плотности вероятности в качестве закона распределения для непрерывной случайной величины.
Функция распределения определяет вероятность того, что случайная величина примет значение меньше или равное определенному числу. Функция распределения может быть определена как для дискретных в форме , так и для непрерывных случайных величин . Не следует путать функцию распределения вероятности и функцию плотности вероятности , хоть они и связаны между собой. Так функция плотности вероятности является производной функции распределения вероятности.
Плотность распределения (для непрерывных случайных величин или вероятностная масса (для дискретных случайных величин) определяет вероятность попадания случайной величины в определенный интервал значений.
Квантили распределения – это значения, которые разделяют распределение на определенные процентные части. Например, медиана – это квантиль, который разделяет распределение на две равные части. Также часто выделяют 25 и 75 перцентили, которые отсекают и всех наблюдений.
Моменты распределения – это числовые характеристики распределения, которые описывают его форму и свойства. Например, первый начальный момент – это математическое ожидание случайной величины, а центральный момент второго порядка – это дисперсия. Иногда упоминают и третий центральный момент, который отражает степень перекоса или, иначе говоря, асимметрию распределения. В общем виде начальный момент записывается как: , а центральный момент: , где степень определяет порядок момента. Для теоретических расчетов на примере непрерывно дифференцируемой функции на бесконечности запишем начальный момент в виде интеграла вида: , где – кумулятивная функция распределения вероятности, а – функция плотности вероятности. Аналогично выведем формулу для центрального момента: , где – начальный момент первого порядка. Если же оценивать эти величины исходя из конечной выборке, то интегрирование заменяется на сумму соответствующих значений: и .
Вероятностные и толерантные интервалы: сходства и различия. Понятия точечного и интервального оценивания. Доверительные интервалы. Несмещенные и эффективные оценки.
Вероятностные и толерантные интервалы. Доверительные интервалы. Доверительные интервалы – понятие, тесно связанное с определением вероятностного интервала1, предоставляет собой диапазон значений точечной оценки для некоторой выборки, внутри которого лежит истинное значение для генеральной совокупности2 в целом с заданным уровнем достоверности.
,
где – табличное критическое значение для распределения Стьюдента с заданным уровнем достоверности и степеней свободы;
– стандартная ошибка3, вычисляется, в соответствии с центральной предельной теоремой, как отношение стандартного отклонения к квадратному корню количества наблюдений : .
Толерантные, также известные как допустимые интервалы, отличаются от доверительных интервалов тем, что они направлены на охват определенной доли генеральной совокупности, а не на оценку конкретного параметра. Допустимые интервалы используются, когда мы хотим убедиться, что определенный процент генеральной совокупности попадает в заданный диапазон.
.
Понятия точечного и интервального оценивания. Точечное оценивание подразумевает оценивание неизвестного истинного значения некоторого параметра генеральной совокупности по единственной точечной метрике, такой как: среднее, дисперсия, медиана, мода, доля, асимметрия, эксцесс и т.д.
Интервальные оценки предоставляют диапазон значений, внутри которого лежит истинное значение оцениваемого параметра генеральной совокупности. Они берут в расчет вариабельность выборки данных и предоставляют более точную оценку в сравнении с точечными методами. Примерами интервальных оценок могут служить упомянутые ранее вероятностные и толерантные интервалы.
Несмещенные и эффективные оценки. Оценка считается несмещенной, если в среднем она равна истинному параметру популяции, который она оценивает. Другими словами, в ней нет систематического завышения или занижения. Несмещенность – важное свойство оценок, поскольку она гарантирует, что данные выборки точно отражают популяцию.
Эффективные оценки относятся к оценкам, которые имеют низкую изменчивость или низкую стандартную ошибку. Эффективная оценка обеспечивает более точную оценку параметра популяции, уменьшая неопределенность, связанную с оценкой. Эффективные оценки являются предпочтительными, поскольку они приводят к более узким доверительным интервалам и более надежным выводам.
Примерами несмещенных точечных оценок являются значения, полученные методом моментов, медиана, мода, квантили и т.д. При этом некоторые из низ могут быть эффективнее других, т.к. эффективность – исключительно относительная характеристика.
1Строго говоря, вероятностные и доверительные интервалы отличаются, хотя о них часто говорят вместе; вероятностный интервал использует в расчетах табличные критические значения для z-распределения (нормального), а доверительный интервал по таблице для t-распределения (Стьюдента), хотя на больших выборках (больше 1000) одно значение может быть заменено другим. Можно сказать, что вероятностный интервал – это аналогия доверительного интервала для вероятностей.
2Генеральная совокупность иногда называется популяцией, а выборка может встречаться как операция сэмплирования или сэмпл.
3Между стандартной ошибкой (SE) и стандартным отклонением (SD) есть разница. SE оценивает вариабельность выборочной статистики над многочисленными выборками, SD оценивает вариабельность внутри выборки.