- •Линейные пространства векторов. Скалярное произведение. Понятие базиса и линейной независимости элементов линейного пространства. Преобразования базиса.
- •Определение матрицы. Операции с матрицами (умножение на скаляр, сложение, умножение матриц, транспонирование матриц). Обратная матрица и методы ее получения. Функции от матриц.
- •Производные. Необходимое и достаточное условие дифференцируемости функции. Частные производные. Полный дифференциал. Производная и дифференциал сложной функции.
- •Градиент функции. Производные по направлению. Необходимые и достаточные условия экстремума функции многих переменных. Условные экстремумы. Метод множителей Лагранжа.
- •Задачи аппроксимации функций (интерполяция, экстраполяция, приближение в среднем). Способы построения интерполяционного полинома. Аппроксимации на основе ортогональных базисов. Понятие сплайна.
- •Численные методы оптимизации: методы Ньютона и секущей, методы покоординатного и градиентного спуска. Улучшение сходимости градиентных методов.
- •Численные методы оптимизации, основанные на случайных числах. Метод Монте-Карло, линейный случайный поиск, метод оптимизации отжигом.
- •Прямые и итерационные методы решения систем линейных алгебраических уравнений. Методы для систем с матрицами специального вида (ленточные, треугольные, положительно-определенные).
- •Линейные пространства функций (примеры). Скалярное произведение и норма. Операторы над линейными пространствами функций. Функционалы. Собственные числа и функции оператора в пространстве l2.
- •Определение вероятности. Вероятностная модель и вероятностное пространство. Вероятность случайного события и методы ее статистического оценивания по выборке.
- •Модель случайной величины. Закон, функция, плотность распределения. Квантили и моменты распределений, методы их статистического оценивания по выборке.
- •Вероятностные и толерантные интервалы: сходства и различия. Понятия точечного и интервального оценивания. Доверительные интервалы. Несмещенные и эффективные оценки.
- •Параметрическое оценивание распределений случайной величины. Метод моментов. Метод наибольшего правдоподобия и его численная реализация. Способы проверки качества параметрического оценивания.
- •Статистические гипотезы и статистические критерии. Односторонние и двусторонние критерии. Критерии согласия. Параметрические критерии. Ошибки первого и второго рода. Мощность критерия.
- •Модель многомерной случайной величины. Совместные и условные распределения. Условные моменты распределений и их оценивание по выборке. Многомерное распределение Гаусса и его свойства.
- •Случайные процессы и временные ряды. Понятие стационарности. Ковариационная (корреляционная функция). Теорема Карунена-Лоэва. Спектральная плотность случайных процессов.
- •Алгоритмы на графах. Алгоритмы обхода (поиска на) графах. Обнаружение кратчайшего пути и минимального цикла в графе. Построение остовного дерева.
- •Основные понятия машинного обучения. Отличие машинного обучения от статистики. Методы на обучении с учителем. Методы на обучении без учителя. Метрики качества алгоритмов машинного обучения.
- •Цикл обучения. Понятия обучающей и тестовой выборки. Отложенная выборка. Кросс-валидация. Понятия недообучения и переобучения. Дилемма смещения и разброса. Размерность Вапника-Червоненкиса.
- •Понятия классификации и кластеризации. Метрические, иерархические, вероятностные методы классификации и кластеризации. Dbscan и kNn. Оценка качества классификации и кластеризации.
- •Понятие искусственной нейронной сети. Типы нейронных сетей. Понятие стохастического градиента для обучения нейронной сети. Многослойный перцептрон. Сверточные нейронные сети.
- •Методы снижения размерности данных. Метод главных компонент. Метод канонических корреляций. Методы факторного анализа. Нелинейные методы снижения размерности.
- •Принцип повышения размерности пространства. Метод опорных векторов. Понятие и свойства ядра. Метод Kernel-Trick.
- •Построение списка решений и дерева решений. Редукция деревьев решений. Понятие бэггинга и бустинга для деревьев решений. Случайный лес и способы его построения.
- •Обучение с подкреплением. Модели агентов и отклика среды. Задачи, решаемые обучением с подкреплением.
- •Ассоциативный анализ и задача о "покупательской корзине". Алгоритмы аprior и fp-Growth.
- •Способы представления знаний. Модели графов знаний. Полнота графов знаний. Методы прямого и обратного вывода по графам знаний. Онтологическая модель и средства ее реализации.
- •Экспертные методы в принятии решений. Принятие решений при многих критериях. Множество Парето. Экспертные системы поддержки принятия решений.
- •Методы машинного обучения для анализа текстовой информации. Понятие эмбеддинга. Методы построения и использования эмбеддингов при работе с текстом.
- •Генеративные методы машинного обучения. Генеративно-состязательные сети. Вариационные автокодировщики. Байесовские сети. Принципы работы, оценка качества.
Способы представления знаний. Модели графов знаний. Полнота графов знаний. Методы прямого и обратного вывода по графам знаний. Онтологическая модель и средства ее реализации.
Способы представления знаний.
1. Логические модели:
Предикатная логика формализует знания в виде предложений, состоящих из объектов, свойств и отношений между ними. Она позволяет выразить знания о мире с помощью формальной логической системы.
Модальная логика использует модальные операторы, такие как "необходимо", "возможно" и "запрещено", для выражения знаний. Она позволяет рассуждать о различных состояниях и возможностях в мире.
Описательная логика используется для описания классов объектов и связей между ними. Она позволяет формализовать знания о структуре и отношениях в мире.
2. Графовые модели:
Ориентированные графы позволяют представлять направленные связи между объектами. Они состоят из вершин и дуг, которые указывают направление связи между вершинами.
Неориентированные графы используются для представления неупорядоченных связей между объектами. Они состоят из вершин и ребер, которые не имеют направления.
Деревья используются для представления иерархических связей между объектами. Они состоят из узлов (вершин) и ребер, которые представляют отношения между узлами.
3. Семантические сети представляют знания в виде узлов (понятий) и связей между ними. Узлы могут быть сгруппированы в категории или классы, что позволяет организовывать знания по тематике. Семантические сети представляют знания в виде графа, где узлы представляют понятия, а связи - отношения между ними.
4. Фреймы представляют знания в виде структур данных, называемых фреймами. Фреймы состоят из слотов (полей), которые содержат информацию о свойствах объекта. Каждый фрейм может быть связан с другими фреймами, что позволяет организовать знания в иерархическую структуру.
5. Онтологии используются для формализации знаний с помощью определений понятий и отношений между ними. Онтологии позволяют структурировать знания и делать выводы на основе логических правил. Они представляют собой формальные модели, описывающие сущности и связи в определенной предметной области.
6. Продукционные системы описывают знания в виде правил-продукций, которые состоят из условий и действий. Когда условия правила выполняются, выполняются соответствующие действия. Продукционные системы используются для автоматизации логического вывода и принятия решений на основе знаний.
Модели графов знаний. Модели графов знаний представляют знания в виде узлов и связей между ними, где узлы представляют понятия или объекты, а связи – отношения или свойства между ними. Графовые модели предоставляют гибкую структуру для организации и представления знаний, а также позволяют легко выполнять операции поиска, анализа и рассуждения.
Примером моделей графов знаний может служить поиск родственных связей в генеалогическом дереве. В таком случае, каждый человек представляется узлом графа, а связи между ними – отношениями "родитель", "ребенок", "брат/сестра" и т.д.
Реализация моделей графов знаний может быть осуществлена с использованием различных технологий и инструментов. Например, для создания и управления графами знаний можно использовать базы данных с графовой моделью, такие как Neo4j или Amazon Neptune. Эти базы данных предоставляют специальные языки запросов (например, Cypher для Neo4j), которые позволяют выполнять сложные операции на графах.
Другой способ реализации моделей графов знаний – использование специализированных библиотек и фреймворков. Например, библиотека NetworkX для Python предоставляет удобные инструменты для работы с графами, включая операции добавления и удаления узлов и связей, анализ графовой структуры и визуализацию.
Модели графов знаний находят применение во многих областях, включая:
Информационный поиск и рекомендации. Модели графов знаний используются для организации информации и рекомендации контента на основе связей между объектами. Например, они могут быть использованы для рекомендации товаров на основе покупок других пользователей или для поиска связанных новостей или статей.
Базы знаний. Графовые модели используются для представления знаний в базах данных, таких как онтологии или семантические сети. Они позволяют структурировать и организовывать знания, а также выполнять сложные запросы и рассуждения на основе логических правил.
Рекомендательные системы. Модели графов знаний могут быть использованы для создания персонализированных рекомендаций на основе анализа связей между объектами. Например, они могут быть использованы для рекомендации фильмов или музыки на основе предпочтений и интересов пользователя.
Полнота графов знаний. Полнота графов знаний относится к степени, в которой граф знаний содержит всю доступную информацию о предметной области. Если граф знаний полон, то он содержит все известные понятия и связи между ними, которые отражают знания о предметной области.
Однако, полнота графов знаний часто является относительным понятием, так как знания о предметной области могут быть неполными или изменяться со временем. В реальных приложениях полнота графов знаний может быть достигнута только при условии постоянного обновления и дополнения графа новыми знаниями.
Для достижения полноты графов знаний могут использоваться различные методы и подходы. Например, автоматическое семантическое анализирование текстов и извлечение информации из них может помочь в автоматическом создании графов знаний. Также можно использовать методы машинного обучения для автоматического заполнения пропущенных связей или предсказания новых связей на основе имеющихся данных.
Одна из технологий, которая может быть связана с полнотой графов знаний, – это распределенные базы данных с графовой моделью. Такие базы данных позволяют хранить и обрабатывать графы знаний в распределенной среде, что обеспечивает масштабируемость и устойчивость к отказам. Это может быть полезно для создания полных и надежных графов знаний, которые могут содержать большие объемы данных.
Однако, следует отметить, что полнота графов знаний может быть достигнута только в пределах доступной информации и знаний о предметной области. Если некоторые знания или связи неизвестны или недоступны, то граф знаний может быть неполным. Поэтому постоянное обновление и дополнение графа новыми знаниями является важной задачей для достижения максимальной полноты.
Методы прямого и обратного вывода по графам знаний. Прямой вывод, также известный как прямое заключение или прямая инференция, используется для получения новых знаний или фактов на основе уже имеющихся знаний и правил в графе. Этот метод основан на применении логических правил и правил вывода для получения новых фактов. Процесс прямого вывода начинается с известных фактов и применения правил к ним для получения новых фактов. Этот процесс продолжается до тех пор, пока больше нет новых фактов, которые могут быть выведены. Прямой вывод позволяет расширить граф знаний и получить новые знания на основе уже имеющихся.
Обратный вывод, также известный как обратное заключение или обратная инференция, используется для определения условий, необходимых для достижения заданного факта или цели. В отличие от прямого вывода, который начинается с известных фактов и применения правил для получения новых фактов, обратный вывод начинается с заданного факта или цели и работает в обратном направлении, определяя условия, которые должны быть истинными для достижения заданного факта или цели. Обратный вывод позволяет определить, какие знания или факты необходимы для достижения конкретной цели.
Онтологическая модель и средства ее реализации. Как уже упоминалось ранее, онтологическая модель представляет собой формальное описание знаний о предметной области, которое включает добавление понятий, а также связей и правил, описывающих отношения между ними с целью извлечения новых знаний.
Онтологическая модель обычно представляется в виде графа знаний, где узлы представляют понятия, а ребра – связи между ними. Например, предметная область "автомобили" может включать понятия "марка", "модель", "год выпуска" и связи между ними, такие как "марка имеет модель" и "модель выпущена в определенном году".
Онтологические модели реализуются с использованием различных языков описания семантической паутины, таких как OWL (Web Ontology Language) и RDF (Resource Description Framework). Кроме того, существуют разного рода онтологические редакторы и специализированные системы управления знаниями, которые позволяют создавать, редактировать и визуализировать онтологические модели. Некоторые из них включают Protege, Jena, TopBraid Composer и OntoStudio. Технически они могут быть реализованы с использованием различных баз данных, в частности графовых, и языков программирования.