- •Лекция 1. Введение в компьютерное зрение
- •1. История фотографии
- •2. Что такое цифровая фотография, пзс матрица
- •3. Характеристики объектива
- •Цветовое пространство lab, зачем нужна метрика ciede2000?
- •3. Особенности восприятия света человеком, цветовое пространство xyz
- •8. Цветовое пространство cmyk
- •9. Что такое цветовой охват
- •10. Что такое OpenCv
- •6. Цветовое пространство hsv
- •7. Цветовое пространство yuv
- •8. Что такое размытие изображения, какие виды размытия бывают и где их применяют
- •9. Что такое оператор Собеля и зачем он нужен
- •10. Что такое оператор Лапласа и зачем он нужен
- •11. Что такое нелинейные фильтры, приведите примеры
- •12. Что такое медиана в контексте операций над изображениями
- •13. Что такое билатеральный фильтр и зачем он нужен
- •14. Что такое компоненты связности и морфология в контексте операций над изображениями
- •Лекция 4. Манипуляции с изображениями
- •1. Что такое свертка
- •Преобразование Фурье в контексте манипуляции с изображениями
- •4. Свойства преобразования Фурье, применение теоремы о свертке в контексте манипуляции с изображениями
- •5. Что такое спектр изображения и частотные фильтры? Дайте примеры их применения. Какая связь между частотными фильтрами и свертками?
- •Фильтры низких частот.
- •Высокочастотные фильтры.
- •1. Абсолютный фильтр
- •9. Увеличение изображения - билинейная и бикубическая интерполяция
- •10. Уменьшение изображения - оператор уменьшения
- •11. Что такое пирамида изображений. Что такое пирамида Гаусса и пирамида Лапласа? Как делается блендинг изображений
- •Геометрические преобразования.
- •Лекция 5. Особые точки и выделение границ Особые точки, интуитивное понятие особой точки.
- •3. Алгоритм Харриса для нахождения углов
- •Sift детектор особых точек.
- •Surf-дескриптор.
- •Brief дескриптор.
- •Orb алгоритм
- •Сопоставление дескрипторов
- •Алгоритм выделение границ Canny.
- •Лекция 6. Сверточные нейронные сети Что такое нейронная сеть: слои, функции активации
- •Что такое нейронная сеть: слои, функции активации
- •Объясните терминологию обучения нейронных сетей: что такое эпоха, шаг, скорость обучения и размер батча? Что такое функция потерь и какие они бывают?
- •Алгоритм стохастического градиентного спуска для обучения нейронных сетей
- •Как инициализируют веса в нейронных сетях? Что такое проблема затухающих и взрывающихся градиентов? Что такое инициализация Хе (Кайминга) и Ксавье?
- •Что такое сверточный слой? Как он работает и какие параметры имеет?
- •Размеры входного и выходного изображения
- •Что такое нормализация по мини-батчам (batch normalization) и как она работает
- •Что такое дропаут и как он работает
- •Задача классификации и функции потерь для этой задачи в контексте обучения нейронных сетей
- •Опишите типичную архитектуру сверточной нейронной сети
- •Слой свёртки
- •Слой активации
- •Пулинг или слой субдискретизации
- •Полносвязная нейронная сеть
- •Перечислите несколько архитектур сверточных нейронных сетей, разберите одну подробно, например ResNet
- •Что такое transfer learning и как его осуществляют в контексте классификации изображений?
- •Лекция 7. Сегментация и детекция Что такое задача сегментации? Какие бывают виды сегментации?
- •Опишите что такое полносверточная нейронная сеть (fully convolutional neural network)
- •Что такое транспонированная свертка и для чего она нужна? Какие у нее есть альтернативы?
- •Что такое u-net? Опишите архитектуру и приведите примеры ее современных вариаций. Как обучают u-net?
- •Что такое задача детекции объектов на изображении? Опишите архитектуру yolo. Как обучают yolo?
- •Что такое якоря в контексте архитектур yolo, Faster и Mask rcnn?
- •Алгоритм nms (non maximum suppression) в контексте нейросетевых архитектур детекции
- •Что такое задача детекции объектов на изображении? Чем одностадийная детекция отличается от двухстадийной? Опишите архитектуру Mask rcnn. Чем она отличается от Faster rcnn?
- •Что такое RoI pooling и чем он отличается от RoI align в контексте архитектур Faster rcnn и Mask rcnn?
Лекция 5. Особые точки и выделение границ Особые точки, интуитивное понятие особой точки.
Особые точки — такие точки, по которым можно классифицировать изображение, распознать его, некая особенность изображения, уникальность. Как правило — это угловые точки, либо те, где резко меняется цвет, яркость, и т. д. Нужно выбирать такие точки, которые вносят некий вклад в характеристику изображения, также необходимо считать особыми такие точки, которые с большой вероятностью будут найдены на другом изображении. Каждый метод обнаружения особых точек должен гарантировать инвариантность относительно любых преобразований изображения.
Локальные особенности — места, которые позволяют однозначно идентифицировать объект, когда мы видим только их, а не фрагмент целиком.
Автокорреляционная функция — зависимость взаимосвязи между функцией (сигналом) и её сдвинутой копией от величины временного сдвига.
Автокорреляция представляет собой статистическую взаимосвязь между случайными
величинами из одного ряда, взятыми со сдвигом, например, со сдвигом по времени
или по пространству. В анализе изображений при автокорреляции шаблон совпадает с
изображением, а сдвиг происходит по направлениям осей XY. Не стоит забывать, что
при вычислении значения корреляционной функции вклад тех точек, которые выходят
за пределы изображения или шаблона, равен нулю.
3. Алгоритм Харриса для нахождения углов
Детектор – это метод извлечения особых точек из изображения. Детектор обеспечивает инвариантность нахождения одних и тех же особых точек относительно преобразований изображений. Дескриптор – идентификатор особой точки, выделяющий её из остального множества особых точек. В свою очередь, дескрипторы должны обеспечивать инвариантность нахождения соответствия между особыми точками относительно преобразований изображений [1]. ВЕКТОР ОПИСАНИЯ ОКРЕСТНОСТИ ТОЧКИ
Углы (corners) – особые точки, которые формируются из двух или более граней, и грани обычно определяют границу между различными объектами и / или частями одного и того же объекта. [2] По-другому можно сказать, что углы – это точка, у которой в окрестности интенсивность изменяется относительно центра (x,y). Углы определяются по координатам и изменениям яркости окрестных точек изображения. Главное свойство таких точек заключается в том, что в области вокруг угла у градиента изображения преобладают два доминирующих направления, что делает их различимыми. Градиент – векторная величина, показывающая направление наискорейшего возрастания функции интенсивности изображения I(x,y).
Детектор Харриса
Разница при смещение изображения на вектор u v, разница между яркостью сдвига и яркостью до сдвига, помноженная на вес. Вес чаще берется гауссовский – вклад пикселей ближе к точке берем с ббольшим весом, которые – дальше – с меньшим весом. Можно еще брать функцию, где вес рвен везде единичке, если внутри окна.
Детектор Харриса — наиболее популярный детектор локальных особенностей точек. Ищет такие точки (x, y), окрестность которых меняется при любом сдвиге (x + u, y + v). Такие точки, как правило, оказываются углами, поэтому этот метод еще называют «детектор угл ов»
Посл разложения в ряд тейлора 2 порядка получаем матрицу вторых моментов состоящих из произвдных домноженную на вектор смещения uv. Смещение тем больше, чем больше градиенты в рассматриваемой окрестности. Это можно представить в виде матрицы а вычисленную по частным производным в рассматриваемом окне.
Обобщение (Алгоритм детектора Харриса):
1. Вычислить градиент изображения в каждом пикселе (с использованием сглаживания Гаусса, избавляясь от шума)
2. Вычислить матрицу вторых моментов M по окну вокруг каждого пикселя
3. Вычислить отклик угла R
4. Отсечение по порогу R
5. Найти локальные максимумы функции отклика по окрестности заданного радиуса
6. Выбор N самых сильных локальных максимумов
DoG – разница между свертками гаусса(вобще-то нужны лаплассовы свертки с разными значениями сигма, чтобы произвести детекции блобов разного диаметра, но чем больше сигма, тем больше свртка – а это медленно. ) Сворачиваем изображение фильтром гаусса до тех пор пока сигма не станет больше единицы. Затем уменьшаем изображение в 2 раза по всем осям, и снова сворачиваем фильтром гаусса. Чтобы посчитать разницу, просто берем разницу соседних слоев.