4.2. Свойства функции скорость-искажение

В данном пара­графе мы изучим некоторые свойстваH(D), которые позволят понять ее поведение и получить простые выражения для этой функции для ши­рокого класса моделей.

Первое свойство очень простое.

Свойство 1.

Свойство 2. - невозрастающая функция аргумента D.

Доказательство. С увеличением D расширяется область поиска минимума, при этом результат поиска минимума, очевидно, не увели­чивается.

Свойство 3. Для стационарного источника без памяти

(4.20)

где - одномерное условное распределение на Y при известном .

Доказательство. Имеем

где (а) использует независимость букв источника, a (b) - неубывание условной энтропии с увеличением числа условий. Равенство до­стигается при

(4.22)

где в обозначении учтено, что условная плотность может, вообще говоря, зависеть от индекса i.

Поскольку нас интересует зависимость информации от условного распределения вероятностей , изменим на время обозначения:

В силу выпуклости средней взаимной информации относительно условных распределений

, где (4.1)

причем равенство имеет место, если , при всех

Наименьшее значение достигается в том случае, когда условное распределение представляет собой произведение n одинаковых одномерных плоскостей, вычисленных как среднее одномерных плоскостей, полученных из . Чтобы завершить доказательство теоремы, осталось доказать, что такое распределение удовлетворяет ограничению на ошибку D, если исходное распределение ему удовлетворяло.

Простые выкладки

Подтверждают, что при подстановке

Ошибка не измениться. При этом

где I(X;Y) вычислено при .

Свойство 4. H(D) выпуклаяU функция аргумента D.

Доказательство. Для сокращения записи доказательства рассмотрим случай источника без памяти. Нужно доказать что для любых D₁D₂и

где использовано обозначение . Обозначим через и те условные распределения, на которых достигаются соответ­ственноH(D₁) иH(D₂) и положим . Доказываемое утверждение вытекает из следующей цепочки преобразований:

Здесь (а) имеет место потому, что на распределении не обязательно достигается минимум взаимной информацииI(X;Y) равный ; (b) следует из выпуклостиU средней взаимной информации.

Свойство 5. Для произвольного стационарного источника при

(4.24)

Доказательство. Пустьy₀ обозначает тот элемент y, на котором до­стигается минимум. В качестве условной плотности ) вы­берем плотность, с вероятностью 1 сопоставляющую последовательность любой последовательности . Поскольку по­следовательности xи y независимы,I(Xⁿ,Yⁿ) = 0 и, следовательно, H(D) = 0. Средняя ошибка при этом равна величине D₀.

Итак, в данном параграфе мы узнали, что H(D) - выпуклая монотонно убывающая функция неотрицательная функция, которая стано­вится равной нулю при некоторой ошибке.

Для источников без памяти мы получили формулу, которая очень похожа на формулу для пропускной способности канала без па­мяти. Вместо максимума - минимум и вместо поиска оптимального рас­пределения на входе - поиск среди условных распределений. В действи­тельности, поиск функции скорость-искажение чуть сложнее, поскольку экстремум - условный, и ответ - функция, а не число.

Заметим, что для источников с памятью свойство 5 дает не самую точную оценку той минимальной ошибки, начиная с которой возможна аппроксимация источника с нулевой скоростью (без передачи какой-либо информации о сообщениях источника).