- •Часть 4. Элементы теории информации
- •Глава 1. Энтропия
- •1.1. Комбинаторный подход к вычислению количества информации. Формула Хартли
- •Аксиомы теории информации
- •1.2. Вероятностный подход к вычислению количества информации. Формула Шеннона. Понятие об энтропии
- •Вывод формулы Шеннона
- •1.3. Единицы измерения энтропии и информации
- •С точки зрения теории кодирования существует объяснение, почему используется двоичная система (основание логарифма).
- •1.4. Свойства функции энтропии
- •, Где коэффициент по Лагранжу, а – из условия ограничения.
- •1.5. Энтропия сложных событий. Условная энтропия
- •Глава 2. Информация
- •2.1. Понятие информации
- •2.2. Характеристики дискретных источников информации
- •2.3. Свойства информации
- •2.4. Условная информация
- •Свойства условной информации
- •2.5 Формы адекватности информации
- •Синтаксическая мера информации. Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.
- •2.6 Качества информации
- •Глава 3. Кодирование информации. Общие понятия
С точки зрения теории кодирования существует объяснение, почему используется двоичная система (основание логарифма).
Число букв в алфавите |
Число разрядов в кодовом слове |
Мощность |
1 |
60000 |
60000 |
2 |
16 |
32 |
3 |
10 |
30 |
4 |
8 |
32 |
… |
… |
… |
16 |
4 |
64 |
… |
… |
… |
40 |
3 |
120 |
60000 |
1 |
60000 |
Как видим, оптимальное количество букв в алфавите находится между 3 и 4. То есть, лучшей была бы троичная система, но ее труднее реализовать.
Двоичная система, так же как и четверичная – почти оптимальные. Но легче реализовать двоичную систему.
1.4. Свойства функции энтропии
Свойство 1. Энтропия не может принимать отрицательных значений.
Доказательство
Так как всегда , то не может быть положительным, а – отрицательным.
Свойство 2. Функция при очень малом изменении вероятностей ,…, изменится очень мало.
Комментарий. На рис. 1 изображен график функции , показывающий, как меняется энтропия при изменении р от 0 до 1.
Для того чтобы представить себе характер зависимости функции от отдельных вероятностей , рассмотрим более внимательно график функции (см. рис. 2). Из этого графика видно, что при величина растет чрезвычайно быстро; поэтому в этой области сравнительно небольшому уменьшению вероятности или k) отвечает очень значительное уменьшение соответствующего слагаемого в выражении функции . Это приводит к тому, что обычно слагаемые , отвечающие очень малым значениям вероятности , вносят много меньший вклад в выражение , чем прочие члены, так что при вычислении энтропии сравнительно маловероятные исходы часто можно без большой ошибки просто опустить. Наоборот, в области между и , где функция принимает наибольшие значения, она меняется сравнительно плавно; поэтому в этой области даже довольно значительное изменение вероятностей сравнительно мало отражается на величине энтропии.
Свойство 3. Энтропия равна нулю:
,
если вероятность одного из исходов опыта равна 1, а остальные равны нулю. Т.е. энтропия равна нулю, если возможен только один исход опыта (с вероятностью равной единице).
Доказательство
Очевидно, . Для остальных вероятностей рассмотрим предел
,
т.е. , что в сумме для п вероятностей даст нуль.
Свойство 4. Всякое изменение вероятностей в сторону их выравнивания увеличивает энтропию .
Д оказательство
Энтропия исходных вероятностей равна .
Пусть >, тогда . После выравнивания и получим, ++…+.
Нам нужно доказать, что . Рассмотрим
,
где и
. Тогда , так как , что и требовалось доказать.
Свойство 5. Энтропия максимальна, когда все исходы опыта равновероятны.
Доказательство
На существует ограничение .
Найдем локальный экстремум. Для этого рассмотрим функционал