Задание 2.

Написать формулы для расчета следующих величин:

Избыточность алфавита L источника дискретных сообщений.

Избыточность алфавита L источника дискретных сообщений определяется по формуле:

D=[ H_max(Z) - H(Z) ] / H_max(Z), где

H_max(Z) - максимально возможная энтропия, равная log L.

H(Z) - энтропия источника.

Производительность источника дискретных сообщений, непрерывных сообщений.

Производительность источника дискретных сообщений определяется по формуле:

I(Z) = H(Z)/t , где

H(Z) - энтропия источника;

t - длительность выдачи одного знака сообщения.

Под  - производительностью источника непрерывных сообщений H (Z) понимают минимальное количество информации, которое необходимо создать источнику в единицу времени, чтобы любую реализацию zT (t) можно было воспроизвести с заданной вероятностью.

H (Z)=v * min I (Z, U)

{p_Z(u)}

при V(Z, U)<  ²

Скорость передачи информации по дискретному каналу.

Используется 2 понятия скорости: техническая и информационная.

Под технической скоростью передачи V_T, называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом возможных различий в длительностях символов скорость:

V_T = 1/t_ср,

где t_ср - среднее значение длительности символа. При одинаковой длительности всех символов t_ср = t.

Единицей измерения технической скорости служит бод – скорость, при которой за 1 сек. передается 1 символ.

Информационной скоростью является среднее количество информации, которое передается по каналу в ед. времени.

(V, U) = V_T · I(V, U)

где V_T - скорость манипуляции; I(V, U) - среднее количество информации, переносимое одним символом.

Пропускная способность дискретного и непрерывного каналов .

Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала С_Д равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема.

С_Д = max (V, U) = max V_T · I(V, U)

При заданном алфавите символов и фиксированных основных характеристиках канала (например: полоса частот, средняя и пиковая мощность передатчика) остальные характеристики должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, т.е. обеспечить максимальное значение V_T.

Максимум среднего количества информации, приходящейся на один символ принятого сигнала I(V, U), определяется на множестве распределений вероятностей между символами u₁, u₂, ..., u_i, ..., u_m (m – объем алфавита).

Пропускная способность канала, как и скорость передачи информации по каналу, измеряется числом двоичных единиц информации в секунду.

Так как при отсутствии помех имеет место взаимно-однозначное соответствие между множеством символов{V} на выходе и {U} на его входе,

I(V, U) = I(U, V) = H(U).

Максимум возможного количества информации на символ равен log m (m - объем алфавита), следовательно пропускная способность дискретного канала без помех

С_Д = V_T · log m

Следовательно, для увеличения скорости передачи информации по дискретному каналу каналу без помех и приближения её к пропускной способности канала последовательность букв сообщения должна подвергнуться такому преобразованию в кодере, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы. Доказано, что это выполнимо для любой эргодической последовательности букв, если кодирование осуществлять блоками такой длины, при которой справедлива теорема об их асимптотической равновероятности.

При наличии помех соответствие между множествами символов на входе и выходе канала связи перестает быть однозначным. Среднее количество информации I(V, U), передаваемое по каналу одним символом, определяется в этом случае соотношением:

I(V, U) = H(V) – H_U(V) = H(U) – H_V(U)

Энтропия сигнала на выходе линии связи равна:

H(V) = -p(v_j) log p(v_j)

Если объем алфавита входных символов u равен m₁, а выходных символов v - m₂, то

(1)

Подставив H(V) и H_u(V) в выражение (1) получим:

Скорость передачи информации по каналу с помехами

Считая скорость манипуляции V_т предельно допустимой при заданных технических характеристиках канала, величину I(V, U) можно максимизировать посредством кодера канала (аналогично каналу без помех). Получаемое при этом предельное значение С_Д скорости передачи информации по каналу называют пропускной способностью дискретного канала связи с помехами:

С_Д=

, где - множество возможных распределений вероятностей входных сигналов.

Важно подчеркнуть, что при наличии помех пропускная способность канала определяет наибольшее количество информации в единицу времени, которое может быть передано со сколь угодно малой вероятностью ошибки.

Приблизиться к пропускной способности канала можно (аналогично каналу без помех: кодируя эргодическую последовательность, для которой справедлива теорема об асимптотической равновероятности длинных последовательностей).

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирующих устройств и задержке в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке.

Предельные возможности канала никогда не используются полностью. Степень его загрузки характеризуется коэффициентом использования канала

где – производительность источника сообщений, С_Д – пропускная способность канала

Поскольку нормальное функционирование канала возможно при изменении производительности источника в пределах , тогдатеоретически может изменяться от 0 до 1.