Задание

1. Задан математический закон распределения случайного процесса

Определить его числовые характеристики.

2. Записать закон распределения напряжения на входе линейного канала с полосой пропускания F_к=24 кГц, если на входе действует помеха типа «белый шум» со спектральной интенсивностью N_o = 1,2 *10 ^–6Вт/Гц.

3. На входе приемника действует флуктуационная помеха, мощность которой составляет 0,04 Вт. Приемник закрыт напряжением U_пор = 1В. Определить вероятность того, что помеха превысит пороговое значение.

4. На входе приемника действует помеха типа «белый шум» со спектральной интенсивностью N_o = 1,2 *10 ^–6Вт/Гц. Полоса пропускания приемника составляет 100 кГц. Порог решения равен U_пор = 0,4 В. Определить вероятность того, что помеха попадет в приемник.

5. На входе приемника действует помеха типа «белый шум» со спектральной интенсивностью N_o = 1,8 *10 ^–6Вт/Гц. Полоса пропускания приемника составляет 100 кГц. Определить вероятность того, что помеха попадет в интервал от 1В до 2В.

6. Мощность флуктуационной помехи равна 0,89 Вт. Постоянная составляющая равна 0,8 В. Определить вероятность превышения помехой уровня U_пор = 0,9 В.

7. Мощность флуктуационной помехи равна 0,89 Вт. Постоянная составляющая равна 0,8 В. Определить вероятность превышения помехой уровня U_пор = 0,9 В. Во сколько раз нужно уменьшить мощность переменной составляющей , чтобы вероятность превышения уровня 0,9 В уменьшилась в два раза.

8. Исходные задачи №6. Во сколько раз нужно уменьшить постоянную составляющую помехи, чтобы вероятность превышения помехой уровня 0,9 В уменьшилась в 2 раза.

9. На входе приемника действует флуктуационная помеха, мощность которой составляет 0,29 Вт. Постоянная составляющая помехи равна 0,5 В. Определить значение запирающего напряжения U_пор, при котором вероятность того, что помеха превысит пороговое значение равнялась бы 0,005.

10. Приемник закрыт напряжением U_пор= 0,8 в. Определить мощность флуктуационной помехи, при которой вероятность попадания помехи в приемник равнялась бы 0,0247.

11. Помеха на входе приемника имеет нормальный закон распределения вероятностей. Числовые характеристики помехи U_о = 0,5 В. Р_перем = 0,25 Вт. Построить дифференциальный закон распределения. Определить вероятность того, что помеха превысит уровень 0,35В.

Вопросы

1. Дайте определение случайного процесса

2. Дайте определение закона распределения

3. Назовите основные характеристики случайного процесса

Занятие № 2. Расчет информационных характеристик простых и сложных сигналов

Теоретическая часть

Количество информации, содержащееся в одном элементе Хi, выбираемом из алфавита {Х_i} i = 1, 2, …, M, где М – объем алфавита, с вероятностью Р(X_i) определяется как

I(X_i) = log_a(1/ Р(X_i)) (1)

Выражение (1) характеризует количество информации содержащейся в сообщении X_i, но данное выражение также характеризует априорную неопределенность сообщения X_i.

H(X_i) = log_a(1/ Р(X_i)) (2)

Величину H(X_i) называют частной энтропией. Несмотря на совпадение (1) и (2) количество информации I(X_i) и величина H(X_i) качественно различны.

Энтропия выражает неопределенность источника сообщения и если известна априорная вероятность появления сообщений, то может быть вычислена до получения сообщения.

Количество информации может быть вычислено лишь апостериорно. Энтропия есть мера недостатка информации о состоянии системы, которая снимается с поступлением информации.

Количество информации для всего источника сообщения будет определено по следующей формуле (3)

. (3)

Энтропия источника сообщений определяется выражением (4)

. (4)

Единицы измерения количества информации и энтропии зависят от выбора основания логарифма в выражениях представленных выше.

При анализе информационных процессов в ЭВМ и других устройствах, функционирующих на основе двоичной системы счисления, целесообразно использовать основание равное двум. При этом количество информации измеряется в битах (для десятичной системы счисления – единица измерения диты).

При решении задач передачи информации часто имеют дело с несколькими зависимыми источниками сообщений. Совокупность сообщений, вырабатываемых несколькими источниками называют сложными сообщениями.

Пусть имеется два источника сообщений. Первый источник передает сообщения X₁, X₂,..,X_n с вероятностями Р(X₁),Р( X₂),..,Р(X_n) соответственно, а второй источник Y₁, Y₂,.., Y_m с вероятностями Р(Y₁),Р( Y₂),..,Р(Y_m) каждый имеет свой первичный алфавит. Тогда совместную энтропию совокупности сообщений X Y определяют по формуле

. (5)

Учитывая, что вероятность появления двух сообщений x_i y_j может быть представлено в виде:

Однако сумма условных вероятностей при условии что в начале было передано сообщение X_i = 1, тогда первое выражение можно представить в виде (1), что и есть энтропия источника Х, т.е.

.

Второе слагаемое можно представить в виде:

где H(y/x) - частная условная вероятность, которая выражает энтропию сообщения У ,при условии что передано сообщение Х.

Таким образом энтропия сложного сообщения равна сумме частной энтропии источника Х и условной энтропии источника У, но при условии, что

Н(ху)=Н(х)+Н(у/х),

перед этим сообщение поступило из источника х.

Данную формулу можно записать по-другому

Н(ху)=Н(х)+Н(х/у),

где

Таким образом, можно сделать вывод, что энтропия сложного сообщения равна сумме безусловной энтропии первого сообщения и условной энтропии второго сообщения.

Задание

1. Источник сообщение генерирует элементы из алфавита A ={A_i}, i = 1, 2, 3, 4. с вероятностями Р(А1) = 0.2; Р(А2) = 0.25; Р(А3) = 0.35; Р(А4) = 0.2. Найти количество информации, содержащееся в каждом элементе источника при их независимом наборе. Вычислить энтропию источника

2. Символы алфавита азбуки Морзе появляются в сообщениях с вероятностями: для точки - 0,51, для тире - 0,31, для промежутка между буквами - 0,12, для промежутка между символами - 0,06. Определить среднее количество информации в сообщении из 500 символов данного алфавита, считая, что связь между символами отсутствует.

3. На вычислительный центр с периферийного оборудования необходимо передать определенную информацию, содержащуюся в таблицах с цифровыми показателями. Определить максимально возможное количество информации, которым может быть загружена ЭВМ, если таблиц 100, они имеют 64 раздела, цифры, содержащиеся в разделах, передаются однобайтовыми кодами.

4. .В тексте телеграммы 100 букв, учитывая пробелы между словами. Определить среднее количество информации в переданной телеграмме, если телеграфный аппарат печатает буквы русского алфавита с заданными вероятностями. Буквы печатаются взаимонезависимо.

5. Показать, что максимальное количество информации, которое может содержать телевизионный сигнал в квантованном виде, соответствующем одному телевизионному кадру при 625 строках разложения, равно 2,083*10⁶ бит при условии, что сигнал, соответствующий одной строке изображения, представляет собой последовательность из 833 статистически независимых по амплитуде импульсов, каждый из которых принимает одно из 16 значений. Найти избыточность сигнала, если фактически кадр изображения с 16 градациями яркости содержит 9,37*10⁵ бит информации.

6. Даны два источника сообщений. Первый источник сообщений с алфавитом М = 4 характеризуется следующими вероятностями:

• априорными вероятностями появления сигнала

  Xi	X1	X2	X3	X4
  P(Xi)	0,3	0,15	0,28	0,27

• условными вероятностями появления сигнала Y_j

Xi\Yj	Y1	Y2	Y3	Y4
X1	0,21	0.5	0.08	0.21
X2	0.14	0.3	0.34	0.22
X3	0.15	0.75	0.1	0
X4	0.32	0.12	0.18	0.38

7. Источник сообщений с неравновероятным и взаимозависимым появлением элементов генерирует за время Т = 10 ⁶ с. двоичными посылками длительностью 10 мс ровно 10 ⁷ бит информации. За какое время и каким количеством двоичных посылок можно передать тот же объем информации, если обработкой полностью устранить избыточность источника.

8. Даны два источника сообщений. Первый источник сообщений с алфавитом М = 4 характеризуется следующими вероятностями:

• априорными вероятностями появления сигнала

  Xi	X1	X2	X3	X4
  P(Xi)	0,2	0,1	0,2	0,5

• условными вероятностями появления сигнала Y_j

Xi\Yj	Y1	Y2	Y3	Y4
X1	0,3	0.25	0.05	0.4
X2	0.4	0.3	0.14	0.16
X3	0.5	0.25	0.1	0.15
X4	0.3	0.1	0.5	0.1

Вопросы

1. Дайте определение количества информации

2. Дайте определение энтропии

3. В каких единицах меряется количество информации?