книги из ГПНТБ / Толстоусов, Г. Н. Прикладная теория информации учеб. пособие
.pdf
|
|
|
( Z Q K ) |
Средняя условная энтропия источника У |
получается в результа |
||
те статистического |
осреднения по всем |
состояниям источника X : |
|
|
о"» |
|
|
Н {у/Х )= ^н(у/х ) ъГ(х)сіх = |
|
||
- |
-jybTfx^f&xjurfyjocjctxcL^ |
(юл) |
Энтропия объединения двух источников такие монет быть получена аналогично выражению (20 .4). Так как вероятность состояния объе динения определяется двумерной плотностью вероятности Л~(х,у/ * получим
Н (Х Y h jJ '< ф , y )te jb T (x y j d x t y .
—ОО
Если источники независимы, то
ъг(х,ц)=ъГ(х)ъГ(у)^
и после преобразования получим
H(XY)=HpC)+H(Y).
Если источники зависимы, то
ъГ(х,ц)-ъГ(х)ъГ(у/х),
и после преобразования имеем
H(XYhH(X)+н(у/х).
Для непрерывных источников получены такие ке соотношения, что и для дискретных источников.
§ 21. Пропускная способность непрерывного канала связи
Рассматривается канал связи, передающий сообщения непре рывного источника информации х(-б) . В канале связи действует помеха п (б ) в виде случайного процесса. Пусть непрерывное
119
принимаемое сообщение
|
|
Ц(-Ь)=Х.(Ь)+Гъ(Ъ). |
|
|
(Ztl) |
|
Предположим, |
что сообщение x f é j |
и помеха іъ(і) имеют |
спектраль |
|||
ные плотности |
с одинаковой полосой |
частот |
'[Л/‘ . |
Тогда |
спектраль |
|
ная плотность |
принимаемого сообщения у(Ь) |
будет |
иметь |
ту же |
||
полосу |
W . |
Следовательно, по теореме Котельникова каждый из |
||||
трех случайных процессов JCft) , |
у(ь) и |
гь(Ь) |
на интервале |
|||
времени |
Т |
может быть представлен с помощью ZT~W |
отсчетов. |
|||
Времена |
отсчетов с одинаковым порядковым номером |
для всех трех |
процессов будут одинаковы (рис. 2 I . I ) . Количество информации в переданном сообщении определяется равенством
|
^ |
y-H(Y)~H(Y/X) . Quz) |
||
|
Для энтропии объединения |
|||
|
источника и получателя мож |
|||
|
но |
записать |
||
|
н (х,у)-н (х,х+ ф н (х//1 |
|||
|
так как все состояния рас |
|||
|
сматриваемого объединения |
|||
|
и их вероятности определя |
|||
|
ются только сочетаниями по |
|||
|
лезного сигнала и помехи. |
|||
|
Предположим, что передава |
|||
|
емое сообщение X и поме |
|||
Рио. 2 1 .I |
ха |
А/ |
статистически неза |
|
висимы. |
Тогда |
|||
|
Н(Х7)=Н(Х)+Н(А/).
С другой стороны,по свойству энтропии объединения
HtXY)= н(х)+Н (У /X).
Следовательно, величина потери информации обуоловлана только шуиами и равна энтропии помехи
120
H(Y/x ) = H(aJ), |
(ли) |
Вместо (21.2) запишем
Н(У) -Н(Ы). (21Л)
Найдем пропускную способность канала - максимально возможную скорость передачи информации ~
~ г г и ^ с [ н ( У ) - И ( А / ) ] ѣ ( u s )
При вычислении пропускной способности технические характеристи ки канала связи, в том числе и характеристики помехи, считаются заданными и не варьируются. Так как характеристики помех часто бывают неизвестны, предположим, что в канале существует наихуд ший вид помехи, вызывающий наибольшую потерю информации. Тогда характеристики помех определяются из условия максимума энтропии
помехи |
Н(/Ѵ7 . Таких условий два. Они заключаются в том, что |
отсчеты |
помехи по Котельникову должны быть независимы, а энтро |
пия одного отсчета максимальна. Средняя мощность помехи ограничена.Следовательно, худшая в смысле потери информации помеха име ет вид случайного шума, у которого закон распределения нормаль ный, а спектральная плотность постоянна. Энтропия такой помехи длительности Т
и(//)=■ z t \ JСод( |
(***> |
где én. - стандарт помехи. |
|
Варьируя при заданном H(N) |
выражение (21 .5), получаем, |
что скорость передачи информации будет равна пропускной способ ности в том случае, когда энтропия принимаемых сообщений H(Y) будет максимальна. Следовательно, надо организовать передачу так, чтобы принимаемое сообщение имело вид случайного шума (по стоянная спектральная плотность и нормальный закон распределе ния). Причем это условие сохраняется для любой помехи, если
она не зависит от |
передаваемых сообщений х ( і ) „ |
Максимальное |
значение энтропии |
І2 І
|
|
|
т ол. H(Y)*zTU& y(\/zm '<) |
|
{ж) |
||||||||
где <äу |
- стандарт принимаемых |
сообщений. |
|
|
|
||||||||
Найдем вид |
передаваемого сообщения |
x (t) |
. Из выражения |
||||||||||
(21 .1) |
и |
условия независимости Щс) и |
гь(Ь) |
следуют |
выраже |
||||||||
ния для |
спектральных плотностей: |
|
|
|
|
|
|
|
|||||
|
|
|
|
Sy(cj)=S^{o))+Sa ( cJ) |
|
|
|
(ш ) |
|||||
и дисперсий |
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
{11.3) |
|
Согласно |
выражению |
(21 .8), где Sa = const |
и S^-co/isi |
|
,спѳк- |
||||||||
тральная |
плотность |
передаваемого |
сообщения |
Sx |
должна |
быть |
|||||||
постоянна. |
Дна |
отсчета |
X .(ti) |
к |
^ (U ) |
, |
один из |
которых |
|||||
Щ£с) |
|
|
имеет нормальный закон распределения, |
образуют |
при |
||||||||
сложении |
отсчет |
^ ( ^ і ) |
» который |
также |
имеет |
нормальный |
за |
кон распределения. Это может быть только тогда, когда отсчеты
Щи) |
имеют |
нормальный закон распределения. Следовательно, |
X (t) |
должно |
представлять собой случайный шум. Таким обра |
зом, при помехе |
в виде случайного шума скорость ц^И)дачи инфор |
мации будет максимальна, если передаваемое сообщение закодиро вать так, что отсчеты его будут взаимно независимы и распреде лены по нормальному закону.
Для определения величины пропускной способности подставим
в (21.5) |
выражения |
(21 .6), (21.7) |
и (21.9); получим |
|
|
tèjr' + |
|
Отношение |
дисперсий |
сигналов |
можно заменить отношением их |
средних мощностей -jp- . Тогда выражение пропускной способнос ти непрерывного канала связи для принятых условий имеет вид
c -w a y(f+ |
Uno) |
122
Пропускная способность канала увеличивается с ростом мощности передаваемых сообщений неограниченно. Это ыонно объяснить тем, что с увеличением мощности полезного сигнала вероятность его неправильного приема из-за помехи уменьшается. Следовательно, уменьшается величина потери информоции/УрГ/У^ . Чем больше мощность передатчика, тем больше сигналов разного уровня моду ляции можно образовать. С ростом числа сигналов количество ин формации, передаваемое одним сигналом, увеличивается.
Величина |
полосы частот |
W |
в выражении |
(21.10) - это поло |
са пропускания канала связи, |
Если |
полоса W |
меньше полосы |
|
спектральной |
плотности источника, |
она должна |
быть выбрана в ка |
честве эквивалентной полосы частот источника, так как более вы сокие частоты сообщения все равно не могут быть переданы. Если полоса W больше полосы источника, то для достижения пропускной способности следует по этому каналу связи либо передавать сооб щения еще одного источника, либо, используя соответствующую мо дуляцию сигнала, занимать всю полосу, что дает возможность уменьшить мощность передатчика.
Увеличение полосы частот канала связи приводит к увеличе нию пропускной способности, например, из-за уменьшения интер вала между передаваемыми отсчетами, но это увеличение имеет предел. С ростом полосы частот растет мощность помехи. В рас сматриваемом случае помеха есть случайный шум с постоянной
спектральной |
плотностью Sn. |
. Тогда средняя мощность помехи |
||
|
A/=Sn |
|
-W. |
(Ші) |
Для заданной |
средней мощности |
передатчика Р |
предел пропуск |
|
ной способности при неограниченном увеличении полосы |
||||
&rnC-6imW$odj+ |
■w / |
w-~«° |
|
|
|
¥ |
|
||
|
|
|
|
—£i>m
Зависимость пропускной способности от полосы частот пока зана на рис. 21.2.
123
Максимальное количество информации, которое можно пере дать за время 'Т
ЭтюгѴТгу(і*-%-1 |
(ив) |
Рис. 21.2
Это количество информации можно представить в виде некоторого объема пространства, оси координат которого - время, полоса ча
стот канала |
и |
мощность сигнала (рис. 2 1 .3 ). |
ѵіз (21.13) |
видно, |
что одно и то |
же количество информации можно передать, |
сохраняя |
||
постоянный |
"объем", но используя различные |
параметры Т |
, \ І , |
Р .
Соотношение (21.10) позволяет оценить пропускную способ ность канала связи в случае, когда статистические характеристи ки помех неизвестны. Принятая при выводе этого соотношения поме ха в виде случайного шума вызывает наибольшую потерю информации при передаче. Это гарантирует, что пропускная способность при любой другой помехе будет не меньше величины, полученной сог ласно (21.10).
С другой стороны, задача определения пропускной способно сти канала для помехи произвольного вида в настоящее время не решена. Поэтому даже при известных статистических характеристи ках помех часто приходится пользоваться выражением (21.10) в качестве оценки. Более точная оценка пропускной способности при произвольной помехе получена К.Шенноном и имеет вид
124
|
|
|
P+Ni ^ |
л ,-r r |
P |
|
|
|
|
|
|
|
|
"Л |
|
|
|
|
|
|
|
где |
/V/ |
- |
энтропийная мощность помехи, |
т .е . |
средняя мощность |
|||||
случайного шума, имеющего полосу частот |
и энтропию, |
одинаковые |
||||||||
с помехой. |
|
|
|
|
|
|
H(N) |
|
||
|
Пусть |
энтропия помехи длительности |
Т |
равна |
. |
|||||
Энтропия случайного шума |
Нс |
|
этой же длительности Т |
|
||||||
|
|
|
Hc^ z r 4 ctoy(\[z¥e сіс) ' |
|
|
|
|
|||
где |
<5с |
- |
средняя мощность случайного шума; |
|
|
|
||||
|
Ѵс |
- |
полоса помехи, |
равная полосе |
случайного |
шума. |
|
|||
По определению НС~Н(N) |
, |
а с^сг = /V/ |
. Следовательно, |
эн |
||||||
тропийная мощность |
|
|
|
|
|
|
|
|||
|
|
|
У |
|
|
|
|
|
|
|
|
|
|
d f j g |
t - z |
* |
* . |
|
|
<*u s) |
|
|
|
|
§ 22. Модуляция переносчиков информации |
|
||||||
|
Сигналы передатчика |
по линии связи |
передаются с помощью |
переносчика. Когда необходимо передать сигнал, передатчик из меняет какой-то "параметр переносчика. Изменение параметра об наруживается приемником, который на этом основании принимает решение о передаче сигнала. Изменение параметра переносчика назы вается модуляцией. Виды модуляции различаются в зависимости от вида переносчика и изменяемого параметра.
Для переносчика в вида постоянного напряжения изменению подлежит только один параметр - величина напряжения, что назы вается прямой модуляцией (ПМ).
Второй вид переносчика - синусоидальное колебаниѳ/І
+ W (рис. 22.1а) - характеризуется тремя параметрами: ам плитудой - А , частотой СО и фазой </ . Поэтому для этого переносчика различают три вида модуляции: амплитудная модуля ция (AM), частотная модуляция (4M) к фазовая модуляция (ФМ).
125
Рис. 22.1
Третий тип переносчика - периодическая последовательность импульсов (рис. 22.16) - допускает, например, следующие виды модуляции: амплитудо-импульсную модуляцию (^ИМ)« частотно-им пульсную чодуляцию (ЧИМ), широтно-импульсную модуляцию (ШИМ), фазо-импульсную модуляцию (ФИМ).
Четвертый тип переносчика -стационарный случайный процесс. Здесь можно модулировать, например, дисперсии и л и спектральную плотность, что является аналогом амплитудной и частотной моду ляций.
Рассмотрим подробнее амплитудную модуляцию синусоидального переносчика. Для модуляции сигнала в передатчике необходимо ус тройство, которое умножает сигнал на синусоидальное колебание
SifKJct , которое называется несущим |
(рис. 2 2 .2 ). При этомо |
_ |
спектр сигнала |
|
(рис. 22.3а) сдви |
|
гается по оси ча |
|
стот влево и впра |
|
во от начала коор |
|
динат на частоту |
|
несущей (рис. 22.36), |
|
уменьшаясь вдвое |
|
по амплитуде. Это |
Рис. 22.2 |
легко доказать,ум |
|
ножая каждую гар- |
126
|
|
|
|
монику сигнала |
на несущее |
|
а) |
А |
|
колебание. В спектре моду |
|||
(О |
лированного сигнала не со |
|||||
|
держится составляющей несу |
|||||
Ь) |
|
щей частоты. Поэтому такой |
||||
|
ГГ\ |
? |
способ передачи называется |
|||
|
-<ос |
амплитудной модуляцией с |
||||
Ь) |
(jJc |
|
подавлением несущей (АМ- |
|||
|
|
со |
||||
|
|
|
ПН). Для восстановления |
|||
-<?со< |
2СОа |
|
сигнала принятый модулиро |
|||
|
|
|
|
ванный сигнал |
в приемнике |
|
|
Рис. 22.3 |
|
умножается на |
sUltdfb |
||
|
|
Спектр сигнала |
после этого |
|||
|
|
|
|
|||
преобразования |
сдвигается по оси |
частот влево и вправо от частот |
||||
± сйс на величину С0с |
(рис.22 .Зв). |
Фильтр верхних частот |
||||
задерживает составляющие вблизи |
частот + |
Zu)c , пропуская |
гарыоники передаваемого сигнала. Эти операции в приемнике назы ваются демодуляцией или детектированием. При такой системе пе редачи важно согласовать частоты и фазу синусоидальных колеба ний в приемнике и передатчике, что связано с большими техничес кими трудностями. Возможно вместе с модулированным сигналом пе редавать незначительную часть несущей, которая отфильтровывает ся приемником и используется для подстройки частоты и фазы ге нератора приемника.
Для передатчиков с большой мощностью вместе с модулирован ным сигналом передается несущая частота большого уровня:
УАМ= Ш )Sinket +A siaobt=[A +f(t)] stille t.
Такой вид передачи называется амплитудной модуляцией. Спектр
сигнала |
^РАм отличается от спектра |
сигнала f(t) SUb(Â)ct |
появ |
|
лением |
d -функций на частотах ± |
• |
Вид сигнала |
cfAM |
при большом уровне несущей показан на |
рис. |
22.4. Очевидно, что |
детектирование здесь упрощается. Можно использовать выпрямитель, который срезает отрицательные полупериоды и сглаживает получен ный сигнал (рис. 2 2 .5 ). Рассмотренные виды модуляции приводят к удвоению полосы модулированного сигнала по сравнению с исход ной (см. рис. 22.3а,6 ). Для уменьшения полосы, занимаемой сиг-
127
налом при передаче, используют ряд операций, в результате кото рых отфильтровываются и не передаются по каналу связи боковые полосы спектра модулированного сигнала (рис22 .6). Использова ние модуляции позволяет передавать по одному каналу связи сооб
щения нескольких источников. Сообщения калсдуо источника модули руются с разными несущими частотами и после фильтрации боковой полосы одновременно передаются по каналу связи. На рис. 22.76 показаны спектры сообщений с отфильтрованной боковой полосой. В приемнике спектры различных сигналов выделяются различными по лосовыми фильтрами и демодулиругатся.
Эффективность исполь зования полосы, отведенной для передачи, т .е . плот ность заполнения полосы спектрами сообщений, зави сит от качества фильтров, подавляющих боковые поло сы. Неидеальность фильт ров не позволяет обеспе чить резкой отсечки боко вой полосы. Поэтому поло
са, отводимая для передачи, всегда больше полосы спектров сообщѳний.
Рассмотрим теперь частотную и фазовую модуляции. При час тотной модуляции сигнал /(і) воздействует на параметры гене ратора, изменяя частоту переносчика; амплитуда переносчика при
128