книги из ГПНТБ / Бовбель, Е. И. Элементы теории информации
.pdfЕсли линия связи задана, т. е. заданы полоса частот и условная плотность вероятности w(x/y), то, варьируя в (5.5) w(x), можно найти такую функцию распределения входных сообщений, при которой скорость передачи бу дет максимальна. Поэтому для пропускной способности непрерывного канала можем записать:
Стах = max 2W[H(Y) - |
H(Y/X)} = 2U7max I(X, Y). (5.6) |
{w(x)} |
{w{x)} |
Если в липши связи на сообщения наложены некоторые ограничения, при отыскании максимума в (5.6) их сле дует учитывать.
§ 2. Пропускная способность стационарной гауссовой линии связи
Предположим, что шум, действующий в линии связи, стационарный гауссов, а выходное сообщение y(t) явля ется суммой полезного сообщения инезависимого от него шума: y(t) = x(t)-\-n(t). Условная плотность веро ятности w ( у / х ) = w(y — х) = w(n). Поэтому
H{Y;X) = |
— |
I' |
w(x, у) log w(y'x) dxdy = |
||
|
|
|
_ |
öo — bo |
|
= |
— |
00 |
|
|
Oo |
1. |
1' w(x)dx I’ w{y'x) \ogw(lJ;X)dy = |
||||
|
_ |
|
_ |
•* |
|
|
oo |
|
00 |
||
= |
— |
00 |
|
|
00 |
C &у(л:) dx |
I’ w{a) log w(n) da — |
||||
|
_ |
00 |
|
_ 0O |
|
|
= |
— |
Oo |
|
|
|
|
f w(n) log w(n) da = H(n), |
— OO
где H(n) — энтропия шума. Так как заданный шум нор мален, на основании формулы (1.40)
Н{п) = log \]2г,е ап,
где о- — дисперсия шума. Выражение
7 = 2 \ V [ H ( Y ) — Н(п)] ' (5.6а)
максимально, когда максимальна энтропия принятых
сообщений, |
a H(Y) |
максимально |
и равно log \/2^ е ау, |
когда сообщения у |
распределены |
по гауссовому зако |
|
ну. Таким |
образом, |
|
|
100
Сс = |
2W(\0g\j2^ecy — log\'2~^aJ = |
||
= |
2 W log |
av |
(5.7) |
= W log |
|||
|
|
G/i |
cn |
Так как передаваемые сообщения и шум независимы, то
а.у = ад* T“ |
(5-8) |
Подставив (5.8) в (5.7), получим
Cc = r io g ^ l +
Если u(f) и n(t) соответственно напряжения принима емого сигнала и шума, то з2 и а2— соответственно сред ние мощности принимаемого сигнала и шума. Обозначнв через Р среднюю мощность принимаемых сооб щений, а через N — среднюю мощность шума, из (5.9), будем иметь
Сс = W log ||l + |
Y |
(5.10) |
Это известная формула Шеннона. |
|
|
Из формулы (5.3) видно, |
что одна и та же пропуск |
ная способность может быть получена, во-первых, расшн-- реиием полосы частот W и снижением за счет этого иеоб-- ходимого отношения сигнала к помехе, что ведет к сни-- жению необходимой мощности сигнала; во-вторых, суже нием необходимой полосы за счет повышения отношения сигнала к помехе (этот путь может быть использован там, где требуется сузить полосу частот).
Щ
§ 3. Зависимость скорости передачи информации от распределения сигнала и шума по спектру частот
Получим выражение для скорости передачи / через спектральные плотности мощности передаваемого сигна ла x(t) и шума n(t).
Если сипнал и шум статистически независимы и адди тивны, мощность принятого сигнала y(t), приходящаяся на элементарную полосу частот df,
4rf/) = ѴЗДМ-ь sn\f)df,
где Sx(f) и Sn(f) — соответственно спектральные плот ности мощности передаваемого сигнала и шума.
І01
В предположении, что распределения вероятностей сиг нала x(t) и шума n(t) нормальны, энтропия ti\=2dfT независимых отсчетов сигнала у(і), взятых по теореме Котельникова,
H {df)(Y) =* 2d/Г log \/2Vea{df) =
|
- |
2dfT log V 2 ^ |
|
|
|
- |
= |
d /r io g 2 * *[(&,(/) + |
S„(/)] rf// |
(5.11) |
|
Аналогично, |
энтропия tii = |
2dfT |
независимых отсчетов |
||
шума |
|
|
|
|
|
Hdf(n) = |
2rf/Tlog\/ 2ъеапЛ == d/T log 2neSn(f) df. |
(5.12) |
|||
Подставляя (5.11) и (5.12) |
в (5.6а), получаем |
|
|||
|
|
dl = df log |
Sv(/) + 5л(/) |
|
|
откуда |
|
|
SnU) |
|
|
|
SA/) + SnU) |
|
|
||
|
|
|
(5.13) |
||
|
|
S/iif) |
|
||
|
|
|
|
||
Как видно из формулы |
(5.13), |
скорость передачи рас |
тете ростом спектральной плотности мощности передава емого сигнала х(і) и убывает с увеличением спектраль ной плотности мощности шумов.
Задача 1. Используя формулу (5.13), вычислить ско
рость передачи, |
если спектральные плотности мощности |
||||||
сигнала |
x(t) и шума n(t) |
постоянны в |
полосе |
частот |
|||
W = / 2— |
/1 и равны нулю вне этой полосы. |
|
|
||||
Р е ш е н и е . Пусть в полосе частот W = f 2—f\, S n(f) = |
|||||||
= So, a Sn (f) = |
no. Тогда из (5.13) |
|
|
||||
I |
(f, - |
h) l o g ^ |
|
= |
W l o g s-z± 2 |
|
(5.14) |
Мощность сигнала P = |
ft |
e |
J |
откуда |
|
||
j |
Sx{f)df = S0W , |
|
|||||
|
|
|
h |
|
|
|
|
|
|
|
|
W' |
|
|
(5.15) |
|
|
fi |
|
|
|
|
|
|
|
Sn{f) df = n0W, откуда |
' «I |
||||
Мощность шума N = j |
|||||||
|
|
-h |
__ _/v |
|
|
|
|
|
|
*0 |
|
|
(5:16) |
||
|
|
|
yp * |
|
|
102
Подставляя (5.15) и (5.16) в (5.14), получаем
Т = u 7 io g (i + - £ - l
Задача 2. При заданных спектральной плотности мощ
ности |
шума Sn(f) и средней |
мощности |
сигнала |
опреде |
|
лить |
вид функции |
спектральной плотности |
сигнала |
||
SJf), |
доставляющей |
максимум скорости передачи. |
|||
Р е ш е н и е . Эта |
задача |
является |
вариационной по |
||
отысканию максимума функционала |
|
|
[5,(01 = f log§ л л ± М І І df
S„U)
при дополнительном условии
|
|
|
|
P = |
J S,(0 df = const. |
(5.17) |
||||||
|
|
|
|
|
f, |
|
функцию F*= Fj + |
^F2, где |
||||
Для этого |
нужно |
составить |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
fr |
|
Fi = log |
|
|
~ h . f ' ; Д2= 5 ,(0 ; X=const, и из уравнения |
|||||||||
OF* |
|
Оп\І) |
|
|
|
|
' |
дР* |
|
|||
0 |
определить |
искомую |
— |
|||||||||
dS yj = |
функцию: |
|
||||||||||
- 5 І Й |
Ш |
+ 1 - |
0' |
°ТКУЯа |
|
|
|
|||||
|
|
|
|
5,(0 = — ІА — Sn(f). |
(5.18) |
|||||||
Подставив в (5.17), |
получим |
Р = |
-----^-----J Sn(f)df = |
|
||||||||
W |
|
Л, |
- |
|
|
|
|
|
h |
|
|
|
|
откуда |
|
|
|
|
|
||||||
= -----^------/V, |
|
|
|
|
|
|
||||||
|
|
|
|
|
- |
4 |
- = Ч г ' |
|
(5Л9> |
|||
Подставив |
(5.19) |
в (5.18), получим искомую функцию |
|
|||||||||
|
|
|
|
Sk{ f ) = p ^ - - S n(f). |
(5.20) |
|||||||
При этом максимальная скорость передачи |
|
|
||||||||||
|
|
/™ах = |
r .lo g С + Д - J l o g Sn(f)df. |
|
|
|||||||
|
|
|
|
|
|
|
|
\i |
|
|
|
Если соотношение (5.20) выполняется, то говорят, что сигнал согласован с помехой.
103
П Р И Л О Ж Е Н И Я
1. Модель сигналов по Котельникову
Решение задач теории информации существенно упро щается, если представить сигнал x(t) счетным множест вом некоторых чисел х'ь’Для такого представления выби рают систему функций {%(/)) такую, что
jy« |
|
(1 |
где окі— символ Кронекера. Тогда |
сигнал x(t) |
можно |
представить в виде ряда |
|
|
X(t) = 2 x k ®* (*). |
■• |
(2) |
(А) |
|
|
в котором коэффициенты разложения являются числами
А* = J x(t) |
№ . |
(3) |
—оо |
|
|
В зависиімости от выбора |
ортонормированноіі (усло |
|
вие (1)) системы функций {<р*(0} |
ряд (2) может быть |
известным рядом Фурье, рядом Котельникова (см. ниже) и т. д.
Модель Котельникова позволяет существенно упрос тить определение коэффициентов х&- После соответству ющего выбора совокупности ортонормированных функций {<?*(£)} коэффициенты будут просто определяться зна чениями x(t) в некоторые моменты времени.
Теорема. Произвольная функция x(t), имеющая преоб разование Фурье, ограниченное полосой частот W, можетбыть тождественно представлена счетным числом отсче
тов, взятых через интервалы времени А / ==~^г-
Д о к а з а т е л ь с т в о . Функцию x(f), найденную пу тем обратного преобразования Фурье,
‘ 104
'2- \F
• x ( t ) = ± - j' x ^ ) e i m t d ü), (4>
—2-V
определим для дискретных моментов времени, равных
t = к = ± 1, ± 2, ± 3, ...» (5)‘
и расположенных последовательно на оси времени через
равные промежутки |
1 |
|
|
Д * « - |
( 6)= |
||
2W* |
Тогда
Поскольку по условию теоремы спектр Фурье задан на конечном отрезке (—2^W1 2nW), он может быть раз ложен в ряд Фурье
|
|
|
00 |
|
... |
& |
|
|
|
|
|
|
— / си |
— |
|
|
Л |
» = |
/ |
ус к е |
' |
2\\7 |
(8). |
|
|
|
|||||
|
|
|
/.’= —00 |
|
|
|
|
где |
|
|
|
|
|
|
|
|
|
|
2гЛГ |
|
. |
|
|
С |
— |
1 |
f |
X { u ) e " 2^r du. |
(9)- |
||
|
* ~ |
4г. № |
|
|
|
|
|
|
|
—2.-U7 |
|
|
|
|
|
Сравнивая выражения |
(9) |
и (7), находим, |
что |
' Подставляя *(10) в (8), получаем
Іі=—00
Это значение спектра подставим в (4):
105.
г |
|
k |
|
sin 2к\Ѵ I t |
|
||
2- \V |
t |
О 2W |
(12) |
2W |
|
||
|
|
|
Таким образом, произвольная функция x(t), имеющая ограниченный спектр, может быть представлена в виде ряда Котельникова:
sin 2г. Wit — 2\Ѵ
2г. W it — 2W
где Xk = — отсчеты функции x(t) в моменты вре
мени k/2W. Простым интегрированием легко проверить, что функции отсчетов
sin 2т, W
(О
2к W
ортонормированье т. е. удовлетворяют условию (2).
^ |
1 |
Г Т |
|
|
t |
Sin27clF^ |
пРед: |
Задача 1. |
Показать, |
|
что функция |
~27 W ~ |
|||
ставляет |
собой |
реакцию |
линейного фильтра с частотной |
||||
Xарактернетикой |
|
|
|
|
|||
|
|
|
1 |
— 2тс1|7'<(о< 2іг W\ |
|
||
|
я н |
|
i W ' |
|
|||
|
|
|
|
|
|
||
|
|
|
О , при остальных ш |
|
|||
на дельта-функцию Дирака. |
|
|
|||||
Р е ш е н и е . |
Как известно, выходной сигнал (реакция) |
произвольной линейной системы на входной сигнал в ви де о (t) определяется по формуле
_ і_
?(*) = 2г |
|
|
Подставляя (15) в (16), получаем |
• |
|
1 |
2г. W |
Sin 2TZWt |
|
||
4г. W -2г. W |
2т, Wt ’ |
|
что и требовалось показать. |
■ч* |
|
|
4 0 6
Таким образом, функцию времени (13) можно рас сматривать как реакцию фильтра с частотной характери стикой (15) на совокупность дельта-функций с площадя ми, равными отсчетам исходного сигнала x(k/2W) и сле дующими друг за другом через промежутки времени
A t = 1/2W |
(рис. 6). |
Задача 2. |
Регистрируемую величину, заданную регу |
лярной функцией времени
t > 0; * < 0 ,
представить ее отсчетами |
W . |
|||
согласно |
теореме |
Котель- |
| |
|
никова |
с |
относительной |
|
|
'погрешностью по |
энергии |
|
||
А £ /£ = |
0,01. |
Спект |
|
|
Р е ш е н и е . |
|
|||
ральную |
|
плотность ам- |
г |
|
плитуд сигнала x(t) най- |
хф(+)^ |
|||
дем из прямого преобра |
|
|||
зования Фурье: |
|
|
- ол ХгУгМ
0,5+/(о
Модуль спектральной плотности
I X (ш) I = |
0.1 |
XsW" |
|
]/■(),25 + |
|
t
t
График |1К( ш) I пред ставлен на рис. 7. Так как функция | Х ( ш) | . имеет неограниченный спектр, теорема Котельникова не применима. Однако если ограничиться полосой W0 (см. рис. 7), погрешность
в определении энергии бу дет равна
со
I 2d со =
Полная энергия сигнала |
|
|
|
I • |
|
£ = |
І х ( " ) І ч ” “ т [ 5 3 Я Г ? ‘і " = |
|
|||
|
О |
|
|
о |
|
|
0,01 |
т- |
= |
0,01. |
|
|
|
2-0,5 |
|
||
|
|
|
|
|
|
Из уравнения |
А Е |
|
|
|
1 |
—£—=0,01 находим |
|
Wo = - A - tg (0,495 • -) Äc 5 (Гц).
‘ié'*
Тамим образом, отсчеты сигнала следует брать с. темпом И?о=5Гц.
1 0 8
2. Значения функции — p \ o g 2P
Тысячные доіи р
|
0 |
1 |
о |
3 |
4 |
|
5 |
6 |
7 |
8 |
9 |
0,00 |
0,0000 |
0100 |
0179 |
0251 |
0319 |
|
0382 |
0443 |
0501 |
0557 |
0612 |
01 |
0664 |
0716 |
0766 |
0815 |
0862 |
|
0909 |
0955 |
0999 |
1043 |
1086 |
02 |
1129 |
1170 |
1211 |
1252 |
1291 |
|
1330 |
1369 |
1407 |
1444 |
1481 |
03 |
1518 |
1554 |
1589 |
1624 |
1659 |
|
1693 |
1727 |
1760 |
1793 |
1825 |
04 |
1858 |
1889 |
1921 |
1952 |
1983 |
|
2013 |
2043 |
2073 |
2103 |
2131 |
0,05 |
0,2161 |
2190 |
2218 |
2246 |
2274 |
|
2301 |
2329 |
2356 |
2383 |
2409 |
Об |
2435 |
2461 |
2487 |
2513 |
2538 |
|
2563 |
2588 |
2613 |
2637 |
2661 |
07 |
2686 |
2709 |
2733 |
2756 |
2780 |
|
2803 |
2826 |
2848 |
2871 |
2893 |
08 |
2915 |
2937 |
2959 |
2980 |
3002 |
|
3023 |
3044 |
3065 |
3086 |
3106 |
09 |
3127 |
3147 |
3167 |
3187 |
3207 |
|
3226 |
3246 |
3265 |
3284 |
3303 |
0,10 |
0,3322 |
3341 |
3359 |
3378 |
3396 |
|
3414 |
3432 |
3450 |
3468 |
3485 |
11 |
3503 |
3520 |
3537 |
3555 |
3571 |
|
3588 |
3605 |
3622 |
3638 |
3654 |
12 |
3671 |
3687 |
3703 |
3719 |
3734 |
|
3750 |
3766 |
3781 |
3796 |
3811 |
13 |
3826 |
3841 |
3856 |
3871 |
3886 |
|
3900 |
3915 |
3929 |
3943 |
3957 |
14 |
3971 |
3985 |
3999 |
4012- |
4026 |
4040 4053 4066 4079 4092 |
|||||
0,15 |
0,4105 |
4118 |
4131 |
4144 |
4156 |
|
4169 |
4181 |
4194 |
4206 |
4218 |
16 |
4230 |
4242 |
4254 |
4266 |
4277 |
|
4289 |
4301 |
4312 |
4323 |
4335 |
17 |
4346 |
4357 |
4368 |
4379 |
4390 |
|
4400 |
4411 |
4422 |
4432 |
4443 |
18 |
4453 |
4463 |
4474 |
4484 |
4494 |
|
4504 |
4514 |
4523 |
4533 |
4543 |
19 |
4552 |
4562 |
4571 |
4581 |
4590 |
4599 |
4608 |
4617 |
4626 |
4635 |
|
0,20 |
0,4644 |
4653 |
4661 |
4670 |
4678 |
4687 |
4695 |
4704 |
4712 |
4720 |
|
21 |
4728 |
4736 |
4744 |
4752 |
4760 |
4768 |
4776 |
4783 |
4791 |
4798 |
|
22 |
4806 |
4813 |
4820 |
1828 |
4835 |
4842 |
4849 |
4856 |
4863 |
4870 |
|
23 |
4877 |
4883 |
4890 |
4897 |
4903 |
4910 |
4916 |
4923 |
4929 |
4935 |
|
24 |
4941 |
4947 |
4954 |
4960 |
4966 |
4971 |
4977 |
4983 |
4989 |
4994 |
|
0,25 |
0,5000 |
5006 |
5011 |
5016 |
5022 |
5027 |
5032 |
5038 |
5943 |
5048 |
|
26 |
5053 |
5053 |
5063 |
5068 |
5072 |
5077 |
5082 |
5987 |
5091 |
5095 |
|
27 |
5100 |
5105 |
5109 |
5113 |
5118 |
5122 |
5126 |
5130 |
5134 |
5138 |
|
28 |
5142 |
5146 |
5150 |
5154 |
5158 |
5161 |
5165 |
5169 |
5172 |
5176 |
|
29 |
5179 |
5182 |
5186 |
5189 |
5192 |
5196 |
5199 |
5202 |
5205 |
5208 |
|
0,30 |
0,5211 |
5214 |
5217 |
5220 |
5222 |
5225 |
5228 |
5230 |
5233 |
5235 |
|
31 |
5238 |
5240 |
5243 |
5245 |
5247 |
5250 |
5252 |
5254 |
5256 |
5258 |
|
32 |
5260 |
5262 |
5264 |
5266 |
5268 |
5270 |
5272 |
5273 |
5275 |
5277 |
|
33 |
5278 |
5280 |
5281 |
5283 |
5284 |
5286 |
5287 |
5288 |
5289 |
5290 |
|
34 |
5292 |
5293 |
5294 |
5295 |
5296 |
5297 |
5298 |
5299 |
5299 |
5300 |
|
0,35 |
0,5301 |
5302 |
5302 |
5303 |
5304 |
5304 |
5305 |
5305 |
5305 |
5306 |
|
36 |
5306 |
5306 |
5307 |
5307 |
5307 |
5307 |
5307 |
5307 |
5307 |
5307 |
|
37 |
5307 |
5307 |
5307 |
5307 |
5307 |
5306 |
5306 |
5306 |
5305 |
5305 |
|
38 |
5304; |
5304 |
5303 |
5303 |
5302 |
5302 |
5301 |
5300 |
5300 |
5299 |
|
39 |
5298 |
5297 |
5296 |
5295 |
294 |
5293 |
5292 |
5291 |
5290 |
5289 |
|
0,40 |
0,5288 |
5286 |
5285 |
5284 |
5283 |
5281 |
5280 |
5278 |
5277 |
5275 |
|
41 |
5274 |
5272 |
5271 |
5269 |
5267 |
5266 |
5264 |
5262 |
5260 |
5258 |
|
42 |
5256 |
5255 |
5253 |
5251 |
5249 |
5246 |
5244 |
5242 |
5240 |
5238 |
|
43 |
5236 |
5233 |
5231 |
5229 |
5226 |
5224 |
5222 |
5219 |
5217 |
5214 |
|
44 |
5211 |
5209 |
5206 |
5204 |
5201 |
5198 |
5195 |
5193 |
5190 |
5187 |
109