Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Бовбель, Е. И. Элементы теории информации

.pdf
Скачиваний:
10
Добавлен:
19.10.2023
Размер:
6.15 Mб
Скачать

Если линия связи задана, т. е. заданы полоса частот и условная плотность вероятности w(x/y), то, варьируя в (5.5) w(x), можно найти такую функцию распределения входных сообщений, при которой скорость передачи бу­ дет максимальна. Поэтому для пропускной способности непрерывного канала можем записать:

Стах = max 2W[H(Y) -

H(Y/X)} = 2U7max I(X, Y). (5.6)

{w(x)}

{w{x)}

Если в липши связи на сообщения наложены некоторые ограничения, при отыскании максимума в (5.6) их сле­ дует учитывать.

§ 2. Пропускная способность стационарной гауссовой линии связи

Предположим, что шум, действующий в линии связи, стационарный гауссов, а выходное сообщение y(t) явля­ ется суммой полезного сообщения инезависимого от него шума: y(t) = x(t)-\-n(t). Условная плотность веро­ ятности w ( у / х ) = w(y х) = w(n). Поэтому

H{Y;X) =

I'

w(x, у) log w(y'x) dxdy =

 

 

 

_

öo — bo

 

=

00

 

 

Oo

1.

1' w(x)dx I’ w{y'x) \ogw(lJ;X)dy =

 

_

 

_

*

 

oo

 

00

=

00

 

 

00

C &у(л:) dx

I’ w{a) log w(n) da —

 

_

00

 

_ 0O

 

=

Oo

 

 

 

f w(n) log w(n) da = H(n),

— OO

где H(n) — энтропия шума. Так как заданный шум нор­ мален, на основании формулы (1.40)

Н{п) = log \]2г,е ап,

где о- — дисперсия шума. Выражение

7 = 2 \ V [ H ( Y ) — Н(п)] ' (5.6а)

максимально, когда максимальна энтропия принятых

сообщений,

a H(Y)

максимально

и равно log \/2^ е ау,

когда сообщения у

распределены

по гауссовому зако­

ну. Таким

образом,

 

 

100

Сс =

2W(\0g\j2^ecy — log\'2~^aJ =

=

2 W log

av

(5.7)

= W log

 

 

G/i

cn

Так как передаваемые сообщения и шум независимы, то

а.у = ад* T“

(5-8)

Подставив (5.8) в (5.7), получим

Cc = r io g ^ l +

Если u(f) и n(t) соответственно напряжения принима­ емого сигнала и шума, то з2 и а2— соответственно сред­ ние мощности принимаемого сигнала и шума. Обозначнв через Р среднюю мощность принимаемых сооб­ щений, а через N — среднюю мощность шума, из (5.9), будем иметь

Сс = W log ||l +

Y

(5.10)

Это известная формула Шеннона.

 

Из формулы (5.3) видно,

что одна и та же пропуск­

ная способность может быть получена, во-первых, расшн-- реиием полосы частот W и снижением за счет этого иеоб-- ходимого отношения сигнала к помехе, что ведет к сни-- жению необходимой мощности сигнала; во-вторых, суже­ нием необходимой полосы за счет повышения отношения сигнала к помехе (этот путь может быть использован там, где требуется сузить полосу частот).

Щ

§ 3. Зависимость скорости передачи информации от распределения сигнала и шума по спектру частот

Получим выражение для скорости передачи / через спектральные плотности мощности передаваемого сигна­ ла x(t) и шума n(t).

Если сипнал и шум статистически независимы и адди­ тивны, мощность принятого сигнала y(t), приходящаяся на элементарную полосу частот df,

4rf/) = ѴЗДМ-ь sn\f)df,

где Sx(f) и Sn(f) — соответственно спектральные плот­ ности мощности передаваемого сигнала и шума.

І01

В предположении, что распределения вероятностей сиг­ нала x(t) и шума n(t) нормальны, энтропия ti\=2dfT независимых отсчетов сигнала у(і), взятых по теореме Котельникова,

H {df)(Y) =* 2d/Г log \/2Vea{df) =

 

-

2dfT log V 2 ^

 

 

 

-

=

d /r io g 2 * *[(&,(/) +

S„(/)] rf//

(5.11)

Аналогично,

энтропия tii =

2dfT

независимых отсчетов

шума

 

 

 

 

 

Hdf(n) =

2rf/Tlog\/ 2ъеапЛ == d/T log 2neSn(f) df.

(5.12)

Подставляя (5.11) и (5.12)

в (5.6а), получаем

 

 

 

dl = df log

Sv(/) + 5л(/)

 

откуда

 

 

SnU)

 

 

SA/) + SnU)

 

 

 

 

 

(5.13)

 

 

S/iif)

 

 

 

 

 

Как видно из формулы

(5.13),

скорость передачи рас­

тете ростом спектральной плотности мощности передава­ емого сигнала х(і) и убывает с увеличением спектраль­ ной плотности мощности шумов.

Задача 1. Используя формулу (5.13), вычислить ско­

рость передачи,

если спектральные плотности мощности

сигнала

x(t) и шума n(t)

постоянны в

полосе

частот

W = / 2—

/1 и равны нулю вне этой полосы.

 

 

Р е ш е н и е . Пусть в полосе частот W = f 2f\, S n(f) =

= So, a Sn (f) =

no. Тогда из (5.13)

 

 

I

(f, -

h) l o g ^

 

=

W l o g s-z± 2

 

(5.14)

Мощность сигнала P =

ft

e

J

откуда

 

j

Sx{f)df = S0W ,

 

 

 

 

h

 

 

 

 

 

 

 

 

W'

 

 

(5.15)

 

 

fi

 

 

 

 

 

 

Sn{f) df = n0W, откуда

' «I

Мощность шума N = j

 

 

-h

__ _/v

 

 

 

 

 

*0

 

 

(5:16)

 

 

 

yp *

 

 

102

Подставляя (5.15) и (5.16) в (5.14), получаем

Т = u 7 io g (i + - £ - l

Задача 2. При заданных спектральной плотности мощ­

ности

шума Sn(f) и средней

мощности

сигнала

опреде­

лить

вид функции

спектральной плотности

сигнала

SJf),

доставляющей

максимум скорости передачи.

Р е ш е н и е . Эта

задача

является

вариационной по

отысканию максимума функционала

 

 

[5,(01 = f log§ л л ± М І І df

S„U)

при дополнительном условии

 

 

 

 

P =

J S,(0 df = const.

(5.17)

 

 

 

 

 

f,

 

функцию F*= Fj +

^F2, где

Для этого

нужно

составить

 

 

 

 

 

 

 

 

 

 

 

fr

Fi = log

 

 

~ h . f ' ; Д2= 5 ,(0 ; X=const, и из уравнения

OF*

 

Оп\І)

 

 

 

 

'

дР*

 

0

определить

искомую

dS yj =

функцию:

 

- 5 І Й

Ш

+ 1 -

0'

°ТКУЯа

 

 

 

 

 

 

 

5,(0 = — ІА — Sn(f).

(5.18)

Подставив в (5.17),

получим

Р =

-----^-----J Sn(f)df =

 

W

 

Л,

-

 

 

 

 

 

h

 

 

 

откуда

 

 

 

 

 

= -----^------/V,

 

 

 

 

 

 

 

 

 

 

 

-

4

- = Ч г '

 

(5Л9>

Подставив

(5.19)

в (5.18), получим искомую функцию

 

 

 

 

 

Sk{ f ) = p ^ - - S n(f).

(5.20)

При этом максимальная скорость передачи

 

 

 

 

/™ах =

r .lo g С + Д - J l o g Sn(f)df.

 

 

 

 

 

 

 

 

 

 

\i

 

 

 

Если соотношение (5.20) выполняется, то говорят, что сигнал согласован с помехой.

103

П Р И Л О Ж Е Н И Я

1. Модель сигналов по Котельникову

Решение задач теории информации существенно упро­ щается, если представить сигнал x(t) счетным множест­ вом некоторых чисел х'ь’Для такого представления выби­ рают систему функций {%(/)) такую, что

jy«

 

(1

где окі— символ Кронекера. Тогда

сигнал x(t)

можно

представить в виде ряда

 

 

X(t) = 2 x k ®* (*).

■•

(2)

(А)

 

 

в котором коэффициенты разложения являются числами

А* = J x(t)

№ .

(3)

—оо

 

 

В зависиімости от выбора

ортонормированноіі (усло­

вие (1)) системы функций {<р*(0}

ряд (2) может быть

известным рядом Фурье, рядом Котельникова (см. ниже) и т. д.

Модель Котельникова позволяет существенно упрос­ тить определение коэффициентов х&- После соответству­ ющего выбора совокупности ортонормированных функций {<?*(£)} коэффициенты будут просто определяться зна­ чениями x(t) в некоторые моменты времени.

Теорема. Произвольная функция x(t), имеющая преоб­ разование Фурье, ограниченное полосой частот W, можетбыть тождественно представлена счетным числом отсче­

тов, взятых через интервалы времени А / ==~^г-

Д о к а з а т е л ь с т в о . Функцию x(f), найденную пу­ тем обратного преобразования Фурье,

‘ 104

'2- \F

x ( t ) = ± - j' x ^ ) e i m t d ü), (4>

—2-V

определим для дискретных моментов времени, равных

t = к = ± 1, ± 2, ± 3, ...» (5)‘

и расположенных последовательно на оси времени через

равные промежутки

1

 

Д * « -

( 6)=

2W*

Тогда

Поскольку по условию теоремы спектр Фурье задан на конечном отрезке (—2^W1 2nW), он может быть раз­ ложен в ряд Фурье

 

 

 

00

 

...

&

 

 

 

 

 

 

— / си

 

 

Л

» =

/

ус к е

'

2\\7

(8).

 

 

 

 

 

 

/.’= —00

 

 

 

где

 

 

 

 

 

 

 

 

 

 

2гЛГ

 

.

 

 

С

1

f

X { u ) e " 2^r du.

(9)-

 

* ~

4г. №

 

 

 

 

 

 

 

—2.-U7

 

 

 

 

Сравнивая выражения

(9)

и (7), находим,

что

' Подставляя *(10) в (8), получаем

Іі=—00

Это значение спектра подставим в (4):

105.

г

 

k

 

sin 2к\Ѵ I t

 

2- \V

t

О 2W

(12)

2W

 

 

 

 

Таким образом, произвольная функция x(t), имеющая ограниченный спектр, может быть представлена в виде ряда Котельникова:

sin 2г. Wit — 2\Ѵ

2г. W it — 2W

где Xk = — отсчеты функции x(t) в моменты вре­

мени k/2W. Простым интегрированием легко проверить, что функции отсчетов

sin 2т, W

2к W

ортонормированье т. е. удовлетворяют условию (2).

^

1

Г Т

 

 

t

Sin27clF^

пРед:

Задача 1.

Показать,

 

что функция

~27 W ~

ставляет

собой

реакцию

линейного фильтра с частотной

Xарактернетикой

 

 

 

 

 

 

 

1

— 2тс1|7'<(о< 2іг W\

 

 

я н

 

i W '

 

 

 

 

 

 

 

 

 

 

О , при остальных ш

 

на дельта-функцию Дирака.

 

 

Р е ш е н и е .

Как известно, выходной сигнал (реакция)

произвольной линейной системы на входной сигнал в ви­ де о (t) определяется по формуле

_ і_

?(*) =

 

 

Подставляя (15) в (16), получаем

1

2г. W

Sin 2TZWt

 

4г. W -2г. W

2т, Wt

что и требовалось показать.

■ч*

 

4 0 6

Таким образом, функцию времени (13) можно рас­ сматривать как реакцию фильтра с частотной характери­ стикой (15) на совокупность дельта-функций с площадя­ ми, равными отсчетам исходного сигнала x(k/2W) и сле­ дующими друг за другом через промежутки времени

A t = 1/2W

(рис. 6).

Задача 2.

Регистрируемую величину, заданную регу­

лярной функцией времени

t > 0; * < 0 ,

представить ее отсчетами

W .

согласно

теореме

Котель-

|

никова

с

относительной

 

'погрешностью по

энергии

 

А £ /£ =

0,01.

Спект­

 

Р е ш е н и е .

 

ральную

 

плотность ам-

г

плитуд сигнала x(t) най-

хф(+)^

дем из прямого преобра­

 

зования Фурье:

 

 

- ол ХгУгМ

0,5+/(о

Модуль спектральной плотности

I X (ш) I =

0.1

XsW"

 

]/■(),25 +

 

t

t

График |1К( ш) I пред­ ставлен на рис. 7. Так как функция | Х ( ш) | . имеет неограниченный спектр, теорема Котельникова не­ применима. Однако если ограничиться полосой W0 (см. рис. 7), погрешность

в определении энергии бу­ дет равна

со

I 2d со =

Полная энергия сигнала

 

 

 

I •

£ =

І х ( " ) І ч ” “ т [ 5 3 Я Г ? ‘і " =

 

 

О

 

 

о

 

 

0,01

т-

=

0,01.

 

 

 

2-0,5

 

 

 

 

 

 

Из уравнения

А Е

 

 

 

1

—£—=0,01 находим

 

Wo = - A - tg (0,495 • -) Äc 5 (Гц).

‘ié'*

Тамим образом, отсчеты сигнала следует брать с. темпом И?о=5Гц.

1 0 8

2. Значения функции — p \ o g 2P

Тысячные доіи р

 

0

1

о

3

4

 

5

6

7

8

9

0,00

0,0000

0100

0179

0251

0319

 

0382

0443

0501

0557

0612

01

0664

0716

0766

0815

0862

 

0909

0955

0999

1043

1086

02

1129

1170

1211

1252

1291

 

1330

1369

1407

1444

1481

03

1518

1554

1589

1624

1659

 

1693

1727

1760

1793

1825

04

1858

1889

1921

1952

1983

 

2013

2043

2073

2103

2131

0,05

0,2161

2190

2218

2246

2274

 

2301

2329

2356

2383

2409

Об

2435

2461

2487

2513

2538

 

2563

2588

2613

2637

2661

07

2686

2709

2733

2756

2780

 

2803

2826

2848

2871

2893

08

2915

2937

2959

2980

3002

 

3023

3044

3065

3086

3106

09

3127

3147

3167

3187

3207

 

3226

3246

3265

3284

3303

0,10

0,3322

3341

3359

3378

3396

 

3414

3432

3450

3468

3485

11

3503

3520

3537

3555

3571

 

3588

3605

3622

3638

3654

12

3671

3687

3703

3719

3734

 

3750

3766

3781

3796

3811

13

3826

3841

3856

3871

3886

 

3900

3915

3929

3943

3957

14

3971

3985

3999

4012-

4026

4040 4053 4066 4079 4092

0,15

0,4105

4118

4131

4144

4156

 

4169

4181

4194

4206

4218

16

4230

4242

4254

4266

4277

 

4289

4301

4312

4323

4335

17

4346

4357

4368

4379

4390

 

4400

4411

4422

4432

4443

18

4453

4463

4474

4484

4494

 

4504

4514

4523

4533

4543

19

4552

4562

4571

4581

4590

4599

4608

4617

4626

4635

0,20

0,4644

4653

4661

4670

4678

4687

4695

4704

4712

4720

21

4728

4736

4744

4752

4760

4768

4776

4783

4791

4798

22

4806

4813

4820

1828

4835

4842

4849

4856

4863

4870

23

4877

4883

4890

4897

4903

4910

4916

4923

4929

4935

24

4941

4947

4954

4960

4966

4971

4977

4983

4989

4994

0,25

0,5000

5006

5011

5016

5022

5027

5032

5038

5943

5048

26

5053

5053

5063

5068

5072

5077

5082

5987

5091

5095

27

5100

5105

5109

5113

5118

5122

5126

5130

5134

5138

28

5142

5146

5150

5154

5158

5161

5165

5169

5172

5176

29

5179

5182

5186

5189

5192

5196

5199

5202

5205

5208

0,30

0,5211

5214

5217

5220

5222

5225

5228

5230

5233

5235

31

5238

5240

5243

5245

5247

5250

5252

5254

5256

5258

32

5260

5262

5264

5266

5268

5270

5272

5273

5275

5277

33

5278

5280

5281

5283

5284

5286

5287

5288

5289

5290

34

5292

5293

5294

5295

5296

5297

5298

5299

5299

5300

0,35

0,5301

5302

5302

5303

5304

5304

5305

5305

5305

5306

36

5306

5306

5307

5307

5307

5307

5307

5307

5307

5307

37

5307

5307

5307

5307

5307

5306

5306

5306

5305

5305

38

5304;

5304

5303

5303

5302

5302

5301

5300

5300

5299

39

5298

5297

5296

5295

294

5293

5292

5291

5290

5289

0,40

0,5288

5286

5285

5284

5283

5281

5280

5278

5277

5275

41

5274

5272

5271

5269

5267

5266

5264

5262

5260

5258

42

5256

5255

5253

5251

5249

5246

5244

5242

5240

5238

43

5236

5233

5231

5229

5226

5224

5222

5219

5217

5214

44

5211

5209

5206

5204

5201

5198

5195

5193

5190

5187

109

Соседние файлы в папке книги из ГПНТБ