8. Бірнеше статикалық тәуелсіз ақпарат көздерінің бірігу энтропиясы.

Бірігу энтропиясы және статистикалық тәуелді хабарламалардың бірге пайда болу энтропиясын есептеу үшін қолданылады. хабарламасын жіберу ансамблі және қабылдау ансамблі үшін біріктіру энтропиясы келесідей болады:

бит/екі символ (1.5)

Тәуелсіз ансамбльдер болған жағдайда:

Біріктіру энтропиясы және шартты энтропия өзара келесідей қатынаспен байланысқан:

(1.6)

Біріктіру энтропиясы келесі түрдегі матрицаның көмегімен есептелуі мүмкін:

Матрица қасиеттері:

,

9. Шартты энтропия (жекеше).

Ақпараттар теориясында шартты энтропия түсінігі төмендегідей өзара байланысты анықтағанда қолданылады:

а) кодталатын алфавит символдарымен (бір қайнар көзбен тізбектеліп таңдалатын жағдай арасында);

ә) байланыс каналдарымен ақпаратты тасымалдағанда жоғалтуларды анықтау үшін;

б) біріктіру энтропиясын есептеу үшін.

Егер – хабарлама көзінің еркін түрдегі жағдайы, – адресаттың еркін түрдегі жағдайы болса, онда дербес шартты энтропия қайнар көздің әрбір -ші жағдайында шартты энтропиясын анықтайды және келесі формуламен есептелінеді:

10. Шартты энтропия (жалпы).

Жалпы шартты энтропия хабарламасына қатысты таратылатыны белгілі болса, қабылдағыштағы ақпарат санын сипаттайды, (немесе, ансамбльдің жағдайы белгілі болғанда, ансамблінің бір жағдайына шаққанда орташа анықталмағандық).

(1.4)

Қасиеттері:

және екі ансамбльдерін біріктіру үшін

және .

Жалпы жағдайда егер біз -ның сигналдарын тасымалдап және-ның cигналдарын алуды күтетін болсақ, онда байланыс каналында кедергілердің әсері толығымен келесі түрдегі каналдық матрицамен баяндалады:

Диагональдар бойынша орналасқан ықтималдылықтар дұрыс, ал қалғандары – жалған қабылдауды анықтайды.

Каналдық матрицаның колонкаларын толтыратын цифрлардың мәні, әдетте негізгі диагональдан қашықтаған сайын кемиді және кедергінің болмаған жағдайында негізгі диогональда орналасқандардың барлығы, цифрдан басқаларының бәрі нөлге тең болады.

11)Ақпарат мөлшері және артықшылық-Ақпарат саны дегеніміз сынақ нәтижесінде энтропияның азаюы. Егер анықталмағандық толығымен жойылса, онда ақпарат энтропияға тең:

, кері жағдайда бастапқы және соңғы энтропиялардың айырмасына тең:

(2.1)

Ақпараттың ең үлкен саны максималды анықталмағандық жойылғанда – барлық оқиғалардың ықтималдылықтары бірдей болғанда анықталады.

, мұндағы – барлық оқиғалардың бірдей ықтималдықтар жағдайында іске асу ықтималдылығы.

Ақпарат артықшылығы дегеніміз ақпараттың максималды мүмкін саны мен энтропия арасындағы айырмашылық:

(2.2)

12) Дифференциалдық энтропия-Тәжірибе жүзінде ақпарат көзінің мүмкін жағдайларының жиынтығы континуум, яғни үздіксіз қайнар көздерді құрайды.

Үздіксіз ақпарат көзінің энтропиясын келесі түрде анықтаймыз: ықтималдылығының тығыздық үлестірумен сипатталатын , үздіксіз кездейсоқ шаманың өзгеру диапазонын, ені бар кіші интервалдардың ақырғы санына бөлеміз. интервалына жататын -дың кез келген мәнін іске асырғанда, дискретті кездейсоқ шаманың, мәні іске асырылады деп есептейміз. кіші болғандықтан, интервалынан мәнінің іске асу ықтималдылығы төмендегідей:

Онда дискретті кездейсоқ шаманың энтропиясы келесі түрде жазылуы мүмкін:

немесе

сол себепті

онда

кішіреюіне байланысты , ықтималдылығына жақындай түседі, оның мәні нөлге тең. Ал дискретті шаманың қасиеті – үздіксіз кездейсоқ шаманың қасиетіне жақындай түседі. шекке көше отырып,үздіксіз қайнар көздің энтропиясы үшін келесідей өрнек аламыз:

немесе

(2.8)

Бұл шама жағдайында шексіздікке ұмтылады, ол мүмкін жағдайлардың (мәндердің) шексіз үлкен саннан таңдаудың анықталмағандығы шексіз үлкен деген интуитивті түсінікке толығымен сәйкес келеді.

(2.8) қатынастың оң бөлігінің бірінші мүшесінің ақырғы мәні бар. Ол үздіксіз кездейсоқ шаманың үлестіру заңына тәуелді және кванттау қадамына тәуелді емес. Оның құрылымы дискретті қайнар көздің энтропиясының құрылымындай.

Сол қатынастың екінші мүшесі, керісінше, кездейсоқ шаманың кванттау қадамына ғана тәуелді, осыған байланыстышексіздікке ұмтылады.

(2.8) өрнегінің бірінші мүшесін үздіксіз қайнар көздің анықталмағандығы ретінде қабылданылуы, үздіксіз қайнар көздің ақпараттық қасиетінің соңғы сипаттамаларын алу үшін бір қадамы болып табылады:

(2.9)

Ол салыстырмалы дифференциалды энтропия немесе үздіксіз ақпарат көзінің дифференциалдық энтропиясы деп аталынады (кездейсоқ шаманың үздіксіз үлестірілуі).

Оның бірқалыпты үлестіруі бар, диапазоны бірге тең кездейсоқ шаманың таңдауының, орташа анықталмағандығымен салыстырғанда еркін үлестіру заңдылығы бар кездейсоқ шаманы таңдаудың орташа анықталмағандығы ретінде қарастыруға болады.

Дифференциалды энтропияның қасиеттері:

a) кездейсоқ шама үшін оның мүмкін аумағы жалғыз шектеуі болса, онда бұл аймақта ықтималдылықтарды бірқалыпты үлестіру, максималды дифференциалды энтропияға ие болады;

б) Егер үздіксіз кездейсоқ шаманың мәндер аумағына шектеу болмаса, бірақ дисперсияның шектелмегені белгілі болса, онда шаманың нормальді үлестіруі, максимальды дифференциалды энтропияға ие болады.

13) Артықшылық түсінігі-Егер де мәлімет көзінің энтропиясы осы берілген сапалық белгілерден тұратын алфавит үшін максималды энтропияға тең емес болса, онда ол алдымен берілген мәлімет көзінің өте көп ақпаратқа ие болатындығын білдіреді.

Мұндай мәлімет көзінің абсолютты жүктелмеуі:

(бит/символ) (2.3)

Артық ақпараттың болуы алфавит символымен толық жүктелмеуін көрсетеді және шексіз өлшем болып табылады.

(2.4)

мұндағы: – қысу коэффициенті.

Ақпараттың артық болуының жалпы түсініктемесімен бірге оның жеке түрлері де бар:

1. Мәліметтердегі символдардың біркелкі таралмауына байланысты болатын ақпарат;

(2.5)

2. Мәлімет символдары арасындағы статистикалық байланыс себебінен болатын артық ақпарат

(2.6)

3. Толық артық ақпарат:

(2.7)

2.1-мысал. Мәлімет алфавитінен құрастырылғанмәліметінің артық ақпарат санын анықтау қажет.

Шешуі:

Төрт әріптен тұратын алфавит үшін максималды энтропия:

бит/символ

Мәлімет символына орташа энтропия:

14) – кездейсоқ шаманың энтропиясы-Шуылы бар дискретті байланыс каналдары бойынша хабарламаны тасымалдағандағы ақпараттық жоғалтулар.

Эпсилон-энтропия

Егер:

1. Ақпарат көзінің жеке жағдайлары дегеніміз кездейсоқ шаманың тәуелсіз іске асуы болып табылады.кездейсоқ шаманың іске асу ансамбліықтималдылығының тығыздық үлестіруімен баяндалады.

2. кездейсоқ шаманың мәндерін басқакездейсоқ шаманың мәндері бойынша ғана талдауға болады. Олардың айырмашылық өлшемдері берілген өндірілу нақтылығынан аспауы қажет.

3. Дәлділікке қойылатын талаптар критерийін пайдалану арқылы беріледі

(2.10)

мұндағы – шартты үлестіру тығыздығы – нақтысигналы сигналы түрінде шығарылуының ақиқаттық функциясы; – берілген дәлдіктің мәні.

тығыздық анықталғандықтан, (2.10) шарты орындалуы үшін үлестірудің шартты тығыздығы арқылы түрлендіруге болады.

Егер кездейсоқ шамасықандай да бірдәлдігімен кездейсоқ шаманы туындайтын болса, онда ақпарат саны–ға қатыстытуындау шамасында орналасып соңғы болады және келесідей анықталады:

(2.11)

Мұндағы –туындау шамасының тығыздығы.

Мүмкіндігінше қабылданатын ақпараттың ең кіші санында туындаудың берілген ақиқаттығын қамтамасыз ету. Сондықтанда , функция жиынтығының арасынан (2.10) шартын қанағаттандыратын,-дың ең кішісін қамтамасыз ететін функцияны таңдау қажет.

-ға қатысты бір кездейсоқ шамасында,шамасының туындау дәлдігіне қойылатын талаптар қанағаттандырылса ең кіші ақпарат санышамасының(эпсилон) – энтропия шамасы деп аталынады жәнедеп белгіленеді.

, егер

/ (2.12)

Аталмыш шаманың маңыздылығы, (эпсилон) – энтропия берілген нақтылықпен (дәлдікпен) хабарламаны шығару үшін ең кіші екілік сандарды тасымалдау болып табылады.

15) Бірнеше өзарабайланысты ансамбльдердің энтропиясын анықтау-Ақпарат дегеніміз хабарламаны қабылдағанда, алынып тасталынатын анықталмағандық болғандықтан, ақпарат санын бір хабарламаға шаққанда, хабарламаның жалпы санының орташа энтропияға көбейтіндісі ретінде қарастыруға болады:

16) Каналдық матрицаның құрамын анықтау және оның қасиеттері-Кедергі болмаған жағдайда ақпаратты тасымалдау жылдамдығы уақыт бірлігінде хабарлама санымен анықталады және келесі өрнекке тең:

(3.1)

–уақыт бірлігінде хабарлама көзімен өндірілетін символдар саны,

–хабарламаның бір символын қабылдағанда алынатын энтропия.

Тасымалдаудың техникалық жылдамдығы:

(симв/сек), (3.2)

мұндағы -екінші алфавиттің бір символын тасымалдау уақыты.

Осылайша, бірдей ұзақтығы бар, бірдей ықтималдылықты, өзараықтималды символдардан құрастырылған хабарлама үшін, ақпаратты тасымалдау жылдамдығы келесідей:

(бит/сек)

Ұзақтығы бірдей, бірдейықтималдылықты жағдайда ақпаратты тасымалдау жылдамдығы келесідей:

(бит/сек)

Өткізгіштік қабілет дегеніміз (немесе байланыс каналының көлемі), аталмыш байланыс каналы бойынша ақпаратты тасымалдаудың максималды жылдамдығы:

(бит/сек).

Екілік код үшін:

(бит/сек).

Кедергі болған жағдайда байланыс каналының өткізгіштік қабілеті секундына қабылданған белгілер санының қабылданған сигналға қатысты, хабарлама көзінің энтропиясының және хабарлама көзінің шартты энтропиясының айырымдарының көбейтіндісіне тең:

/

немесе

/]

3.1-мысал. Хабарлама екілік кодта тасымалданады -дің тасымал уақытысек, 1-ге сәйкес импульс ұзақтығы сек. Егер символының пайда болу ықтималдылығыболса, ақпаратты тарату жылдамдығын анықтаңыз.

Шешуі:

1 символының пайда болу ықтималдығы

3.2-мысал. және екі жүйе үшін, егер екі жүйенің сипаттамасының жүйесінің шығысында сигналдардың пайда болуының шартты емес ықтималдығы ғана белгілі болса, байланыс каналының өткізгіштік қабілетін анықтау қажет:

және шартты ықималдықтар матрицасы келесідей:

Әрбір хабарлама символы 0,1 сек-та өңделінеді.

Шешуі:

Бірлескен оқиғалардың ықтималдық мәндерін анықтаймыз, әрі A және B біріктірілген жүйелер үшін ықтималдықтар матрицасын құрастырамыз:

түріндегі шартты ықтималдықтарды табамыз:

/

/

/

/

/

/

/

/

17) Туындаудың ақиқаттылығының орташа квадраттық критериін сипаттау-Ақпарат дегеніміз хабарламаны қабылдағанда, алынып тасталынатын анықталмағандық болғандықтан, ақпарат санын бір хабарламаға шаққанда, хабарламаның жалпы санының орташа энтропияға көбейтіндісі ретінде қарастыруға болады:

18) Сигналдардың математикалық модельдері-Сигнал дегеніміз – ақпараттық жүйеде хабарламаны тасымалдау үшін арнайы жасалынған, ақпаратты, материалды тасушы. Ақпаратты тасушы ретінде тербеліс қолданылады. Детерминдік тербеліс кез-келген уақыт аралығында анықталынады. Кездейсоқ тербелістердің мәнін болжауға мүмкін емес параметрлері болуы мүмкін. Сигнал кездейсоқ тербелісті білдіреді. Детерминдік сигналдардың модельдері:

1) Кездейсоқ процесс – детерминдік функцияның жиынтығы түрінде болуы мүмкін;

2) Детерминдік сигналдар ақпараттық техника объектілерін өлшеу, жөндеу, реттеу мақсатында арнайы құрастырылады.

Мақсат: байланыс жүйелері арқылы нақты сигналдардың өтуін зерттейтін, есепті жеңілдететін сигналдың түрін табу. сигналды баяндау, Дерихле шартын қанағаттандырады деп ұйғарамыз (нақты сигналдар үшін жиі қолданылады). сигналын базистік функцияның өлшенген қосындысы түрінде көрсетеміз:

(4.1)

Егер базистік функция түрінде ортогональды, яғни келесідей , , кесіндісінде, барлық, ,, келесідей болады, ( жағдайынан басқа да): (4.2)

Егер барлық үшін келесі қатынас ақиқат болса, онда бұл функция жүйесі ортонормальды болады: (4.3)

сигналының ортонормальды функциясының жиынтығы (4.1) түрінде көрсетілгенде коэффицентерін анықтаймыз. (4.1) теңдеуінің оң және сол жақтарын-ға көбейтеміз және аралығында интегралдаймыз, мұнда :

19) Сигналды бейнелеудің уақыттық формасы-Сигналды уақытша көрсету дегеніміз базистік функция ретінде бірлік импульстік функция – дельта-функция қолданылатын сигналының жіктелуін айтамыз.

Дельта фукцияның символдық көрінісі 4.1-суретте көрсетілген.

4..1-сурет

Нақты сигналды дұрыс өрнектейтін жалғыз параметр ол – оның қызмет ету уақыты. -функцияның көмегімен нақты сигналдың мәнін келесідей өрнектеуге болады:

Осылайша, функциясы шексіз аз ұзақтықтағы бір-біріне тұйықталатын импульстердің жиынтығы түрінде өрнектелінген. (4.5) жіктелудің сызықтық жүйелер теориясында үлкен маңызы бар. Себебі, жүйенің реакциясын дельта-функция түрінде қарапайым кіріс сигналына орналастырып, кіріс сигналының сәйкес мәніне тең «ауданмен», ығысқан дельта-импульстердің шексіз тізбегіне реакцияның суперпозициясы ретіндегі еркін кіріс сигналына деген реакциясын анықтауға болады.

20) Сигналды бейнелеудің көрсетімінің жиіліктік формасы-Бұл жағдайда базистік функция ретінде келесі функциялар алынған:

(4.6)

(мұндай функциялар уақыт бойынша инвариантты сызықтық жүйелерді талдауда маңызды). периодтық сигналы үшінкоэффициенті базистік функциялар үшін спектр деп аталынады және келесідей анықталады:

, (4.7)

мұндағы -сигнал периоды,

периодтық сигналын (4.6) базистік функцияның көмегімен көрсету, комплексті түрде Фурье қатарына жіктеу деп аталынады және келесі түрде өрнектеледі:

Фурье қатарын тригонометриялық түрге жіктеу келесі түрде өрнектеледі:

немесе

,

мұндағы – k-сыншы гармоникалық құрамдасы, k-сыншы гармоникалық құрамдастың амплитудасы, жиілігі және бастапқы фазасы;

–тұрақты құрамдасы, ол сигналдың период ішінде, сигналдың орташа мәнін өрнектейді:

, , , ,

, , .

–жиіліктің гармоникалық құрамдасының комплексті амплитудасы жәнекоэффициенттері келесі түрде байланысқан: .

Үздіктілік (дискреттілік) – спектрлі периодты сигналдардың ерекшелігі болып табылады. Көршілес спектральды желістер арасындағы арақашықтықтар бірдей және негізгі гармоникалық жиілікке тең.

Периодты емес сигналды, өзгеру периоды шексіздікке тең болатын периодты сигнал ретінде қарастыруға болады. периоды үлкейгенде, сигнал спектрінде және спектральді құрамдас амплитудалардағы аралас жиіліктер арасындағы интервал кішірейеді және шек те өте кіші шексіз шамаға айналады. Бұл жағдайда периодты сигналды спектральді жіктелуін бейнелейтін Фурье қатары, периодты емес сигналдың спектральді жіктелуін бейнелейтін Фурье интегралына түрленеді:

(4.8)

мұндағы

–спектральді тығыздық,

–сигналдың амплитудалық-жиіліктік сипаттамасы,

–сигналдың фаза-жиіліктік сипаттамасы.

(4.8) өрнек Фурьенің кері түрлену формуласы деп аталынады.

Спектрлі тығыздық сигналдың уақытша функциясымен, Фурьенің кері түрленуі арқылы байланысты

Спектрлі тығыздық периодты емес сигналды бейнелейді және келесі шарттарды қанағаттандырады:

1. 

2. Спектрлі тығыздықтың модулі жұп, ал аргументі – тақ жиіліктік функция болып табылады, яғни: