4.Що таке ансамблі та джерела повідомлень

?????

---------------------------------------------------------------------------------------------------

5 У чому полягають основні положення Шеннона до визначення кількості інформації?

В основу теорії інформації покладено запропонований Клодом Шенноном спосіб вимірювання кількості інформації, що міститься в одній випадковій величині щодо іншої випадкової величини¹. Цей спосіб дозволяє виразити кількість інформації числом і надає можливість об'єктивно оцінити інформацію, що міститься у повідомленні.

Коротко розглянемо основні викладки ймовірностного підходу Шеннона до визначення кількості інформації.

Нехай дискретне джерело інформації видає послідовність повідомлень x_i, кожне з яких вибирається з алфавіту x₁, x₂, …, x_k, де k - об'єм алфавіту джерела.

У кожному елементарному повідомленні для його одержувача міститься інформація як сукупність відомостей про стан деякого об'єкта або системи.

Для того щоб абстрагуватися від конкретного змісту інформації, тобто її смислового значення, і отримати саме загальне визначення кількості інформації, кількісну міру інформації визначають без урахування її смислового змісту, а також цінності і корисності для одержувача.

До того як зв'язок відбувся, є деяка невизначеність щодо того, яке з повідомлень з можливих буде передане. Ступінь невизначеності передачі х_i можна визначити його апріорною імовірністю p_i. Отже, кількість інформації I(X_i) буде деякою функцією від p_i: I(X_i)=f(p_i). Визначимо вид цієї функції.

Вважатимемо, що міра кількості інформації I(X_i) відповідає двом інтуїтивним властивостям:

1) якщо вибір повідомлення джерела x_i наперед відомий (немає невизначеності), тобто маємо достовірний випадок, імовірність якого p_i=1, то I(X_i)=f(1)= 0;

2) якщо джерело послідовно видає повідомлення x_i і x_j, і імовірність такого вибору p_ij - сумісна імовірність подій x_i і x_j, то кількість інформації в цих елементарних повідомленнях дорівнює сумі кількості інформації в кожному з них.

Ймовірність сумісного випадання двох випадкових подій x_i і x_j дорівнює добутку ймовірності однієї з цих подій на ймовірність іншої за умови, що перша подія відбулася, тобто p_ij=p_ip_j/i=PQ.

Тоді, з властивості 2 кількості інформації випливає, що

I(X_i, X_j)=I(X_i)+I(X_j)=f(P∙Q)=f(P)+f(Q).

Звідси випливає, що функції f(p_i) логарифмічна. Таким чином, кількість інформації зв'язана з апріорною імовірністю співвідношенням

,

при цьому коефіцієнт k і основа логарифма можуть бути довільними.

Для того щоб кількість інформації визначалася невід'ємним числом, взяте k=-1, а основу логарифма найчастіше вибирають 2, тобто

. (1.1)

У цьому випадку за одиницю кількості інформації так само береться біт. У такий спосіб біт – це кількість інформації в повідомленні дискретного джерела, алфавіт якого складається з двох альтернативних подій, які є апріорно рівноймовірними. Якщо кількість апріорно рівноймовірних подій дорівнює 2⁸, то за одиницю інформації береться байт.

Якщо джерело інформації видає послідовність взаємозалежних повідомлень, то отримання кожного з них змінює ймовірність появи наступних і відповідно кількість інформації у них. У такому випадку кількість інформації виражається через умовну ймовірність вибору джерелом повідомлення x_i за умови, що до цього були обрані повідомлення x_i-1, x_i-2 …, тобто

. (1.2)

Кількість інформації I(X) є випадковою величиною, оскільки самі повідомлення випадкові. Закон розподілу ймовірностей I(X) визначається розподілом ймовірностей P(X) ансамблю повідомлень джерела.

Натомість сам Шеннон зазначав, що смисловий зміст (семантика) повідомлень не має ніякого відношення до його теорії інформації, яка цілком базується на положеннях теорії ймовірності. Його спосіб вимірювання інформації наводив на думку про можливість існування способів вимірювання інформації з урахуванням її змісту, тобто семантичної інформації.

Одним із таких способів вимірювання кількості інформації є функція inf(S)=-log₂p(S), де S - висловлювання, смисловий зміст якого вимірюється; p(S) - ймовірність істинності S. Властивості цієї функції:

1) якщо S₁ S₂ істинно, то inf(S₁) ≥ inf(S₂);

2) якщо S істинно, то inf(S)=0;

3) Inf(S) ≥ 0;

4) Inf(S₁, S₂)= inf(S₁) + inf(S₂) p(S₁, S₂)=p(S₁)+p(S₂), тобто S₁, S₂ незалежні.

---------------------------------------------------------------------------------------------------

6 Як визначається кількість інформації, що міститься в одному повідомленні дискретного джерела?. Які її властивості.

Таким чином, кількість інформації зв'язана з апріорною імовірністю співвідношенням

,

при цьому коефіцієнт k і основа логарифма можуть бути довільними.

Для того щоб кількість інформації визначалася невід'ємним числом, взяте k=-1, а основу логарифма найчастіше вибирають 2, тобто

. (1.1)

У цьому випадку за одиницю кількості інформації так само береться біт. У такий спосіб біт – це кількість інформації в повідомленні дискретного джерела, алфавіт якого складається з двох альтернативних подій, які є апріорно рівноймовірними. Якщо кількість апріорно рівноймовірних подій дорівнює 2⁸, то за одиницю інформації береться байт.

????ЇЇ властивості

---------------------------------------------------------------------------------------------------