Згідно з формулою (3.1) визначаємо абсолютне недовантаження двійкового шестирозрядного повідомлення:

D=(6-5.02)=0.98 біт/повідомлення .

З формули (3.1) можна зробити висновок, що абсолютне недовантаження на повідомлення зменшується з наближенням значення фактичної ентропії на повідомлення до максимального можливого її значення для повідомлень визначеної розрядності.

Як вже зазначалося, поняття недовантаження алфавіту (повідомлень) тісно пов’язане з поняттям інформаційної надлишковості. У випадку передачі повідомлення, яке характеризується відмінним від нуля показником недовантаження, прийнято говорити про передачу цим повідомленням надлишкової інформації. Інформаційна надлишковість характеризує відносне недовантаження на символ алфавіту (на повідомлення і т.д.) і визначається за формулою:

D = ( Н_макс – Н) / Н_макс = 1 – Н / Н_макс . (3.2)

Оскільки одиниці виміру величин в чисельнику та знаменнику формули (3.2) співпадають, інформаційна надлишковість є безмірною величиною.

Величину =Н/Н_макс називають коефіцієнтом стиску (відносна ентропія).

Приклад 3.2. Визначити інформаційну надлишковість повідомлення, характеристики якого наведено в прикладі 3.1.

Розв’язок.

В прикладі 3.1 нами були визначені наступні значення ентропії:

Н_макс= 6 біт/повідомлення;

Н = 5.02 біт/повідомлення.

Згідно формулою (3.2) визначимо інформаційну надлишковість повідомлення:

D=1-5.02/6=0.16 .

Повертаючись до аналізу природи статистичної надлишковості повідомлень, проаналізуємо більш детально приклад 1.3. Теоретично наведена в прикладі система може сформувати в двійковому коді 64 різних повідомлення з шести розрядів. Оскільки система в прикладі 1.3 фактично генерує лише 33 повідомлення, можна сказати, що імовірність формування останніх 31 повідомлення дорівнює нулю. Таким чином, в даній системі статистична надлишковість виникає через різні статистичні імовірності формування можливих повідомлень, оскільки значення імовірностей для тридцяти трьох з них дорівнює 1/33, а для останніх тридцяти одного дорівнює нулю.

З цього можна зробити висновок, що надлишковість, яка випадає на один інформаційний елемент (символ алфавіту, повідомлення і т. д.), є наслідком нерівномірного розподілу імовірностей появи можливих значень інформаційних елементів.

Для символів алфавіту в [2, с.58] наведене наступне визначення: надлишковість, що закладена в природі коду з різними імовірностями символів в повідомленні, виникає внаслідок нерівномірного розподілу якісних ознак цього коду в повідомленнях.

Надлишковість, за умови нерівномірного розподілу імовірностей надходження можливих значень кодових комбінацій, обов’язково виникає в рівномірних кодах (з однаковою довжиною кодових комбінацій) навіть у випадках, коли кількість зазначених комбінацій дорівнює mⁿ, де n - натуральне число, а m – кількість якісних ознак алфавіту, який використовується для кодування інформаційних елементів (для двійкового коду m=2).

Дослідження особливостей характеру розподілу імовірностей надходження інформаційних елементів дозволяє визначити можливість зменшення інформаційного недовантаження та надлишковості повідомлень за рахунок використання для їх кодування нерівномірних кодів (кодів з різними довжинами кодових комбінацій).

Нерівномірні коди дозволяють без втрат передати інформацію меншим числом кодових розрядів, тобто з меншою надлишковістю.

Розглянемо приклад.

Приклад 3.3. Нехай нам необхідно закодувати двійковим кодом для передачі через послідовний канал зв’язку текст “АРАРАТ.”. Кодування слід виконати співставленням комбінації коду кожному символу тексту (кожний символ тексту при цьому розглядається як окреме повідомлення). Метою кодування є максимальна ефективність використання ресурсів систем передачі інформації, тобто мінімізація довжини сформованого коду (в цілому для всього тексту).

Розв’язок.

Текст “АРАРАТ.” складається з чотирьох символів: “А”, “Р”, “Т” та “.”. Це означає, що кількість повідомлень в нашому випадку N=4. Кількість якісних ознак двійкового коду m=2. За аналогією з прикладом 1.2 отримуємо n -значення кількості символів в повідомленні (не враховуючи розподілу імовірностей надходження повідомлень):

n = log_m N = log₂ 4 = 2 .

Таким чином, для кодування чотирьох літер відповідні повідомлення повинні містити по 2 двійкових розряди. Одним з можливих варіантів такого коду може бути наступний: “А” – 00; “Р” – 01; “Т” – 10; “.” – 11. При цьому кодова послідовність, яку слід передати для передачі всього тексту “АРАРАТ.”, буде мати вигляд:

0 0 0 1 0 0 0 1 0 0 1 0 1 1

( А Р А Р А Т .)

Всього наведена кодова послідовність складається з 14 двійкових розрядів, тобто з 7 дворозрядних повідомлень.

Розглянемо інший спосіб кодування. Для цього співставимо літерам тексту кодові комбінації різної довжини, а саме: “А” – 0; “Р” – 10; “Т” – 110; “.” – 111 (при визначенні значень кодових комбінацій було використано один з методів побудови оптимальних нерівномірних кодів, які будуть розглядатися далі). Кодова послідовність, яку слід передати для передачі тексту, при такому способі кодування буде мати вигляд:

0 1 0 0 1 0 0 1 1 0 1 1 1

( А Р А Р А Т . )

Якщо спосіб кодування символів відомий декодуючій стороні, порозрядний аналіз отриманої двійкової кодової послідовності, починаючи з старшого розряду (з ліва на право), дозволяє легко виділити кодові комбінації символів повідомлення. Наприклад, самий старший розряд кодової послідовності дорівнює 0, що відповідає кодовій комбінації символу “А”; наступний (другий) розряд дорівнює 1 і не має аналога серед кодових комбінацій, тому його розглядаємо в сукупності з третім розрядом, що дає нам кодову комбінацію 10 - символ “Р” і т.д.). Таким чином, нами отримано спосіб кодування, який дозволяє легко відновити початковий вигляд закодованого тексту без втрат та потребує передачі лише 13 двійкових розрядів. В наведеному прикладі це дозволяє скоротити довжину кодової послідовності в порівнянні з попереднім варіантом на 7%.

Зазначимо, що нерівномірні коди не завжди усувають надлишковість повністю. Умовою можливості повного усунення надлишковості є розподіл імовірностей надходження інформаційних елементів, при якому всі імовірності можуть бути визначені як mⁿ, де n - ціле число.

Для оцінки недовантаження та надлишковості нерівномірного коду також використовуються формули (3.1) та (3.2). При цьому значення Н визначається згідно з формулою (2.1), а значення Н_макс визначається як середня довжина кодових комбінацій l_ср (з урахуванням імовірностей їх надходження):

,

(3.3)

де l_і – довжина (розрядність) і-тої кодової комбінації; р_і – імовірність надходження і-тої кодової комбінації.

Примітка 3.1. Правило Н_макс = l_ср є вірним також і у випадку рівних імовірностей надходження комбінацій рівномірного коду, що підтверджується прикладом 3.1 і може бути легко доведено.

Приклад 3.4. Порівняти показники абсолютного недовантаження та інформаційної надлишковості для рівномірного та нерівномірного способу кодування повідомлення “АРАРАТ.”, наведених в прикладі 3.3.

Розв’язок.

Визначимо імовірності надходження символів повідомлення “АРАРАТ.”. Отримуємо: р_А=3/70.43; р_Р=2/70.29; р_Т=р_.=1/70.14.

Оскільки показник Н не залежить від особливостей вторинного алфавіту (довжини сформованих кодових комбінацій), за умови нерівномірного розподілу імовірностей надходження символів повідомлення “АРАРАТ.” його значення розраховуємо за формулою (2.1):

Н =-(р_А log₂ р_А + р_р log₂ р_Р + р_Т log₂ р_Т + р_. log₂ р_.)=

=-(0.43 log₂ 0.43 + 0.29 log₂ 0.29 + 2*0.14 log₂ 0.14)=

= 0.43*1.23+0.29*1.79+2*0.14*2.82  1.837 біт/символ .

Для розрахунку значення Н_макс з прикладу 3.3 визначимо довжини кодових комбінацій для обох способів кодування. Для кодування рівномірним кодом отримуємо: l_А=l_Р=l_Т=l_.=2. Для кодування нерівномірним кодом отримуємо: l_А=1; l_Р=2; l_Т=l_.=3.

Значення Н_макс розраховуємо згідно з формулою (3.3), яка для нашого прикладу буде мати вигляд:

Н_макс= р_А l_А + р_р l_Р + р_Т l_Т + р_. l_. .

Для кодування рівномірним кодом отримуємо:

Н_макс= 0.43*2+0.29*2+0.14*2+0.14*2 = (0.43+0.29+0.14+0.14)*2 =2 біта/символ .

Для кодування нерівномірним кодом отримуємо:

Н_макс= 0.43*1+0.29*2+0.14*3+0.14*3 = 1.85 біт/символ .

Згідно з формулою (3.1) визначаємо абсолютне недовантаження на символ повідомлення для обох способів кодування:

D_{рівном.} = ( 2 –1.837 )=0.163 біт/символ ;

D_{нерівном.} = ( 1.85 –1.837 )=0.013 біт/символ .

Згідно з формулою (3.2) визначаємо показник надлишковості для обох способів кодування:

D_{рівном.} = ( 2 –1.837 )/2  0.082 ;

D_{нерівном.} = ( 1.85 –1.837 )/1.85  0.007 .

Як видно з проведеного дослідження, використання нерівномірного коду при кодуванні символів повідомлення “АРАРАТ.” замість рівномірного коду дозволяє значною мірою зменшити показники абсолютного недовантаження на символ повідомлення та інформаційної надлишковості.