Вопросы для самопроверки.

1. Как определяется понятие энтропии?

2. В чем суть теорем Шеннона?

3. Каким образом определяется единица количества информации?

4. Какое количество информации уменьшает неопределенность в два раза?

5. Сколько байт необходимо для кодирования числа 312?

6. Какой объем информации содержится в сообщении 2009?

7. Сколько байт в системе кодирования ASCII необходимо для хранения на диске слова ПРОЦЕССОР?

8. Сколько двоичных разрядов достаточно для кодирования 64 различных состояний?

9. В текстовом файле хранится текст объемом в 400 страниц. Каждая страница содержит 3200 символов. Если используется кодировка в KOI-8 (8 бит на 1 символ), то каков будет размер файла?

3. Позиционные системы счисления

Понятия «число» и «операции над числами» возникли из практической деятельности людей. На протяжении тысячелетий формы записи чисел претерпели большие изменения. Революционным моментом в совершенствовании записи чисел явилось создание десятичной системы счисления, в которой любое число представляется в виде последовательности цифр, причем вклад каждой цифры в общее значение числа зависит не только от значения цифры, но и от места (позиции), которое занимает эта цифра среди других цифр числа (позиционная система счисления).

Отметим две важные особенности позиционных систем счисления:

- краткость записи чисел по сравнению с непозиционными системами счисления;

- возможность формального сведения арифметических действий над числами к действием над их отдельными цифрами, что позволяет легко реализовать алгоритмы арифметических действий в вычислительных устройствах.

Запись целого числа N в любой позиционной системе счисления с основанием n обозначает представление этого числа в виде суммы степеней основания данной системы с различными коэффициентами, меньшими n. Эти коэффициенты и являются цифрами в записи числа.

Таким образом, любое число N, записанное в системе счисления с основанием n

N = ( a _m a _{m - 1} a _{m - 2} … a ₀ , a_-1 a_-2 …a_-p )_n

может быть изображено виде суммы

a _m n ^m + a _{m - 1} n ^{m - 1} + … + a ₀ n ⁰ + a _-1 n ^{– 1} + … + a _{- p} n ^{– p} ,

где a _m a _{m – 1} … a ₀ - целая часть числа,

a _-1 a_-2 …a_-p - дробная часть,

a _m, a _{m – 1,} … , a_-p - цифры из набора 0, 1 …. n – 1.

Двоичная система счисления. В двоичной системе счисления для изображения чисел используют цифры 0 и 1. Большинство элементов, на которых строится ЭВМ, имеет лишь два устойчивых состояния равновесия: одному из этих состояний равновесия присваивается значение цифры 1, а другому 0. Правила выполнения арифметических действий в этой системе чрезвычайно просты и легко реализуются в вычислительных машинах.

Восьмеричная и шестнадцатеричная системы счисления используются для записи команд в коде машины. В восьмеричной системе счисления используется набор из восьми цифр 0,1,2,3,4,5,6,7. Число 8 в восьмеричной системе изображается как 10₈.

В шестнадцатеричной системе счисления для записи чисел используется шестнадцать цифр – десять обычных десятичных цифр и ещё шесть дополнительных обозначений в виде заглавных букв A, B, C, D, E, F.

Правила перевода чисел из одной системы счисления в другую можно кратко сформулировать в виде:

- при переводе целого числа из системы счисления с основанием а в систему счисления с основанием n необходимо число в системе счисления с основанием a разделить на основание n. Полученный остаток является младшей цифрой числа в системе с основанием n. Деление продолжается до тех пор, пока частное не станет меньше делителя;

- при переводе правильной дроби из системы счисления с основанием а в систему счисления с основанием n необходимо дробь в системе с основанием a умножить на основание n. Полученная целая часть произведения является старшим дробным разрядом числа в системе счисления с основанием n. Дробную часть уточняют до тех пор, пока не получат требуемое количество знаков после запятой.

Связь между восьмеричной и двоичной системами счисления осуществляется с помощью триад. Триада – это комбинация трех двоичных разрядов. Каждая цифра восьмеричного числа заменяется соответствующей триадой.

Пример. Число 164,72₈ запишем сразу в двоичной системе счисления 001 110 100, 111 010₂. Обратный переход производится разбиением числа на триады влево и вправо от запятой.

Аналогично каждая шестнадцатеричная цифра заменяется тетрадой – комбинацией четырех двоичных разрядов.

Пример. 1D, F₁₆ в двоичной системе будет 0001 1101, 1111₂. Обратный переход производится разбиением двоичного числа на тетрады с добавлением незначащих нулей до полных тетрад и заменой их на соответствующие шестнадцатеричные цифры.