Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Otvety_k_ekzamenatsionnym_biletam_Informatika_1....docx
Скачиваний:
39
Добавлен:
18.12.2018
Размер:
267.65 Кб
Скачать
  1. Сущность понятия энтропии. Связь понятия количества

информации и энтропии.

Количество информации I (энтропийный подход). В теории ин­формации и кодирования принят энтропийный подход к измере­нию информации. Этот подход основан на том, что факт получе­ния информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого количество информации в сообщении определяется как мера уменьшения не­определенности состояния данной системы после получения сооб­щения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, эн­тропия системы снизилась, так как для наблюдателя система стала более упорядоченной.

Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т. д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия Н, а количество информации равно:

I = Hapr - Haps

Где: Нapr — априорная энтропия о состоянии исследуемой системы или про­цесса;

Haps апостериорная энтропия.

Апостериори (от лат. a posterioriиз последующего) — проис­ходящее из опыта (испытания, измерения).

Априори (от лат. a priori — из предшествующего) — понятие, ха­рактеризующее знание, предшествующее опыту (испытанию), и независимое от него.

В случае когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, т. е. Haps = 0), количество полученной информации совпадает с первоначальной энтропией I = Hapr

  1. Определение термин - «бит». Примеры сообщений,

содержащих один (два, восемь) бит информации.

В качестве единицы информации Клод Шеннон предложил принять  один  бит    (англ. bitbinary digit — двоичная цифра).

Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений   (типа "орел"—"решка", "чет"—"нечет" и т.п.).

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица —  байт,  равная  восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=28).

Если подбросить монету и проследить, какой стороной она упадет, то мы получим определенную информацию. Обе стороны монеты "равноправны", поэтому одинаково вероятно, что выпадет как одна, так и другая сторона. В таких случаях говорят, что событие несет информацию в 1 бит. Если положить в мешок два шарика разного цвета, то, вытащив вслепую один шар, мы также получим информацию о цвете шара в 1 бит.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]