Задачи по теме "Количество информации"

Пример 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение.
Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.
N = 32, I = ?
N = 2^I, 32 = 2⁵, I = 5 бит.
Ответ: 5 бит.

Пример 2.В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.

Решение.
Вероятность вытаскивания белого шара
P₁ = 40/50 = 0,8
Вероятность вытаскивания чёрного шара
P₂ = 10/50 = 0,2
Количество информации о вытаскивании белого шара I₁ = log₂(1/0,8) = log₂1,25 = log1,25/log2 = 0,32 бит
Количество информации о вытаскивании чёрного шара I₂ = log₂(1/0,2) = log₂5 = log5/log2 » 2,32 бит
Ответ: 0,32 бит, 2,32 бит

Пример 3. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней - 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу?

Решение.
События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей.
Общее количество карасей и окуней в пруду 1500 + 500 = 2000.
Вероятность попадания на удочку карася
p₁ = 1500/2000 = 0,75, окуня p₂ – 500/2000 = 0,25.
I₁ = log₂(1/p₁), I₁ = log₂(1/p₂), где I₁ и I₂ – вероятности поймать карася и окуня соответственно.
I₁ = log₂(1 / 0,75) = 0,43 бит, I₂ = log₂(1 / 0,25) = 2 бит – количество информации в сообщении поймать карася и поймать окуня соответственно.
Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона
I = - p₁log₂p₁ - p₂log₂p₂
I = - 0,75*log₂0,75 - 0,25*log₂0,25 = - 0,75*(log0,75/log2)-0,25*(log0,25/log2) =
= 0,604 бит = 0.6 бит.
Ответ: в сообщении содержится 0,6 бит информации.

Пример 5. Заполнить пропуски числами:

 
 а) 5 Кбайт = __ байт = __ бит, 
 б) __ Кбайт = __ байт = 12288 бит; 
 в) __ Кбайт = __ байт = 2 13 бит; 
 г) __Гбайт =1536 Мбайт = __ Кбайт; 
 д) 512 Кбайт = 2__ байт = 2__ бит.

Пример 6. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1/512 часть одного мегабайта?

Решение.
1) 1/512 Мб * 1024 = 2 Кб * 1024 = 2048 байт
2) К = 2048 символов, следовательно, i = 1 байт = 8 бит
3) 2ⁱ = N; 2⁸ = 256 символов

Ответ: 1) 1/512 Мб * 1024 = 2 Кб * 1024 = 2048 байт
2) К = 2048 символов, следовательно, i = 1 байт = 8 бит
3) 2ⁱ = N; 2⁸ = 256 символов.

Пример 7.Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице - 40 строк, в каждой строке - 60 символов. Каков объем информации в книге?

Решение.
Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации.
Значит, страница содержит 40*60=2400 байт информации. Объем всей информации в книге: 2400*150 = 360 000 байт.
Ответ: 360 000 байт.

Пример 8. Для передачи секретного сообщения используется код, состоящий из десяти цифр. При этом все цифры кодируются одним и тем же (минимально возможным) количеством бит. Определите информационный объем сообщения длиной в 150 символов.

Решение.
Для кодировки одной из 10 цифр необходимо 4 бита. Это получаем из 2³ < 10 < 2⁴. Объём 150 символов получим 150*4=600(бит).
Ответ: 600 бит.

Пример 9.В кодировке Unicode на каждый символ отводится два байта. Определите информационный объем слова из двадцати четырех символов в этой кодировке.

Решение.
I= K*i; I = 24*2 байт = 48 байт = 48*8бит = 384 бит.
Ответ: 384 бита.

Пример 10.В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок?

Решение.
Количество информации вычисляется по формуле: 2ⁱ = N, где i - искомая величина, N - количество событий.
2ⁱ=128. Следовательно, i=7.
Ответ: 7 бит.