Чтобы определить, какое сообщение содержит большее количество информации, нужно воспользоваться понятием энтропии из теории информации. Энтропия характеризует количество неопределенности или, иначе говоря, количество информации, получаемой при снятии этой неопределенности.
Монета упала "решкой" вверх:
- Рассмотрим бросок монеты. У монеты два исхода: "орел" или "решка". Вероятность каждого исхода равна 1/2.
- Энтропия ( H ) для этого события рассчитывается по формуле Шеннона:
[
H = - \sum p_i \log_2 p_i
]
где ( p_i ) — вероятность каждого исхода. В нашем случае:
[
H = - \left( \frac{1}{2} \log_2 \frac{1}{2} + \frac{1}{2} \log_2 \frac{1}{2} \right) = - \left( \frac{1}{2} \cdot (-1) + \frac{1}{2} \cdot (-1) \right) = 1 \text{ бит}
]
В библиотеке книга нашлась в 5-м шкафу из восьми:
- Здесь у нас 8 шкафов, поэтому вероятность найти книгу в любом из них равна 1/8.
- Энтропия ( H ) рассчитывается аналогично:
[
H = - \sum p_i \log_2 p_i = - \sum \left( \frac{1}{8} \log_2 \frac{1}{8} \right) = - 8 \cdot \frac{1}{8} \log_2 \frac{1}{8} = \log_2 8 = 3 \text{ бита}
]
Вася получил за экзамен 3 балла (единица не ставится):
- Если оценки принимают значения 2, 3, 4 и 5, то вероятность каждой оценки равна 1/4.
- Энтропия ( H ) в этом случае:
[
H = - \left( \frac{1}{4} \log_2 \frac{1}{4} + \frac{1}{4} \log_2 \frac{1}{4} + \frac{1}{4} \log_2 \frac{1}{4} + \frac{1}{4} \log_2 \frac{1}{4} \right) = \log_2 4 = 2 \text{ бита}
]
Из колоды карт (32 шт.) выпала 7 пик:
- В колоде 32 карты, следовательно, вероятность выпадения любой конкретной карты равна 1/32.
- Энтропия ( H ) для этого события:
[
H = - \left( \frac{1}{32} \log_2 \frac{1}{32} \right) = \log_2 32 = 5 \text{ бит}
]
Таким образом, наибольшее количество информации содержит сообщение d. Из колоды карт (32 шт.) выпала 7 пик, так как его энтропия составляет 5 бит.