Вопрос о количестве битов информации, которое несет сообщение о появлении определенного символа в тексте, можно рассчитать с помощью формулы Шеннона для энтропии. Энтропия – это мера неопределенности или информации, содержащейся в сообщении.
Формула для расчета количества битов информации для события с вероятностью выглядит следующим образом:
где – логарифм по основанию 2, что соответствует использованию двоичной системы счисления .
Для вашего случая, где вероятность появления символа @ равна 0,125, подставляем эту вероятность в формулу:
= -3 ))
Таким образом, сообщение о том, что очередной символ текста — @, несет 3 бита информации.