Чтобы определить, сколько информации несет сообщение о том, что вытянутая карта — туз, можно воспользоваться понятием информационной энтропии, разработанным Клодом Шенноном. Информационная энтропия измеряет количество неопределенности, связанной с случайной переменной, и выражается в битах.
В этом случае мы имеем колоду из 32 карт, в которой содержится 4 туза (один туз каждой масти). Вероятность того, что вытянутая карта — туз, равна:
[ P(\text{туз}) = \frac{4}{32} = \frac{1}{8}. ]
Информация, несомая сообщением о том, что вытянутая карта — туз, определяется формулой Шеннона для количества информации (в битах):
[ I = -\log_2(P), ]
где ( P ) — вероятность события.
Подставим в формулу нашу вероятность:
[ I = -\log_2\left(\frac{1}{8}\right) = \log_2(8). ]
Поскольку ( 8 = 2^3 ), то:
[ \log_2(8) = 3. ]
Таким образом, сообщение о том, что вытянутая карта — туз, несет 3 бита информации. Это количество битов говорит о том, сколько двоичных вопросов (например, "это туз?" — "да/нет") необходимо задать, чтобы однозначно определить, что вытянута именно карта из подмножества тузов.