6.2 Формула Шеннона

Привет, Вы узнаете о том , что такое формула шеннона, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое формула шеннона , настоятельно рекомендую прочитать все из категории Синергетика.

В разделе 2.4 была приведена знаменитая формула Больцмана, определяющая связь энтропии со статистическим весом P системы

  (1)где N₁, N₂, ..., N_M - число частиц в состояниях 1, 2, ..., M, а N - число всех возможных состояний .

Вероятность W_i появления состояния i равна

 , i= 1,2, ..., M, и  .

Как уже отмечалось, в середине XX века (1948 г.) была создана теория информации, с появлением которой введенная Больцманом функция (1) пережила второе рождение. Об этом говорит сайт https://intellect.icu . Американский инженер-связист Клод Шеннон предложил ввести меру количества информации I с помощью статистической формулы энтропии и взять за единицу информации I=1 :

I=log₂(P). (2)log₂(2)=1 бит

Такая информация получается при бросании монеты (Р=2).

Бит - двоичная единица информации (binary digits), она оперирует двумя возможностями: да или нет, числа в двоичной системе записываются последовательностью нулей и единиц.

Пользуясь формулами (1) и (2), вычислим информацию, которая содержится в одном сообщении. Оно состоит из N букв языка, состоящего из М букв.

I = log₂P= (3)

Преобразуем последнюю зависимость с помощью приближенной формулы Стирлинга

lnN! ~ Nln(N/e). (4)

Представим в формуле (3) параметры N! и N_i! в форме (4), получим

I =  .

Выразим N_i через W_iN, тогда последнее выражение примет вид

I =  =  =  .

Перейдем к логарифму с основанием два

 . (5)

Последняя формула позволяет количественно определить информацию I, которая есть в сообщении из N букв языка, содержащего М букв, а на одну букву приходится информация I₁ = I/N, т. е.

 . (6)

Величина (6) названа Шенноном энтропией.

Напомним, что выражение (1) для термодинамической энтропии после аналогичных преобразований можно представить в форме (5)

 .

Подробнее о связи термодинамической и информационной энтропий

Прочтение данной статьи про формула шеннона позволяет сделать вывод о значимости данной информации для обеспечения качества и оптимальности процессов. Надеюсь, что теперь ты понял что такое формула шеннона и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Синергетика

Из статьи мы узнали кратко, но содержательно про формула шеннона