18.3. Энтропия сложной системы. Теорема сложения энтропий кратко

Привет, Вы узнаете о том , что такое энтропия сложной системы, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое энтропия сложной системы, теорема сложения энтропий , настоятельно рекомендую прочитать все из категории Алгоритмы и теория алгоритмов.

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем  и  с возможными состояниями  понимается сложная система , состояния которой  представляют собой все возможные комбинации состояний  систем  и .

Очевидно, число возможных состояний системы  равно . Обозначим  вероятность того, что система  будет в состоянии :

.                (18.3.1)

Вероятности  удобно расположить в виде таблицы (матрицы)

Найдем энтропию сложной системы. Об этом говорит сайт https://intellect.icu . По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

                         (18.3.2)

или, в других обозначениях:

.                    (18.3.2')

Энтропию сложной системы, как и энтропию простой, тоже можно записать в форме математического ожидания:

,                       (18.3.3)

где  - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы  и  независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

.

Подставляя в (18.3.3), получим

,

или

,     (18.3.4)

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

теорема сложения энтропий может быть легко обобщена на произвольное число независимых систем:

.                   (18.3.5)

Если объединяемые системы зависимы, простое сложение энтропий уже неприменимо. В этом случае энтропия сложной системы меньше, чем сумма энтропий ее составных частей. Чтобы найти энтропию системы, составленной из зависимых элементов, нужно ввести новое понятие условной энтропии.

Информация, изложенная в данной статье про энтропия сложной системы , подчеркивают роль современных технологий в обеспечении масштабируемости и доступности. Надеюсь, что теперь ты понял что такое энтропия сложной системы, теорема сложения энтропий и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Алгоритмы и теория алгоритмов