Энтропия непрерывного источника информации кратко

Привет, Вы узнаете о том , что такое Энтропия непрерывного источника информации, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое Энтропия непрерывного источника информации , настоятельно рекомендую прочитать все из категории Теория сигналов и линейных систем.

Энтропия непрерывного источника информации должна быть бесконечна, т. к. неопределенность выбора из бесконечно большого числа возможных состояний бесконечно велика. (на самом деле это только некорректная математическая модель, так как реальные сигналы занимают ограниченный спектр частот, а значит, могут быть представлены дискретными значениями через некоторый шаг, определяемый теоремой Котельникова; кроме того реальные сигналы не могут быть измерены с бесконечной точностью, так как имеются шумы линии и ошибка измерения, а это значит, что по шкале динамического диапазона непрерывный сигнал тоже может быть представлен конечным числом различимых квантовых уровней - примечание К.А. Хайдарова)

Разобьем диапазон изменения непрерывной случайной величины U на конечное число n малых интервалов Du. При реализации значений u в интервале (u_n, u_n+Du) будем считать, что реализовалось значение u_n дискретной случайной величины U', вероятность реализации которой:

p(u_n<u<u_n+Du) =p(u) du » p(u_n) Du.

Энтропия дискретной величины U':

H(U') = -p(u_n) Du log (p(u_n) Du).

Заменяем log (p(u_n) Du) = log p(u_n)+log Du, принимаем во внимание, что сумма p(u_n)Du по всем возможным значениям u_n равна 1, и получаем:

H(U') = -p(u_n) Du log p(u_n) – log Du. Об этом говорит сайт https://intellect.icu . (1.4.4)

В пределе, при Du ® 0, получаем выражение энтропии для непрерывного источника:

H(U) = -p(u) log p(u) du –. (1.4.5)

Значение энтропии в (1.4.5), как и ожидалось, стремится к бесконечности за счет второго члена выражения. Для получения конечной характеристики информационных свойств непрерывных сигналов используют только первый член выражения (1.4.5), получивший название дифференциальной энтропии. Ее можно трактовать, как среднюю неопределенность выбора произвольной случайной величины по сравнению со средней неопределенностью выбора случайной величины U', имеющей равномерное распределение в диапазоне (0-1). Действительно, для такого распределения p(u_n) = 1/N, Du = 1/N, и при N ® Ґ из (1.4.4) следует:

H(U') = - (log N)/N - log Du ® -.

Соответственно, разность энтропий дает дифференциальную энтропию:

h(U) = H(U) – H(U') = -p(u) log p(u) du. (1.4.6)

Дифференциальная энтропия не зависит от конкретных значений величины U:

h(U+a) = h(U), a = const,

но зависит от масштаба ее представления:

h(kU) = h(U) + log k.

Практика анализа и обработки сигналов обычно имеет дело с сигналами в определенном интервале [a, b] их значений, при этом максимальной дифференциальной энтропией обладает равномерное распределение значений сигналов:

h(U) = -p(u) log p(u) du = log (b-a).

По мере сужения плотности распределения значение h(U) уменьшается, и в пределе при p(u) ® d(u-c), a<c<b стремится к нулю.

Исследование, описанное в статье про Энтропия непрерывного источника информации, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое Энтропия непрерывного источника информации и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Теория сигналов и линейных систем