Теорема Карунена кратко

Привет, мой друг, тебе интересно узнать все про теорема карунена, тогда с вдохновением прочти до конца. Для того чтобы лучше понимать что такое теорема карунена , настоятельно рекомендую прочитать все из категории вероятностные процессы.

Важным принципиальным вопросом теории дискретизации является вопрос об объеме дискретного описания сигналов, то есть о количестве базисных функций, используемых для представления:

.

Чтобы найти оптимальный базис, нужно определить класс сигналов, для которого он отыскивается, а также задать точность восстановления для этого класса. При статистическом подходе к описанию сигналов оптимальным — мерным базисом для представления отдельных реализаций сигналов обычно считается базис, при котором норма ошибки, усредненная по ансамблю реализаций, минимальна. В этом случае необходимые и достаточные условия минимума нормы ошибки представления сигнала в виде суммы базисных функций определяет теорема карунена -Лоэва.

Популярная формулировка

Минимальное значение нормы ошибки представления сигналов на интервале протяженностью достигается при использовании в качестве базиса собственных функций оператора, ядром которого является корреляционная функция сигналов :

,

соответствующих наибольшим собственным значениям. При этом норма ошибки равна:

.

Такое разложение является разложением Карунена-Лоэва .

Применение

В теории случайных процессов теорема Карунена-Лоэва (названа в честь Кари Карунена и Мишеля Лоэва) — представление случайного процесса в виде бесконечной линейной комбинации ортогональных функций, аналогичное представлению рядов Фурье — последовательному представлению функций на ограниченном интервале. В отличие от рядов Фурье, где коэффициенты являются действительными числами и базис представления состоит из синусоидальных функций (то есть, из функций синус и косинус с разными частотами), коэффициенты в теореме Карунена-Лоэва — случайные переменные, и базис представления зависит от процесса. Ортогональные базисные функции, использованные в этом представлении, определяет функция ковариации процесса. Если мы рассматриваем стохастический процесс как случайную функцию F, то есть процесс, в котором функция на интервале [a, b] принимает значение F, то эта теорема может рассматриваться как случайное ортонормальное разложение F.

Центрированный случайный процесс {X_t}_{t ∈ [a, b]} (где центрирование означает, что математические ожидания E(X_t) существуют и равны нулю для всех значений параметра t из [a, b]), удовлетворяющий техническому условию непрерывности, допускает разложение следующего вида:

где Z_k — взаимнонекоррелированые случайные величины и функции e_k — непрерывные вещественные функции на [a, b], ортогональные в L² [a, b]. В случае нецентрированного процесса имеет место аналогичное разложение, получаемое разложением функции математического ожидания в базисе e_k.

Если процесс гауссовский, то случайные величины Z_k — тоже гауссовские и являются независимыми. Этот результат обобщает преобразования Карунена-Лоэва. Важным примером центрированного случайного процесса на интервале [0,1] является винеровский процесс, и теорема Карунена-Лоэва может быть использована для получения канонического ортогонального представления. В этом случае разложение состоит из синусоидальных функций.

Приведенные выше разложения в также известны как разложения или декомпозиция Карунена-Лоэва (эмпирическая версия, то есть, с коэффициентами из исходных числовых данных), как анализ главных компонент, собственное ортогональное разложение или преобразование Хотеллинга.

Формулировка

Сформулируем результат в терминах комплекснозначных стохастических процессов. Результаты могут быть применены к вещественнозначным процессам без модификаций, вспоминая, что число, комплексно-сопряженное с действительным числом, совпадает с ним самим.

Для случайных элементов X и Y скалярное произведение определяется формулой

где * обозначает операцию комплексного сопряжения.

Статистики второго порядка

Скалярное произведение корректно определено, если как , так и имеют конечные вторые моменты, или, что то же самое, если они оба квадратично интегрируемы. Об этом говорит сайт https://intellect.icu . Отметим, что скалярное произведение связано с ковариацией и корреляцией. В частности, для случайных переменных со средним нулевым значением, ковариация и скалярное произведение совпадают. Функция автоковариации

Если процесс {X_t}_t центрированный, то

для всех t. Таким образом, автоковариация K_XX равна автокорреляции R_XX:

Отметим, что если {X_t}_t центрированный и t₁, ≤ t₂, …, ≤ t_N являются точками на интервале [a, b], следовательно

Формулировка теоремы

Теорема. Рассмотрим центрированный случайный процесс , индексированный на интервале с ковариационной функцией . Предположим, что ковариационная функция непрерывна по совокупности переменных . Тогда — положительно определенное ядро, и по теореме Мерсера интегральный оператор в (близкой к мере Лебега на ) имеет ортонормированный базис из собственных векторов. Пусть являются собственными векторами , соответствующими ненулевым собственным значениям и

Тогда — центрированные ортогональные случайные величины и

ряд сходится в среднем квадратичном, а также равномерно по . Кроме того

где собственное значение, соответствующее собственному вектору .

Суммы Коши

В формулировке теоремы интеграл в определении можно понимать как предел в среднем сумм Коши случайных величин

где

Особый случай: гауссовское распределение

Так как предел в среднем квадратичном из совместно гауссовских случайных величин является гауссовским и совместно гауссовские случайные (центрированные) величины независимы тогда и только тогда, когда они являются ортогональными, мы можем также заключить:

Теорема. Случайные величины имеют гауссовское распределение и являются независимыми, если первоначальный процесс {X_t}_t тоже является гауссовским.

В гауссовском случае, поскольку случайные величины являются независимыми, мы можем быть уверены в том, что:

почти наверное.

Отметим, что обобщая теорему Мерсера, мы можем заменить интервал другими компактными пространствами , а меру Лебега на — борелевской мерой с носителем в .

Винеровский процесс

Винеровский процесс в теории случайных процессов — это математическая модель броуновского движения или случайного блуждания с непрерывным временем. Здесь мы определяем его как центрированный гауссовский процесс B(t) с ковариационной функцией

Легко видеть, что собственные векторы ковариации равны

а соответствующие собственные значения

Это позволяет получить нам следующее представление винеровского процесса:

Теорема. Существует последовательность {W_i}_i независимых гауссовких случайных величин с нулевым средним и единичной дисперсией такая, что

Сходимость является равномерной по t в норме L² так, что

равномерно по t.

Использование

Было высказано мнение, что в проекте SETI следует использовать преобразования Карунена-Лоэва для обнаружения сигналов с очень широким спектром. Аналогично, в системах адаптивной оптики иногда используют функции Карунена-Лоэва для восстановления информации о фазе фронта волны. (Dai 1996, JOSA A).

Вау!! 😲 Ты еще не читал? Это зря!

• Метод главных компонент
• Нейронная сеть Кохонена
• Полиномиальный хаос (англ.)

Напиши свое отношение про теорема карунена. Это меня вдохновит писать для тебя всё больше и больше интересного. Спасибо Надеюсь, что теперь ты понял что такое теорема карунена и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории вероятностные процессы

Из статьи мы узнали кратко, но содержательно про теорема карунена