Модель серого ящика кратко

Привет, Вы узнаете о том , что такое серый ящик, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое серый ящик , настоятельно рекомендую прочитать все из категории Системный анализ (системная философия, теория систем).

В математике , статистике и вычислительном моделировании модель «серого ящика» сочетает частичную теоретическую структуру с данными для завершения модели. Теоретическая структура может варьироваться от информации о гладкости результатов до моделей, которым нужны только значения параметров из данных или существующей литературы. [ 5 ] Таким образом, почти все модели являются моделями «серого ящика», в отличие от моделей « черного ящика» , где не предполагается никакой формы модели, или моделей «белого ящика» , которые являются чисто теоретическими. Некоторые модели предполагают особую форму, такую ​​как линейная регрессияили нейронная сеть .Для них существуют специальные методы анализа. В частности, методы линейной регрессии [ 10 ] гораздо эффективнее большинства нелинейных методов Модель может быть детерминированной или стохастической (т.е. содержащей случайные компоненты) в зависимости от ее планируемого использования.

Общий случай — это нелинейная модель с частичной теоретической структурой и некоторыми неизвестными частями, полученными из данных. Модели с различными теоретическими структурами необходимо оценивать индивидуально , возможно, с использованием имитации отжига или генетических алгоритмов .

В рамках конкретной структуры модели может потребоваться найти параметры или соотношения переменных параметров. Для конкретной структуры произвольно предполагается, что данные состоят из наборов векторов подачи f , векторов продуктов p и векторов условий эксплуатации c .Как правило, c будет содержать значения, извлеченные из f , а также другие значения. Во многих случаях модель может быть преобразована в функцию вида:

m(f,p,q)

где векторная функция m показывает ошибки между данными p и предсказаниями модели. Вектор q содержит некоторые параметры переменных, которые являются неизвестными частями модели.

Параметры q изменяются в зависимости от условий эксплуатации c способом, который еще предстоит определить. Это соотношение можно задать как q = Ac, где A — матрица неизвестных коэффициентов, а c, как в линейной регрессии , включает постоянный член и, возможно, преобразованные значения исходных условий эксплуатации для получения нелинейных соотношений ] между исходными условиями эксплуатации и q . Об этом говорит сайт https://intellect.icu . Затем остается только выбрать, какие члены в A ненулевые, и присвоить им значения. Завершение модели становится задачей оптимизации для определения ненулевых значений в A , которые минимизируют члены ошибки m(f,p,Ac) по данным.

После выбора ненулевых значений оставшиеся коэффициенты в A можно определить, минимизируя m ( f , p , Ac ) по данным относительно ненулевых значений в A , обычно с помощью нелинейного метода наименьших квадратов . Выбор ненулевых членов может быть осуществлен с помощью методов оптимизации, таких как имитация отжига и эволюционные алгоритмы . Кроме того, нелинейный метод наименьших квадратов может обеспечить оценки точности для элементов A , которые можно использовать для определения того, существенно ли они отличаются от нуля, таким образом, предоставляя метод выбора членов

Иногда можно вычислить значения q для каждого набора данных напрямую или с помощью нелинейного метода наименьших квадратов . Затем можно использовать более эффективную линейную регрессию для прогнозирования q с помощью c , выбирая таким образом ненулевые значения в A и оценивая их значения. После того, как ненулевые значения найдены, можно использовать нелинейный метод наименьших квадратов на исходной модели m(f,p,Ac) для уточнения этих значений.

Третий метод — инверсия модели, которая преобразует нелинейную m ( f , p , Ac ) в приблизительную линейную форму по элементам A , которую можно исследовать с помощью эффективного выбора терминов и оценки линейной регрессии. Для простого случая одного значения q ( q = aTc ) и оценки q* для q . Подставляя dq = aTc − q * , получаем

m(f,p,a T c) = m(f,p,q* + d q) ≈ ​​m(f,pq*) + d q m'(f,p,q*) = m(f,pq*) + (a T c − q*) m'(f,p,q*)

так что T теперь находится в линейном положении, при этом все остальные члены известны, и, следовательно, может быть проанализирован с помощью методов линейной регрессии . Для более чем одного параметра метод расширяется прямым образом. После проверки того, что модель была улучшена, этот процесс можно повторять до сходимости. Этот подход имеет преимущества в том, что ему не нужно определять параметры q из отдельного набора данных, и линейная регрессия выполняется на исходных членах ошибки

При наличии достаточного количества данных рекомендуется разделить их на отдельный набор данных для построения модели и один или два набора данных для оценки . Эту процедуру можно повторить, используя несколько выборок из набора данных для построения модели, а полученные модели усреднить или использовать для оценки различий в прогнозах.

Статистический тест, такой как хи-квадрат, для остатков не особенно полезен Для теста хи-квадрат требуются известные стандартные отклонения, которые редко доступны, а неудачные тесты не дают никаких указаний на то, как улучшить модель. Существует ряд методов для сравнения как вложенных, так и невложенных моделей. К ним относятся сравнение прогнозов модели с повторными данными.

Попытка предсказать остатки m(, ) при условиях эксплуатации c с помощью линейной регрессии покажет, можно ли предсказать остаткиОстатки, которые нельзя предсказать, дают мало шансов улучшить модель, используя текущие условия эксплуатации.Члены, которые предсказывают остатки, являются перспективными членами для включения в модель с целью улучшения ее производительности.

Описанный выше метод инверсии модели можно использовать для определения возможности улучшения модели. В этом случае выбор ненулевых членов не так важен, и линейное прогнозирование можно выполнить, используя значимые собственные векторы матрицы регрессии . Значения в A, определенные таким образом, необходимо подставить в нелинейную модель для оценки улучшения ошибок модели. Отсутствие значительного улучшения указывает на то, что имеющиеся данные не позволяют улучшить текущую форму модели с использованием определенных параметров. [ 5 ] Для большей полноты теста в модель можно добавить дополнительные параметры.

Исследование, описанное в статье про серый ящик, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое серый ящик и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Системный анализ (системная философия, теория систем)