Способы нормализации входных данных для неронный сетей

Привет, Вы узнаете о том , что такое способы нормализации входных данных для неронный сетей, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое способы нормализации входных данных для неронный сетей , настоятельно рекомендую прочитать все из категории Вычислительный интеллект.

Нормализация входных данных - это процесс, при котором все входные данные проходят процесс "выравнивания", т.е. приведения к интервалу [0,1] или [-1,1]. Если не провести нормализацию, то входные данные будут оказывать дополнительное влияние на нейрон, что приведет к неверным решениям. Другими словами, как можно сравнивать величины разных порядков?

Необходимость нормализации выборок данных обусловлена самой природой используемых переменных нейросетевых моделей. Будучи разными по физическому смыслу, они зачастую могут сильно различаться между собой по абсолютным величинам. Так, например, выборка может содержать и концентрацию, измеряемую в десятых или сотых долях процентов, и давление в сотнях тысяч паскаль. Нормализация данных позволяет привести все используемые числовые значения переменных к одинаковой области их изменения, благодаря чему появляется возможность свести их вместе в одной нейросетевой модели.

Чтобы выполнить нормализацию данных, нужно точно знать пределы изменения значений соответствующих переменных (минимальное и максимальное теоретически возможные значения). Тогда им и будут соответствовать границы интервала нормализации. Когда точно установить пределы изменения переменных невозможно, они задаются с учетом минимальных и максимальных значений в имеющейся выборке данных.

Наиболее распространенный способ нормализации входных и выходных переменных – линейная нормализация.

Линейная нормализация

В общем виде формула нормализации выглядит так:

где:

•  - значение, подлежащее нормализации;
•  - интервал значений х;
•  - интервал, к которому будет приведено значение x.

Поясню сказанное на примере:

Пусть есть n входных данных из интервала [0,10], тогда  = 0, а  = 10. Об этом говорит сайт https://intellect.icu . Данные будем приводить к интервалу [0,1], тогда  = 0, а  = 1. Теперь, подставив все значения в формулу, можно вычислить нормализованные значения для любого x из n входных данных.

На абстрактном языке  это выглядит следующим образом:

double d1=0.0;
double d2=1.0;
double x_min=iMA_buf[ min(iMA_buf) ];
double x_max=iMA_buf[ max(iMA_buf) ];

for(int i=0;i<ArraySize(iMA_buf);i++)
  {
   inputs[i]=(((iMA_buf[i]-x_min)*(d2-d1))/(x_max-x_min))+d1;
  }

Сначала мы указываем крайние значения для выходного значения, после получаем минимальное и максимальное значения индикатора (копирование данных с индикатора пропущено, но к примеру там может быть 10 последних значений). Последним шагом произведем в цикле нормализацию каждого входного элемента (значения индикатора на различных барах) и сохраним в массив для дальнейшей работы с ним.

Примем следующие обозначения:

– xik, yjk – i-е входное и j-е выходное значения k-го примера исходной выборки в традиционных единицах измерения, принятых в решаемой задаче;

–  – соответствующие им нормализованные входное и выходное значения;

– N – количество примеров обучающей выборки.

Тогда переход от традиционных единиц измерения к нормализованным и обратно с использованием метода линейной нормализации осуществляется с использованием следующих расчетных соотношений:

– при нормализации и денормализации в пределах [0, 1]:

;                                                  (1)

;                                 (2)

– при нормализации и денормализации в пределах [–1, 1]:

;

,

где

;

.

Если обучающая выборка не содержит примеров с потенциально возможными меньшими или большими выходными значениями, можно задаться шириной коридора экстраполяции  для левой, правой или обеих границ в долях от длины всего первоначального интервала изменения переменной, обычно не более 10 % от нее. В этом случае происходит переход от фактических границ из обучающей выборки к гипотетическим:

.

Нелинейная нормализация

Один из способов нелинейной нормализации – с использованием сигмоидной логистической функции или гиперболического тангенса. Переход от традиционных единиц измерения к нормализованным и обратно в данном случае осуществляется следующим образом:

– при нормализации и денормализации в пределах [0, 1]:

;

,

где xc i, yc j – центры нормализуемых интервалов изменения входной и выходной переменных:

;

– при нормализации и денормализации в пределах [–1, 1]:

;

.

Параметр aвлияет на степень нелинейности изменения переменной в нормализуемом интервале. Кроме того, при использовании значений a < 0,5 нет необходимости дополнительно задаваться шириной коридора экстраполяции.

Рассмотрим в сравнении методы линейной и нелинейной нормализации. На рис. 1 приведены графики нормализации входной переменной для пределов [–1; 1]. Для нелинейной нормализации с использованием функции гиперболического тангенса принято значение параметра a = 1,0. Следует отметить, что совпадение нормализованного значения в обоих случаях имеет место лишь в точке, соответствующей центру нормализуемого интервала.

Рис. 1. Сравнение линейной и нелинейной функций нормализации

Рис. 2. Влияние параметра на график функции нелинейной нормализации

На рис. 2 показаны случаи нелинейной нормализации в пределах [0; 1] с использованием функции гиперболического тангенса с параметрами a, равными, соответственно, 0,3, 0,5, 1,0. Очевидно, что чем меньше значение параметра a, тем более полого выглядит нормализованная зависимость и больше ширина коридора экстраполяции.

Представленные результаты и исследования подтверждают, что применение искусственного интеллекта в области способы нормализации входных данных для неронный сетей имеет потенциал для революции в различных связанных с данной темой сферах. Надеюсь, что теперь ты понял что такое способы нормализации входных данных для неронный сетей и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Вычислительный интеллект