(5.4)

Обучение RBF-сети происходит быстро и носит элементы как обучения «с учителем», так и «без учителя».

Имеем обучающий набор: множество входов {xⁿ} и соответствующих выходов {dⁿ}. На первом этапе определяются параметры базисных функций: μ_j, σ_j. Причем, используются только входные векторы {xⁿ}, т.е. обучение происходит по схеме «без учителя».

Для определения σ_j используется алгоритм «ближайшего соседа», который заключается в поиске разбиения множества {xⁿ} на M несмежных подмножеств S_j. Таким образом, необходимо минимизировать функцию:

, где – центры функций.

На втором этапе фиксируются базисные функции, т.е. параметры μ_j, σ_j постоянны. На данном этапе RBF-сеть эквивалентна однослойной нейронной сети. Затем обучение происходит по правилу обучения с учителем. Выражение энергии ошибки:

Так как E является квадратической функцией от весов w, то минимум E может быть найден решением системы линейных уравнений:

Решение такой системы находится быстро, и в этом одно из преимуществ RBF-сети над многослойным персептроном.

Среди недостатков RBF-сети по сравнению с MLP, обычно отмечают следующие: требуется больше обучающих примеров, а круг решаемых задач ограничен аппроксимацией и классификацией.

сети каскадной корреляции

Построение нейронных сетей по алгоритму каскадной корреляции начинается с персептрона. Алгоритм можно разбить на две части: обучение нейронов персептрона и создание новых нейронов.

На начальном этапе, когда обучается персептрон, после того, как в течение заданного числа эпох не происходит существенного уменьшения ошибки, принимается решение о создании нового нейрона.

Во второй части алгоритма новый нейрон-кандидат добавляется к существующей сети, причем его входы соединяются со всеми входами сети и выходами уже добавленных прежде нейронов-кандидатов. Входные веса кандидата настраиваются особым образом так, чтобы максимально уменьшить ошибку на выходе полученной сети. На рисунке 5.2 показана сеть с двумя добавленными нейронами.

Рисунок 5.2 – Сеть каскадной корреляции.

Метод получил такое название потому, что для настройки весов нейрона-кандидата используется сумма корреляций его выхода со значениями уже имеющихся нейронов:

где y_p – выход нейрона-кандидата;

– ошибка выходного нейрона j для образца p;

– усредненные по выборке значения соответствующих величин.

Цель обучения – максимум функционала S. Для этого вычисляются его частные производные по весам нейрона-кандидата:

где λj – знак корреляции (+ или -) между y_p и ;

I – значение выхода нейрона, добавленного на предыдущем шаге.