Такая нормировка оптимальна при распределении величины, близком к равномерному. При наличии редких выбросов необходима нормировка на основе статистических характеристик данных:

Однако, теперь нормированные величины не принадлежат гарантированно единичному интервалу, более того, максимальный разброс значений заранее не известен. Для входных данных это может быть и не важно, но если выходные нейроны – сигмоидные, они могут принимать значения лишь в единичном диапазоне. Выход из этой ситуации – использовать для предобработки данных функцию активации тех же нейронов:

3. Удаление избыточности.

Для проблем со множеством факторов часто наблюдается избыточность данных: можно описать данные меньшим количеством признаков, сохранив при этом большую часть информации. Здесь чаще всего используются анализ главных компонентов и корреляционный анализ. Первый способ заключается в том, что исключаются признаки с небольшой дисперсией, второй – в выявлении пар сильно связанных признаков и удалении одного из них.

4. Конструирование нейросетей с различными параметрами.

Решение этой проблемы во многом определяется опытом исследователя. Число входных и выходных элементов сети с прямой связью и обратным распространением ошибок обычно диктуется рассматриваемой проблемой – числом входных признаков и числом известных классов. Размеры скрытого слоя обычно находятся экспериментально. Обычно начинают с одного скрытого слоя, который содержит 30-50% числа входных элементов. В случае нескольких скрытых слоев, рекомендуется в каждом последующем слое использовать в два раза меньше нейронов, чем в предыдущем.

5. Отбор оптимальных сетей.

Критерий оптимальности также определяется рассматриваемой проблемой. В качестве такого может быть принят минимум ошибок при классификации, максимальная скорость реакции и т.п.

6. Оценка значимости предсказаний.

Проводится тестирование полученной модели ИНС на тестовой примеров. Если сеть не может обобщать свои возможности на неизвестные ей данные, то она не представляет практической ценности. В статистике известна зависимость между ожидаемой ошибкой на обучающей и тестовой выборках для линейных моделей при среднеквадратическом определении ошибки:

Здесь P – число свободных параметров модели. В случае нейронных сетей число свободных параметров определяется архитектурой: числом слоев, количеством нейронов сети и набором весов связей между нейронами сети. Предполагается, что данные выборки зашумлены независимым стационарным шумом с нулевым средним и дисперсией σ₂. Это условие может быть применено к нелинейным моделям, если считать их локально-линейными в окрестности каждой точки. На основе этого предположения строится ряд асимптотических оценок обобщающей способности сети:

критерий Акаика: ;

– байесовский критерий: ;

– финальная ошибка предсказания ;

– обобщенная кросс-валидация: и др.

Сети на основе радиально-базисных функций

Способы реализации ИНС

Нейронные сети могут быть реализованы программным или аппаратным способом.

Вариантами аппаратной реализации являются нейрокомпьютеры, нейроплаты и нейроБИС (большие интегральные схемы). Одна из самых простых нейроБИС – модель MD 1220 фирмы Micro Devices, которая реализует сеть с 8 нейронами и 120 синапсами. НейроБИС Adaptive Solutions является одной из самых быстродействующих: скорость обработки составляет 1,2 млрд межнейронных соединений в секунду (мнс/с).

Большинство современных нейрокомпьютеров представляют собой персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. Наибольший интерес представляют специализированные нейрокомпьютеры, в которых реализованы принципы архитектуры нейросетей. Представителями таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона, разработанная Ф. Розенблатом, называлась Mark I). Модель Mark III фирмы TRW представляет собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены шиной VME. Архитектура системы, поддерживающая до 65000 виртуальных процессорных элементов с более чем 1 млн настраиваемых соединений, позволяет обрабатывать до 450 тыс. мнс/с.

В тех случаях, когда разработка или внедрение аппаратных реализаций нейронных сетей обходятся слишком дорого, применяют более дешевые программные реализации.