Спайковые нейронные сети кратко

Привет, мой друг, тебе интересно узнать все про спайковые нейронные сети, тогда с вдохновением прочти до конца. Для того чтобы лучше понимать что такое спайковые нейронные сети , настоятельно рекомендую прочитать все из категории Машинное обучение.

Импульсная нейронная сеть (ИмНС, англ. Pulsed neural networks, PNN) или Спайковая нейронная сеть (СНН, англ. Spiking neural network, SNN) — третье поколение искусственных нейронных сетей (ИНС) , которое отличается от бинарных (первое поколение) и частотных/скоростных (второе поколение) ИНС тем, что в нем нейроны обмениваются короткими (у биологических нейронов — около 1—2 мс) импульсами одинаковой амплитуды (у биологических нейронов — около 100 мВ). Является самой реалистичной, с точки зрения физиологии, моделью ИНС .

Изучение возможностей спайковых нейронных сетей

Главной целью исследования является изучение возможностей применения спайковых нейронных сетей в задачах управления роботами и самообучения.

Создание полностью автономных систем, способных обучаться и действовать в человеческой инфраструктуре - главная область исследований современной робототехники. Способность биологических организмов обучаться и действовать в сложной среде направляет пристальный взгляд ученых на изучение механизмов обучения и обработки информации в мозге. На основе данных исследований в области нейробиологии появилось и постоянно уточняется новый тип искусственных нейронных сетей — спайковые нейронные сети .

Спайковые нейронные сети представляют собой третье поколение нейронных сетей. В отличие от предыдущих, для обмена сообщениями, нейроны в данных сетях используют импульсы, или спайки - кратковременное изменение напряжения. Время задержки между импульсами и частота их прихода представляет собой иной способ кодирования информации, отличающийся от сетей второго и первого поколений. Отвечая на входные стимулы, спайковые нейроны, с помощью механизмов синаптической пластичности, способны группироваться в ансамбли — таким образом потенциально увеличивается информационная емкость сети, так как информация хранятся распределенно, и одни и те же нейроны могут участвовать в различных ансамблях одновременно.

Применение спайковых нейронных сетей для задач управления и обработки потока данных сенсоров обусловлено их временнóй природой обработки данных. Также способность биологических систем обучаться позволяет предположить, что и построенные по их подобию сети смогут проявлять схожие свойства. Однако данная область исследований является очень молодой и требуется уточнение самих моделей и механизмов взаимодействия нейронов. Эта область находится под пристальным вниманием со стороны мировой научной общественности, и в последнее время получила новый импульс к исследованиям, вызванный ростом производительности вычислительной техники, что позволяет моделировать спайковые нейронные сети со значительным количеством нейронов.

Основные направление исследований :

• Программная симуляций спайковых нейронных сетей
• Применение спайковых нейронных сетей для обработки сенсорных данных
• Изучение возможности самообучения спайковых нейронных сетей
• Изучение возможности применения спайковых нейронных сетей для задач управления роботами

Устройство

Импульсная нейронная сеть с одним скрытым слоем

Принцип работы

Сеть получает на входы серию импульсов и выдает импульсы на выходе. В каждое мгновение каждый нейрон имеет некоторое значение (аналог электрического потенциала у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный импульс, после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый рефрактерный период) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Существует всего два параметра весовых связей импульсного нейрона — время задержки и величина веса^[

Модели нейронов Модель биологического нейрона

Способы моделирования нейронов ИмНС можно разделить на две группы

• модели проводимости — подобны процессу работы ионных каналов;

1. Модель Ходжкина — Хаксли;
2. Модель Ижикевича;
3. Модель ФитцХью — Нагумо;
4. Модель Хиндмарша — Роуза ;
5. Модель Морриса — Лекара ;
6. Модель Уилсона — Кована;
7. Модель Гальвеса — Лехербаха ;
8. Многокамерная модель;
9. Кабельная теория дендритов.

• модели порогового значения — порождают импульс при определенном уровне напряжения.

1. Метод «интегрировать-и-сработать»;
2. Метод «интегрировать-и-сработать» с утечками.

Представление информации

Способ представления информации в импульсных нейросетях: фазовый.

Способ представления информации в импульсных нейросетях: синхронный.

Способ представления информации в ИмНС: время до появления первого импульса.

Способ представления информации в ИмНС: порядковый.

Способ представления информации в ИмНС: интервальный.

В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты) . Об этом говорит сайт https://intellect.icu . Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов .

Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации

1. фазовый (временной) — информация о сигнале задается точным (или в пределах некоторого окна) положением импульсов во времени (относительно какого-либо общего опорного ритма головного мозга);
2. синхронный (позиционный/пространственный/популяционный) — информация о сигнале задается синхронной активностью различных групп нейронов, и, как следствие, синхронным (или в пределах некоторого окна) появлением импульсов на определенных выходах сети (например, реагирующие на высокие и низкие частоты слуховые рецепторы улитки уха находятся в разных зонах);
3. время до появления первого импульса — информация о сигнале задается временем появления первого импульса на каком-либо выходе;
4. порядковый — информация о сигнале задается порядком получения импульсов на выходах сети;
5. интервальный (задержковый) — информация о сигнале задается расстоянием между импульсами, получаемыми на выходах сети;
6. резонансный — информация о сигнале задается плотной последовательностью импульсов (очередью), приводящей к возникновению резонанса (одиночные импульсы затухают и не вносят никакого вклада в передачу информации).

Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации, например:

1. пространственно-временной — информация задается не только определенной последовательностью импульсов во времени, но они еще и должны исходить от определенной группы нейронов;
2. популяционно-частотный — информация задается повышением частоты порождения импульсов определенной группой нейронов.

Устройство

Архитектуры ИмНС можно разделить на следующие группы :

1. Нейросеть прямого распространения^[en] (НПР) — данные передаются строго в одном направлении: от входов к выходам, обратные связи отсутствуют, а обработка может проходить по множеству слоев;
2. Рекуррентная нейронная сеть (РНС) — отдельные нейроны/популяции нейронов взаимодействуют друг с другом, то есть имеется обратная связь. ИНС такого вида обладают собственной динамикой и высокой вычислительной способностью;
3. Смешанная нейронная сеть^[en] — внутри ИНС некоторые популяции нейронов относятся к виду НПР, а некоторые — к РНС. Взаимодействие между популяциями может быть как однонаправленным, так и взаимным.

1. Синхронное возбуждение цепи^[en] — представляет собой многослойную цепь, в которой импульсная активность может распространяться в виде синхронной волны передачи пачек импульсов от одной популяции к последующей;
2. Резервуарные вычисления^[en] — резервуарная ИНС состоит из резервуара, исполненного по рекуррентному виду, и выходных нейронов.

Методы обучения

Методы обучения ИмНС делятся на три группы

• Обучение без учителя:

1. Модель пластичности, зависимая от времени импульса^[en] (англ. Spike-timing-dependent plasticity (STDP));
2. Растущие импульсные нейронные сети (англ. Growing spiking neural networks);
3. ABS правило (англ. Artola, Bröcher, Singer (ABS) rule);
4. BCM правило (англ. Bienenstock, Cooper, Munro (BCM) rule);
5. Отношение между правилами BCM и STDP (англ. Relationship between BCM and STDP rules);
6. Общее обучение без учителя (англ. General unsupervised learning).

• Обучение с учителем:

1. SpikeProp (англ. SpikeProp);
2. Методы глубокого обучения (англ. Deep learning);
3. Дистанционный метод обучения с учителем (англ. Remote Supervised Method (ReSuMe));
4. FreqProp (англ. FreqProp);
5. Местный управляемый ошибкой ассоциативный биологические реалистичный алгоритм (англ. Local error-driven associative biologically realistic algorithm (LEABRA));
6. Обучение по Хеббу с учителем (англ. Supervised Hebbian Learning).

• Обучение с подкреплением:

1. Импульсный метод актера и критика (англ. Spiking actor-critic);
2. Обучение с подкреплением с помощью размеренно-поощряющей модели STDP (англ. RL through reward-modulated STDP).

Качественные характеристики

Преимущества

Импульсные ИНС имеют ряд преимуществ над нейросетями предыдущих поколений :

1. ИмНС являются динамическими, а значит отлично подходят для работы с динамическими процессами (распознавание речи и динамических изображений) ;
2. ИмНС обладают многозадачностью, ведь входные данные обрабатываются в нейронной сети с обратными связями, а разные группы считывающих нейронов могут быть обучены на решение разных задач;
3. ИмНС способны осуществлять распознавание с предвидением (то есть не обязательно обладать полной информацией об объекте или знать результат процесса);
4. ИмНС просто обучать, так как достаточно обучить только выходные считывающие нейроны;
5. ИмНС имеют повышенную продуктивность обработки информации и помехоустойчивость, так как используют временно́е представление информации;
6. ИмНС требует меньшего числа нейронов, так как каждый нейрон импульсной нейронной сети заменяет два нейрона (возбуждающий и тормозящий) классической ИНС;
7. ИмНС имеют высокую скорость работы и большой потенциал распараллеливания, так как для передачи импульса необходимо отправить 1 бит, а не непрерывную величину, как в частотных ИНС ;
8. ИмНС могут обучаться в процессе работы

Недостатки

1. ИмНС нецелесообразно использовать в системах с малым числом нейронов;
2. Не существует совершенного алгоритма обучения.

Применение

Протезирование

Зрительные и слуховые нейропротезы, использующие последовательности импульсов для подачи сигналов в зрительную кору, и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными протезами активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы болезни Паркинсона, дистонии, хронических болей, МДП и шизофрении

Робототехника

Brain Corporation из Сан-Диего разрабатывает роботов, использующих ИмНС, а SyNAPSE создает нейроморфические системы и процессоры

Компьютерное зрение

Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM TrueNorth включает в себя миллион программируемых нейронов и 256 миллионов программируемых синапсов, что позволяет симулировать работу нейронов зрительной коры. Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда транзисторов, но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт

Телекоммуникации

Qualcomm занимается исследованием возможности применения ИмНС в телекоммуникационных устройствах

Вау!! 😲 Ты еще не читал? Это зря!

Тебе нравиться спайковые нейронные сети? или у тебя есть полезные советы и дополнения? Напиши другим читателям ниже. Надеюсь, что теперь ты понял что такое спайковые нейронные сети и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Машинное обучение