Вам бонус- начислено 1 монета за дневную активность. Сейчас у вас 1 монета

Искусственный нейрон

Лекция



Сразу хочу сказать, что здесь никакой воды про искусственный нейрон, и только нужная информация. Для того чтобы лучше понимать что такое искусственный нейрон, нейрон , настоятельно рекомендую прочитать все из категории Модели и методы исследований.

Иску́сственный нейро́н (математический нейрон  Маккалока — Питтса[en]формальный нейрон ) — узел искусственной нейронной сети, являющийся упрощенной моделью естественного нейрона. Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Данную функцию называют функцией активации  или функцией срабатыванияпередаточной функцией. Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети — соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера.

 

 

 

Искусственный нейрон

 

Схема искусственного нейрона
1.Нейроны, выходные сигналы которых поступают на вход данному
2.Сумматор входных сигналов
3.Вычислитель передаточной функции
4.Нейроны, на входы которых подается выходной сигнал данного
5.Искусственный нейрон — веса входных сигналов

 Искусственный нейрон

онлайн демонстрация работы искусственого нейрона

Содержание

  • 1 Биологический прототип
  • 2 История развития
  • 3 Связи между искусственными нейронами
  • 4 Математическая модель
  • 5 Передаточная функция нейрона
  • 6 Классификация нейронов
  • 7 Основные типы передаточных функций
    • 7.1 Линейная передаточная функция
    • 7.2 Пороговая передаточная функция
    • 7.3 Сигмоидальная передаточная функция
      • 7.3.1 Логистическая функция
      • 7.3.2 Гиперболический тангенс
      • 7.3.3 Модифицированный гиперболический тангенс
    • 7.4 Радиально-базисная функция передачи
    • 7.5 Другие функции передачи
  • 8 Стохастический нейрон
  • 9 Моделирование формальных логических функций
  • 10 Вау!! 😲 Ты еще не читал? Это зря!
  • 11 Примечания
  • 12 Литература

 

Биологический прототип

Биологический нейрон состоит из тела диаметром от 3 до 100 мкм, содержащего ядро (с большим количеством ядерных пор) и другие органеллы (в том числе сильно развитый шероховатый ЭПР с активными рибосомами, аппарат Гольджи), и отростков. Выделяют два вида отростков. Аксон — обычно длинный отросток, приспособленный для проведения возбуждения от тела нейрона. Дендриты — как правило, короткие и сильно разветвленные отростки, служащие главным местом образования влияющих на нейрон возбуждающих и тормозных синапсов (разные нейроны имеют различное соотношение длины аксона и дендритов). Нейрон может иметь несколько дендритов и обычно только один аксон. Один нейрон может иметь связи с 20-ю тысячами других нейронов. Кора головного мозга человека содержит 10—20 миллиардов нейронов.

История развития

Математическая модель искусственного нейрона была предложена У. Маккалоком и У. Питтсом вместе с моделью сети, состоящей из этих нейронов. Авторы показали, что сеть на таких элементах может выполнять числовые и логические операции . Практически сеть была реализована Фрэнком Розенблаттом в 1958 году как компьютерная программа , а впоследствии как электронное устройство — перцептрон. Первоначально нейрон мог оперировать только с сигналами логического нуля и логической единицы , поскольку был построен на основе биологического прототипа, который может пребывать только в двух состояниях — возбужденном или невозбужденном. Развитие нейронных сетей показало, что для расширения области их применения необходимо, чтобы нейрон мог работать не только с бинарными, но и с непрерывными (аналоговыми) сигналами. Такое обобщение модели нейрона было сделано Уидроу и Хоффом , которые предложили в качестве функции срабатывания нейрона использовать логистическую кривую.

Связи между искусственными нейронами

Связи, по которым выходные сигналы одних нейронов поступают на входы других, часто называют синапсами по аналогии со связями между биологическими нейронами. Каждая связь характеризуется своим весом. Связи с положительным весом называются возбуждающими, а с отрицательным — тормозящими . Нейрон имеет один выход, часто называемый аксоном по аналогии с биологическим прототипом. С единственного выхода нейрона сигнал может поступать на произвольное число входов других нейронов.

Математическая модель

Математически нейрон представляет собой взвешенный сумматор, единственный выход которого определяется через его входы и матрицу весов следующим образом:

Искусственный нейрон, где Искусственный нейрон

Здесь Искусственный нейрон и Искусственный нейрон — соответственно сигналы на входах нейрона и веса входов, функция u называется индуцированным локальным полем, а f(u) — передаточной функцией. Об этом говорит сайт https://intellect.icu . Возможные значения сигналов на входах нейрона считают заданными в интервале Искусственный нейрон. Они могут быть либо дискретными (0 или 1), либо аналоговыми. Дополнительный вход Искусственный нейрон и соответствующий ему вес Искусственный нейрон используются для инициализации нейрона . Под инициализацией подразумевается смещение активационной функции нейрона по горизонтальной оси, то есть формирование порога чувствительности нейрона . Кроме того, иногда к выходу нейрона специально добавляют некую случайную величину, называемую сдвигом. Сдвиг можно рассматривать как сигнал на дополнительном, всегда нагруженном, синапсе.

Передаточная функция нейрона

Передаточная функция Искусственный нейрон определяет зависимость сигнала на выходе нейрона от взвешенной суммы сигналов на его входах. В большинстве случаев она является монотонно возрастающей и имеет область значений Искусственный нейрон или Искусственный нейрон, однако существуют исключения . Также для некоторых алгоритмов обучения сети необходимо, чтобы она была непрерывно дифференцируемой на всей числовой оси . Искусственный нейрон полностью характеризуется своей передаточной функцией. Использование различных передаточных функций позволяет вносить нелинейность в работу нейрона и в целом нейронной сети.

Классификация нейронов

В основном, нейроны классифицируют на основе их положения в топологии сети. Разделяют:

  • Входные нейроны — принимают исходный вектор, кодирующий входной сигнал. Как правило, эти нейроны не выполняют вычислительных операций, а просто передают полученный входной сигнал на выход, возможно, усилив или ослабив его;
  • Выходные нейроны — представляют из себя выходы сети. В выходных нейронах могут производиться какие-либо вычислительные операции;
  • Промежуточные нейроны — выполняют основные вычислительные операции .

Основные типы передаточных функций

Искусственный нейрон
 
Линейная функция активации с насыщением

Линейная передаточная функция

Сигнал на выходе нейрона линейно связан со взвешенной суммой сигналов на его входе.

Искусственный нейрон,

где Искусственный нейрон — параметр функции. В искусственных нейронных сетях со слоистой структурой нейроны с передаточными функциями такого типа, как правило, составляют входной слой. Кроме простой линейной функции могут быть использованы ее модификации. Например полулинейная функция (если ее аргумент меньше нуля, то она равна нулю, а в остальных случаях, ведет себя как линейная) или шаговая (линейная функция с насыщением), которую можно выразить формулой[10]:

Искусственный нейрон

При этом возможен сдвиг функции по обеим осям (как изображено на рисунке).

Недостатками шаговой и полулинейной активационных функций относительно линейной можно назвать то, что они не являются дифференцируемыми на всей числовой оси, а значит не могут быть использованы при обучении по некоторым алгоритмам.

Искусственный нейрон
 
Пороговая функция активации

Пороговая передаточная функция

Другое название — функция Хевисайда. Представляет собой перепад. До тех пор пока взвешенный сигнал на входе нейрона не достигает некоторого уровня Искусственный нейрон — сигнал на выходе равен нулю. Как только сигнал на входе нейрона превышает указанный уровень — выходной сигнал скачкообразно изменяется на единицу. Самый первый представитель слоистых искусственных нейронных сетей — перцептрон[11] состоял исключительно из нейронов такого типа . Математическая запись этой функции выглядит так:

Искусственный нейрон

Здесь Искусственный нейрон — сдвиг функции активации относительно горизонтальной оси, соответственно под Искусственный нейрон следует понимать взвешенную сумму сигналов на входах нейрона без учета этого слагаемого. Ввиду того, что данная функция не является дифференцируемой на всей оси абсцисс, ее нельзя использовать в сетях, обучающихся по алгоритму обратного распространения ошибки и другим алгоритмам, требующим дифференцируемости передаточной функции.

Искусственный нейрон
 
Сигмоидальная функция активации

Сигмоидальная передаточная функция

Один из самых часто используемых, на данный момент, типов передаточных функций. Введение функций сигмоидального типа было обусловлено ограниченностью нейронных сетей с пороговой функцией активации нейронов — при такой функции активации любой из выходов сети равен либо нулю, либо единице, что ограничивает использование сетей не в задачах классификации. Использование сигмоидальных функций позволило перейти от бинарных выходов нейрона к аналоговым[12]. Функции передачи такого типа, как правило, присущи нейронам, находящимся во внутренних слоях нейронной сети.

Логистическая функция

Математически логистическую функцию функцию можно выразить так:

Искусственный нейрон

Здесь t — это параметр функции, определяющий ее крутизну. Когда t стремится к бесконечности, функция вырождается в пороговую. При Искусственный нейрон сигмоида вырождается в постоянную функцию со значением 0,5. Область значений данной функции находится в интервале (0,1). Важным достоинством этой функции является простота ее производной:

Искусственный нейрон

То, что производная этой функции может быть выражена через ее значение облегчает использование этой функции при обучении сети по алгоритму обратного распространения[13]. Особенностью нейронов с такой передаточной характеристикой является то, что они усиливают сильные сигналы существенно меньше, чем слабые, поскольку области сильных сигналов соответствуют пологим участкам характеристики. Это позволяет предотвратить насыщение от больших сигналов[14].

Гиперболический тангенс]

Использование функции гиперболического тангенса

Искусственный нейрон

отличается от рассмотренной выше логистической кривой тем, что его область значений лежит в интервале (-1;1). Так как верно соотношение

Искусственный нейрон,

то оба графика отличаются лишь масштабом осей. Производная гиперболического тангенса, разумеется, тоже выражается квадратичной функцией значения; свойство противостоять насыщению имеет место точно также.

Модифицированный гиперболический тангенс

Использование функции модифицированного гиперболического тангенса

Искусственный нейрон

масштабированной по оси ординат до интервала [-1;1] позволяет получить семейство сигмоидальных функций.

Радиально-базисная функция передачи

Радиально-базисная функция передачи (RBF) принимает в качестве аргумента расстояние между входным вектором и некоторым наперед заданным центром активационной функции. Значение этой функции тем выше, чем ближе входной вектор к центру[15]. В качестве радиально-базисной можно, например, использоватьфункцию Гаусса:

Искусственный нейрон.

Здесь Искусственный нейрон — расстояние между центром Искусственный нейрон и вектором входных сигналов Искусственный нейрон. Скалярный параметр Искусственный нейрон определяет скорость спадания функции при удалении вектора от центра и называется шириной окна, параметр Искусственный нейрон определяет сдвиг активационной функции по оси абсцисс. Сети с нейронами, использующими такие функции, называются RBF-сетями. В качестве расстояния между векторами могут быть использованы различные метрики[16], обычно используется евклидово расстояние:

Искусственный нейрон.

Здесь Искусственный нейрон — Искусственный нейрон-я компонента вектора, поданного на вход нейрона, а Искусственный нейрон — Искусственный нейрон-я компонента вектора, определяющего положение центра передаточной функции. Соответственно, сети с такими нейронами называются вероятностными и регрессионными[17].

В реальных сетях активационная функция этих нейронов может отражать распределение вероятности какой-либо случайной величины, либо обозначать какие-либо эвристические зависимости между величинами.

Другие функции передачи

Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В число других передаточных функций входят такие как[18]:

  • Экспонента Искусственный нейрон;
  • Тригонометрический синус ;
  • Модульная: Искусственный нейрон;
  • Квадратичная.

Стохастический нейрон[

Выше описана модель детерминистического искусственного нейрона, то есть состояние на выходе нейрона однозначно определено результатом работы сумматора входных сигналов. Рассматривают также стохастические нейроны, где переключение нейрона происходит с вероятностью, зависящей от индуцированного локального поля, то есть передаточная функция определена как:

Искусственный нейрон,

где распределение вероятности Искусственный нейрон обычно имеет вид сигмоида:

Искусственный нейрон,

a нормировочная константа Искусственный нейрон вводится для условия нормализации распределения вероятности Искусственный нейрон. Таким образом, нейрон активируется с вероятностью Искусственный нейрон. Параметр Искусственный нейрон — аналог температуры (но не температуры нейрона) и определяет беспорядок в нейронной сети. Если Искусственный нейрон устремить к 0, стохастический нейрон перейдет в обычный нейрон с передаточной функцией Хевисайда (пороговой функцией).

Моделирование формальных логических функций

Нейрон с пороговой передаточной функцией может моделировать различные логические функции . Изображения иллюстрируют, каким образом можно, задав веса входных сигналов и порог чувствительности, заставить нейрон выполнять конъюнкцию(логическое «И») и дизъюнкцию(логическое «ИЛИ») над входными сигналами, а также логическое отрицание входного сигнала[19]. Этих трех операций достаточно, чтобы смоделировать абсолютно любую логическую функцию любого числа аргументов.

Искусственный нейрон
Схема нейрона, настроенного на моделирование логического «И»  
Искусственный нейрон
Схема нейрона, настроенного на моделирование логического «ИЛИ»  
Искусственный нейрон
Схема нейрона, настроенного на моделирование логического «НЕ»  

Вау!! 😲 Ты еще не читал? Это зря!

Статью про искусственный нейрон я написал специально для тебя. Если ты хотел бы внести свой вклад в развитие теории и практики, ты можешь написать коммент или статью отправив на мою почту в разделе контакты. Этим ты поможешь другим читателям, ведь ты хочешь это сделать? Надеюсь, что теперь ты понял что такое искусственный нейрон, нейрон и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Модели и методы исследований

создано: 2014-09-07
обновлено: 2024-11-13
393



Рейтиг 9 of 10. count vote: 2
Вы довольны ?:


Поделиться:

Найди готовое или заработай

С нашими удобными сервисами без комиссии*

Как это работает? | Узнать цену?

Найти исполнителя
$0 / весь год.
  • У вас есть задание, но нет времени его делать
  • Вы хотите найти профессионала для выплнения задания
  • Возможно примерение функции гаранта на сделку
  • Приорететная поддержка
  • идеально подходит для студентов, у которых нет времени для решения заданий
Готовое решение
$0 / весь год.
  • Вы можите продать(исполнителем) или купить(заказчиком) готовое решение
  • Вам предоставят готовое решение
  • Будет предоставлено в минимальные сроки т.к. задание уже готовое
  • Вы получите базовую гарантию 8 дней
  • Вы можете заработать на материалах
  • подходит как для студентов так и для преподавателей
Я исполнитель
$0 / весь год.
  • Вы профессионал своего дела
  • У вас есть опыт и желание зарабатывать
  • Вы хотите помочь в решении задач или написании работ
  • Возможно примерение функции гаранта на сделку
  • подходит для опытных студентов так и для преподавателей

Комментарии


Оставить комментарий
Если у вас есть какое-либо предложение, идея, благодарность или комментарий, не стесняйтесь писать. Мы очень ценим отзывы и рады услышать ваше мнение.
To reply

Модели и методы исследований

Термины: Модели и методы исследований