Аналоговые и физические нейронные сети

Привет, Вы узнаете о том , что такое аналоговые нейронные сети, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое аналоговые нейронные сети, физические нейронные сети , настоятельно рекомендую прочитать все из категории Вычислительный интеллект.

Физическая (аналоговая) нейронная сеть представляет собой тип искусственной нейронной сети , в которой электрический регулируемый материал используется для эмуляции функции нейронной синапсе . «Физическая» нейронная сеть используется для того, чтобы подчеркнуть зависимость от физического оборудования, используемого для имитации нейронов, в отличие от программных подходов, имитирующих нейронные сети. В более общем смысле этот термин применим к другим искусственным нейронным сетям, в которых мемристор или другой электрически регулируемый материал сопротивления используется для имитации нейронного синапса.

Классификация по типу входной информации нейросети

• аналоговые нейронные сети (используют информацию в форме действительных чисел);
• Двоичные нейронные сети (оперируют с информацией, представленной в двоичном виде);
• Образные нейронные сети (оперируют с информацией, представленной в виде образов: знаков, иероглифов, символов).

Рассомтрим аналоговые нейросети.

Для обмена данными в нейронной сети подходят два вида сигналов: аналоговые и цифровые. С помощью аналоговых сигналов нейроны обмениваются градиентными данными, а с помощью цифровых -логическими данными. Под градиентными данными будем понимать целые числовые величины, находящиеся в заданном диапазоне, например, от -127 до 127 или от 0 до 255. Одной границе этого диапазона будет соответствовать полное подтверждение, другой — полное отрицание. Удобно принять минимальное значение за ложь, а максимальное за истину. В процессе работы нейронной сети нейроны получают такие данные, обрабатывают их, затем передают далее по аксону. Все нейроны работают параллельно. Результат, выдаваемый нейроном, зависит от того, какую операцию он выполняет, а также от того, является он синхронизированным или не синхронизированным. Не синхронизированные нейроны постоянно выдают результат операции, непрерывно выполняемой над входными градиентными данными. Синхронизированные нейроны постоянно выдают результат операции, выполненной над входными градиентными данными в момент прихода синхронизирующего сигнала. Таким образом, аналоговая нейронная сеть представляет собой параллельный аналоговый компьютер с динамически изменяемой структурой.

Хотя аналоговые нейронные сети являются “суперсетом” цифровых сетей, во многих практических случаях их применение не оправдано. Это связанно с тем, что на сегодняшнее время еще не существует достаточно проработанной элементной базы для организации широко распараллеленных аналоговых вычислительных процессов. Нейронные сети, в большинстве случаев, приходится реализовывать средствами современной цифровой вычислительной техники. К тому же существует огромное количество задач, в решении которых более чем достаточно двух логических значений: Истины и Лжи. В цифровых нейронных сетях по дендритам и аксонам циркулируют логические значения “0” и “1”. В процессе работы нейронной сети нейроны получают такие данные, обрабатывают их, затем передают далее по аксону. Об этом говорит сайт https://intellect.icu . Все нейроны работают параллельно. Результат, выдаваемый нейроном, зависит от того, какую операцию он выполняет, а также от того, является он синхронизированным или не синхронизированным. Не синхронизированные нейроны постоянно выдают результат операции, непрерывно выполняемой над входными логическими данными. Синхронизированные нейроны постоянно выдают результат операции, выполненной над входными логическими данными в момент прихода синхронизирующего сигнала. Цифровая нейронная сеть сводится к аналоговой нейронной сети с диапазоном обрабатываемых градиентных данных от 0 до 1. Таким образом, цифровая нейронная сеть представляет собой параллельный цифровой компьютер с динамически изменяемой структурой.

Типы физических нейронных сетей

АДАЛИН

В 1960-х Бернард Уидроу и Тед Хофф разработали ADALINE (адаптивный линейный нейрон), который использовал электрохимические клетки, называемые мемисторами (резисторами памяти), для имитации синапсов искусственного нейрона. Мемисторы были реализованы как 3-контактные устройства, работающие на основе обратимого гальванического покрытия меди, так что сопротивление между двумя выводами регулируется интегралом тока, подаваемого через третий вывод. Схема ADALINE была на короткое время коммерциализирована компанией Memistor Corporation в 1960-х годах, что позволило использовать некоторые приложения для распознавания образов. Однако, поскольку мемисторы не были изготовлены с использованием технологий изготовления интегральных схем, технология не была масштабируемой, и в конечном итоге от нее отказались, поскольку твердотельная электроника стала зрелой.

Аналоговая СБИС

В 1989 году Карвер Мид опубликовал свою книгу аналоговых СБИС и нейронные Systems , , которая отделилась , возможно , самый распространенный вариант аналоговых нейронных сетей. Физическая реализация реализована в аналоговой СБИС . Это часто реализуется как полевые транзисторы с низкой инверсией. Такие устройства можно моделировать как транслинейные схемы . Это метод, описанный Барри Гилбертом в нескольких статьях примерно в середине 1970-х годов, и в частности в его Translinear Circuits 1981 года. С помощью этого метода схемы могут быть проанализированы как набор четко определенных функций в установившемся состоянии, и такие схемы собираются в сложные сети.

Физическая нейронная сеть

Алекс Ньюджент описывает физическую нейронную сеть как один или несколько нелинейных нейроноподобных узлов, используемых для суммирования сигналов и наносвязей, сформированных из наночастиц, нанопроволок или нанотрубок, которые определяют мощность сигнала, вводимого в узлы. Выравнивание или самосборка наносвязей определяется историей приложенного электрического поля, выполняющего функцию, аналогичную нейронным синапсам. Возможны многочисленные приложения для таких физических нейронных сетей. Например, устройство временного суммирования может состоять из одного или нескольких наносвязей, имеющих вход и выход, при этом входной сигнал, подаваемый на вход, заставляет одно или несколько наносвязей испытывать увеличение силы соединения с течением времени. Другой пример физической нейронной сети описан в патенте США № 7039619 , озаглавленном «Используемое нанотехнологическое устройство, использующее нейронную сеть, решение и разрыв соединения», который в мае был выдан Алексу Ньюдженту Управлением по патентам и товарным знакам США . 2, 2006. [10]

Дальнейшее применение физической нейронной сети показано в патенте США № 7412428, озаглавленном «Применение хеббийского и антихеббийского обучения к физическим нейронным сетям на основе нанотехнологий», который был выдан 12 августа 2008 г. [11]

Наджент и Молтер показали, что универсальные вычисления и универсальное машинное обучение возможны с помощью операций, доступных через простые мемристивные схемы, работающие по правилу пластичности AHaH. [12] Совсем недавно утверждалось, что сложные сети чисто мемристических схем могут служить нейронными сетями. [13] [14]

Фазовая нейронная сеть

В 2002 году Стэнфорд Овшинский описал аналоговую среду нейронных вычислений, в которой материал с фазовым переходом имеет способность кумулятивно реагировать на несколько входных сигналов. [15] Электрическое изменение сопротивления материала с фазовым переходом используется для управления взвешиванием входных сигналов.

Мемристивная нейронная сеть

Грег Снайдер из HP Labs описывает систему корковых вычислений с мемристивными наноустройствами. [16] В пизасторах (резисторы памяти) реализованы с помощью тонких пленочных материалов , в которых сопротивление электрический настроенные с помощью переноса ионов или вакансий кислорода внутри пленки. DARPA «s Проект Synapse финансировала IBM Research и HP Labs в сотрудничестве с Университетом Департамента Бостонского когнитивных и нейронных систем (ЦНС), для разработки neuromorphic архитектуры , которые могут быть основаны на memristive систем [17] .

Оптическая нейросеть

Обученная многослойная фазовая маска (классификатор рукописных символов). Справа показана физическая модель оптической нейросети D²NN, напечатанная на 3D-принтере: слои 8×8 см с расстоянием 3 см друг между другом

Группа исследователей из Калифорнийского университета в Лос-Анджелесе разработала новый тип нейронной сети, которая в работе использует свет вместо электричества. В журнале Science опубликована статья с описанием идеи, рабочего устройства, его производительности и типов приложений, которые, по мнению авторов, хорошо вычислять в нейросети нового типа.

Исследователи объясняют, что структура оптической нейросети организована по принципу Гюйгенса, в соответствии с которым каждый элемент волнового фронта можно рассматривать как центр вторичного возмущения, порождающего вторичные сферические волны, а результирующее световое поле в каждой точке пространства будет определяться интерференцией этих волн. Таким образом, искусственный нейрон в D²NN соединен с другими нейронами следующего слоя через вторичную волну, которая модулируется по амплитуде и фазе как входной интерференционной картиной, созданной более ранними слоями, так и локальным коэффициентом передачи/отражения в этой точке.

По аналогии со стандартными глубокими нейросетями можно рассматривать коэффициент передачи/отражения каждой точки/нейрона как мультипликативный термин «смещение» (bias), который итеративно корректируется в процессе обучения дифракционной сети, используя метод обратного распространения ошибки. После численного обучения конструкция D2NN фиксируется и определяются коэффициенты передачи/отражения нейронов всех слоев. Затем можно изготовить рассчитанные слои любым методом: 3D-печать, литография и т. д.

Ученые подчеркивают, что оптическая нейросеть выполняет функцию со скоростью света и не нуждается в энергии. Таким образом, она представляет собой эффективный и быстрый способ реализации задач машинного обучения.

Вау!! 😲 Ты еще не читал? Это зря!

• AI-ускоритель
• Моделирование мозга
• Нейроморфная инженерия
• Оптическая нейронная сеть
• Квантовая нейронная сеть

Исследование, описанное в статье про аналоговые нейронные сети, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое аналоговые нейронные сети, физические нейронные сети и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Вычислительный интеллект