Ограниченная машина Больцмана кратко

Ограниченные машины Больцмана имеют широкий спектр применений — это задачи снижения размерности данных, задачи классификации, коллаборативная фильтрация, выделение признаков (англ. feature learning)и тематическое моделирование.

В ограниченной машине Больцмана нейроны образуют двудольный граф, с одной стороны графа находятся видимые нейроны (вход), а с другой стороны — скрытые, причем перекрестные связи устанавливаются между каждым видимым и каждым скрытым нейроном. Такая система связей позволяет применить при обучении сети метод градиентного спуска с контрастивной дивергенцией .

Ограниченные машины Больцмана могут также применяться в сетях глубинного обучения . В частности, глубинные сети убеждений могут образовываться «сборкой» ОМБ и, возможно, тонкой настройкой получаемой глубинной сети с помощью градиентного спуска и обратного распространения

Ограниченная машина Больцмана

Связь с другими моделями

Ограниченная машина Больцмана представляет собой частный случай обычной машины Больцмана и марковской сети^[10][11]. Их графовая модель соответствует графовой модели факторного анализа

Структура

Стандартный тип ОМБ имеет двийковозначни ( булевы / бернуллиеви ) скрытые и видимые узлы и состоит из матрицы весовых коэффициентов (размера m × n ), связанной с соединением между скрытым узломи видимым узлом, А также весовых коэффициентов предубеждений ( оползней ) для видимых узлов и для скрытых узлов. Об этом говорит сайт https://intellect.icu . С учетом этого, энергия конфигурации (пары булевых векторов) ( v , h ) определяется как

или, в матричной записи,

Эта функция энергии аналогична функции энергии сети Хопфилда . Как и в общих машинах Больцмана, распределения вероятности над скрытыми и / или видимыми векторами определяются в терминах функции энергии:

где является статистической суммой , определенной как сумманад всеми возможными конфигурациями (то есть, просто нормировочная стала ^[en] для обеспечения того, чтобы распределение вероятности давал в сумме 1). Аналогично, ( обособленная ) вероятность видимого (входящего) вектора булевых значений является суммой над всеми возможными конфигурациями скрытого слоя:

Поскольку ОМБ имеет форму двудольных графу, без соединений внутри слоев, активации скрытых узлов взаимно независимыми для заданных активаций видимых узлов, и наоборот, активации видимых узлов являются взаимно независимыми для заданных активаций скрытых узлов. То есть, для видимых узлов и скрытых узлов условной вероятностью конфигурации видимых узлов v для заданной конфигурации скрытых узлов h является

.

И наоборот, условной вероятностью h для заданной v является

.

Отдельные вероятности активации задаются как

и

где обозначает логистическую сигмоид .

Несмотря на то, что скрытые узлы являются бернуллиевимы , видимые узлы ОМБ могут быть многозначными . В таком случае логистическая функция для видимых узлов заменяется нормированной экспоненциальной функцией ( англ. Softmax function )

где K является количеством дискретных значений, имеющих видимые значения. Они применяются в тематическом моделировании и рекомендательных системах .

Соотношение с другими моделями

Ограниченные машины Больцмана является случаем машин Больцмана и марковских случайных полей . Их графовая модель соответствует модели факторного анализа .

Алгоритм тренировки

Ограниченные машины Больцмана тренируются максимизировать произведение вероятностей, предназначенных определенном тренировочном набору (Матрица, каждая строка которого рассматривается как видим вектор )

или, равноценно, максимизировать математическое ожидание логарифмической вероятности :

Алгоритму, чаще всего применяется для тренировки ОМБ, то есть для оптимизации вектора весовых коэффициентов , Алгоритм сравнительной расхождения (ПР, англ. Contrastive divergence, CD ), принадлежащей Хинтон , первично разработан для тренировки моделей произведения экспертов ( англ. Product of experts, PoE ). Этот алгоритм осуществляет выборку по Гиббс ^[en] , и используется внутри процедуры градиентного спуска (подобного тому, как обратное распространение используется внутри такой процедуры при тренировке нейронных сетей прямого распространения) для вычисления уточнения весовых коэффициентов.

Элементарную, одношаговую процедуру сравнительной расхождения (ТР-1, англ. CD-1 ) для единого образца может быть описано следующим образом:

1. Взять тренировочный образец v , вычислить вероятности скрытых узлов, и выбрать вектор скрытой активации h из этого распределения вероятности.
2. Вычислить внешний произведение v и h , и назвать это положительным градиентом .
3. Опираясь на h , выбрать восстановление видимых узлов v ' , а затем перевибраты с ней скрытые активации h' . (шаг выборки по Гиббс)
4. Вычислить внешний произведение v ' и h' , и назвать это негативным градиентом .
5. положить уточнением разницу положительного и отрицательного градиентов, умноженную на определенный темп обучения: .

Правило уточнения для предубеждений a и b определяется аналогично.

Вау!! 😲 Ты еще не читал? Это зря!

• Автокодировщик автокодировщик , автоассоциатор ,
• глубокое обучение , глубинное обучение , deep learning ,
• Машина Гельмгольца
• Нейронная сеть Хопфилда