Метод дробящихся эталонов. Линейные решающие правила

Метод дробящихся эталонов

Процесс обучения состоит в следующем. На первом этапе в обучающей выборке " охватывают " все объекты каждого класса гиперсферой возможно меньшего радиуса. Сделать это можно, например, так. Строится эталон каждого класса. Вычисляется расстояние от эталона до всех объектов данного класса, входящих в обучающую выборку. Выбирается максимальное из этих расстояний . Строится гиперсфера с центром в эталоне и радиусом =+. Она охватывает все объекты данного класса. Такая процедура проводится для всех классов (образов). На рис. 3 приведен пример двух образов в двухмерном признаковом пространстве.

Рис. 3. Решающее правило типа “Метод дробящихся эталонов”

Если гиперсферы различных образов пересекаются и в области перекрытия оказываются объекты более чем одного образа, то для них строятся гиперсферы второго уровня, затем третьего и т.д. до тех пор, пока области не окажутся непересекающимися, либо в области пересечения будут присутствовать объекты только одного образа.

 Распознавание осуществляется следующим образом. Определяется местонахождение объекта относительно гиперсфер первого уровня. При попадании объекта в гиперсферу, соответствующую одному и только одному образу, процедура распознавания прекращается. Если же объект оказался в области перекрытия гиперсфер, которая при обучении содержала объекты более чем одного образа, то переходим к гиперсферам второго уровня и проводим действия такие же, как для гиперсфер первого уровня. Этот процесс продолжается до тех пор, пока принадлежность неизвестного объекта тому или иному образу не определится однозначно. Правда, это событие может и не наступить. В частности, неизвестный объект может не попасть ни в одну из гиперсфер какого-либо уровня. В этих случаях "учитель" должен включить в решающие правила соответствующие действия. Например, система может либо отказаться от решения об однозначном отнесении объекта к какому-либо образу, либо использовать критерий минимума расстояния до эталонов данного или предшествующего уровня и т.п. Какой из этих приемов эффективнее, сказать трудно, т.к. метод дробящихся эталонов носит в основном эмпирический характер.

Линейные решающие правила

Само название говорит о том, что граница, разделяющая в признаковом пространстве области различных образов, описывается линейной функцией (рис. 4)

=.

Рис. 4. Линейное решающее правило для распознавания 
двух образов

Одна граница при этом разделяет области двух образов. Если >2, то требуется несколько линейных функций и граница является, вообще говоря, кусочно линейной. Для наглядности будем считать =2. Если на множестве объектов выполняется условие

,

если  – реализация первого образа,

если  – реализация второго образа,

то образы и  называют линейно разделимыми.

Существуют различные методы построения линейных решающих правил. Об этом говорит сайт https://intellect.icu . Рассмотрим один из них, реализованный в 50-х годах Розенблатом, в устройствах распознавания изображений, названных персептронами (рис. 5).

 Пусть

где  – некоторый объект одного из образов, .

Рис. 5. Упрощенная схема однослойного персептрона

Выбор  осуществляется пошаговым образом. Текущее значение  заменяется новым  после предъявления персептрону очередного объекта обучающей выборки. Эта корректировка производится по следующему правилу:

1. , если  и  или если  и .

2. , если  и , .

3. , если  и .

 Это правило вполне логично. Если очередной объект системой классифицирован правильно, то нет оснований изменять . В случае (2)  следует изменить так, чтобы увеличить . Предложенное правило удовлетворяет этому требованию. Действительно,

.

Соответственно в случае (3) .

Важное значение имеет выбор . Можно, в частности, выбрать . При этом показано, что если обучающие выборки двух образов линейно разделимы, то описанная пошаговая процедура сходится, то есть будут найдены значения , при которых

 , если ,

 , если .

Если же выборки линейно неразделимы (рис. 6), то сходимость отсутствует и оценку , минимизирующую число неправильных распознаваний, находят методом стохастической аппроксимации.