1. Коррекция по ошибке. Заключается в следующем: происходит использование разностей Y-R нейронной сети для модификации весов, которая заключается в постепенном уменьшении ошибки при многократной подаче образов из обучающего множества. Что это означает? – подали вы какой-то образ; вычислили ошибку реальной отклик сети Y и тот, который должен быть R; зная эту ошибку, мы ее разбрасываем по всем весовым коэффициентам таким образом, чтобы не устранить эту ошибку, а уменьшить. И после того как мы подали следующий обучающий предмет, мы опять чуть-чуть уменьшаем ошибку и это повторяем до тех пор, пока на обучающей выборке эта ошибка не станет приемлемой.

2. Обучение Больцмана. Это стохастическое правило обучения, которое следует из информационных(количество информации, содержащееся в повторяющихся сообщениях уменьшается) и термодинамических принципов(система стремится к минимуму энергии). Но в нейронных сетях принцип Больцамана используется подход, когда мы беспорядочно изменяем коэффициенты так, чтобы уменьшить ошибку, возникающую при использовании обучающей последовательности. Под ошибкой понимается расхождение корреляций состояний сети в 2 режимах: до и после коррекции коэффициентов. Состояние сети – это ее весовые коэффициенты.

3. Правило Хебба. Наиболее близка к биологическим нейронным сетям. Основано на нейрофизиологических наблюдениях. Если в нейроне активизируется по нескольким входам одновременно и регулярно, то сила синоптической связи возрастает. К примеру, если по некоторому входу идет постоянная подача нервного импульса, то синапс устроен так, что он начинает более активно реагировать на сигнал той же интенсивности, который придет следующим, но не забывайте, что через какое-то время наступает насыщение. Правило состоит в том, что изменение синоптического веса w_i зависит только от активности нейрона, которые связаны с данным. Например корреляция по ошибке может быть реализована каким образом: любой нейрон может быть изменен, вы же не знаете структуру сети, то есть она не привязана ни к какой архитектуре; в обучении Больцмана вообще случайно выбирается коэффициент, а здесь – нет: выбираются только те весовые коэффициенты и меняются только там, где есть связь между нейронами. Нейрон активен, если он не находится в состоянии насыщения. Рис. получается такая же картина, которая была при рассмотрении биологического нейрона: мы начинаем подавать входные сигналы и если значение сигнала по этому входу увеличивается, то в соответствии с правилом Хебба мы увеличиваем коэффициент, но это увеличение коэффициента приводит к тому, что через некоторое время нейрон становится пассивным, то есть он не будет влиять на те нейроны с которыми он связан.

4. Обучение методом соревнования. В отличие от правила Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активацию. Модифицируются только веса победившего нейрона.

Таблица: известные алгоритмы обучения.

Замечание: есть такое понятие, как емкость нейронной сети. Она означает следующее – это максимальное число образов, которое она может запомнить. Если вы возьмете простую нейронную сеть и подадите 1000 образов, то она эту обучающую выборку на 99% проигнорирует, она просто переобучится и будет фактически различать все, что мы хотим, но не так как мы хотим. Поэтому в зависимости от задачи должна быть использована нейронная сеть соответствующей емкости.