Структура нейронных сетей

   Множитель  находим как производная от уравнения по

Затем, дифференцируя выражения выходного  сигнала с функции активации по , имеем

    И, наконец, дифференцируя выражение по , получаем

   Подставляя результаты в выражение  полной производной, и применяя  полученный ранее вид производной  сигмоидной функции активации, получим:

      Коррекция  , применяемая к , определяется согласно дельта – правилу:

где η  – параметр скорости обучения алгоритма  обратного распространения. Использование  знака «минус» связано с реализацией  градиентного спуска в пространстве весов, т. е. поиска направления изменения весов в сторону уменьшения энергии ошибки E(n). Следовательно, значение коррекции весового коэффициента имеет вид:

где локальный  градиент определяется выражением

   Локальный градиент указывает  на требуемое изменение синаптического веса. Установлено, что локальный градиент выходного нейрона j равен произведению соответствующего сигнала ошибки этого нейрона и производной соответствующей функции активации. Из этого выражения видно, что ключевым фактором в вычислении коррекции весового коэффициента является сигнал ошибки .