00Gnomich

Обучение перцептрона

После того, как мы разработали способ по простому расчету выходных значений, следующим естественным шагом будет пропустить через нейросеть обучающий образ (который мы хотим в нее записать), рассчитать выходное значение, а потом вычислить ошибку, т.е. отличие выхода от входа (мы же хотим, чтобы нейросеть не изменяла эталонный образ).

Задаем матрицу входных значений. Для первой картинки это будет

Начальные веса синапсов зададим произвольным образом. Вообще говоря, доказано, что "схождение" перцептрона, т.е. стабилизация весов синапсов не зависит от изначального выбора этих весов.

Выполняем расчет (обучение занимает несколько тысяч итераций, поэтому я, конечно, не буду их тут приводить) и получаем некую матрицу выходных значений M. Для расчета ошибки воспользуемся определением разности матриц, которое сводится к тому, что из каждого элемента первой матрицы нужно вычесть соответствующий элемент второй матрицы.

Тогда получим, что ошибка

Каждый элемент матрицы ошибки соответствует "строке" в нейронной сети, т.е. нейрону, расположенному на входе и нейрону с таким же номером, расположенному на выходе.

Теперь напомню формулу коррекции веса одного синапса:

Следующим большим делом для нас будет вычисление коэффициента g. Если помните, то он описывает влияние изменения веса синапса на выходное значение нейрона, с которым соединен этот синапс. Говоря прямо, это частная производная выходного значения нейрона по весу этого синапса. Поскольку нейроны у нас выполняют элементарную функцию сложения (пока про округление забудем), а синапс выполняет также очень простую функцию умножения двух чисел (веса и значения нейрона предыдущего слоя), то производная эта равна самому значению нейрона предыдущего слоя:

Напомню, что m - значение на выходе нейронов 3-го слоя, а s - на выходе 2-го слоя.

Ну и для совсем полного ощущения простоты задачи помним, что все x, s, m - равны либо 0, либо 1. Поэтому коэффициент g равен либо 1, если на входе синапса 1, либо 0, если на входе синапса 0.

Теперь наверное самый сложный шаг во всей задаче. Нам нужно получить матрицу корректировок для весов. Запишем несколько корректировок в виде уравнений, чтобы увидеть закономерность (и для простоты предположим, что у нас всего три нейрона, а не 16):

Теперь нужно понять, как будут выглядеть матрица корректировок и ее составляющие, чтобы мы могли привести эти уравнения к матричному виду и получить следующее:

В первую очередь заметим, что все коэффициенты корректировок умножаются на одно и то же число - шаг обучения step. Его можно вынести за матрицу (т.к. процедура умножения матрицы на число подразумевает умножение на это число каждого элемента матрицы). В остальном для получения матрицы коррекций можно использовать произведение следующих простых матриц, которые легко формируются программно:

или сокращенно:

Таким образом выполняются корректировки синапсов, связывающих второй и третий слои. Аналогичным образом можно рассчитать матрицу G_2-1, получаемую при корректировке синапсов первого слоя, но вот значений ошибок на выходе второго слоя у нас нет. Поэтому нам нужно получить матрицу G_3-1 для корректировок синапсов первого слоя на основании ошибок E. Не вдаваясь в математические изыскания, просто укажем, что такую матрицу можно получить, если перемножить матрицы, речь о которых шла выше:

Как можно заметить, на основании ошибки, возникающей на выходе перцептрона, мы сначала корректируем синапсы второго слоя, а затем "распространяем" ошибку еще глубже (умножаем уже на две матрицы G) и корректируем синапсы первого слоя. Такой подход и определяет само наименование метода обучения - метод обратного распространения ошибки.

Что ж, пожалуй, я рассказал все, что хотел по этой теме) Надеюсь, было интересно и помогло приоткрыть завесу тайны, как это работает внутри. Если кого-то заинтересует, могу в комментариях дать ссылку на код на питоне для нейросети из статьи (ранее в посте №2 давал).

Часть 1
Часть 2

Описание перцептрона

Напоминаю, что мы рассматриваем сеть для распознавания простых картинок:

Несмотря на то, что каждый нейрон выполняет элементарные арифметические функции, из-за их количества работать напрямую с уравнениями довольно-таки неудобно. Поэтому мы применим своего рода лайфак. Для начала запишем, как будет складываться значение на выходе первых нейронов второго слоя (без учета округления):

Где s_j - выходное значение j-го нейрона, w_ij - вес синапса, выходящего из нейрона i и заходящего в нейрон j, а x_i - входное значение на i-м нейроне.

Смотрится страшно?) Но, как можно заметить, уравнения прямо-таки одинаковые, меняются только индексы. Поэтому математики придумали, как бы записать это попроще, а именно:

где каждый элемент - это матрицы:

Процедура умножения матрицы на матрицу определена таким образом, что результат - тоже матрица, причем каждый элемент вычисляется как раз соответственно уравнениям выше.

Если задать в программе процедуры умножения, сложения матриц и умножения матрицы на число универсально для любого размера этих матриц, то непосредственно работа с ними сводится к анализу таких простых формул. Кстати, мы же рассмотрели только переход одного слоя нейронов ко второму, а у нас есть еще третий. Но как можно видеть, второй переход очень похож на первый: там те же 16 входов, 16х16 синапсов и 16 выходов. Поэтому переход от второго слоя к третьему (опять же, опустим операцию округления) будет выглядеть как:

Сама операция округления может быть произведена отдельно для S перед вычислением М, а затем для M перед выдачей результата.

Работа сети (распознавание картинки) происходит итеративно, т.е. после первой обработки искаженной картинки сетью, результат может не быть достигнут. В этом случае необходимо взять полученный результат и снова прогнать его через сеть, и так (возможно) несколько раз. Строго говоря, после выполнения ряда итераций результат может быть следующим:

1. На выходе сети получится один из исходных образов. На следующих итерациях он уже не будет меняться, т.к. сеть изначально обучена с тем критерием, что при обработке обучающего образа он не изменяется.

2. На выходе сети получится стабильный (не меняющийся при последующих итерациях) образ, не совпадающий, однако, ни с одним из эталонных. Такой образ называется химерой.

3. На выходе сети не получается стабильного результат, но происходит зацикливание: картинка 1 - картинка 2 -... - картинка 1 - ... . Честно говоря, не знаю, характерна ли такая проблема для перцептрона, но она характерна для другого типа сетей - сети Хопфилда. Сеть Хопфилда может попасть в состояние, называемое динамическим аттрактором, заключающееся в том, что она бесконечно переключается между двумя картинками, не совпадающими ни с одним из эталонных образов.

Поэтому сеть нужно остановить в некоторый момент. Причем, как видно, неправильно будет устанавливать критерием остановки работы сети совпадение результата с одним из эталонных образов. Как правило, имеет смысл установить критерием стабилизацию результата вместе с максимальным числом циклов. Например, критерий может звучать так: "Остановить работу сети в случае, если очередное полученное изображение не отличается от поданного на вход, либо после 100 итераций, если изображение не стабилизировалось".