Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун
В машине 25 весов, каждый из которых связан с пикселем. Эти 25 параметров и схема их подключения составляют архитектуру машины. Такая схема подключения является фиксированной: один и тот же пиксель всегда подключен к одному входу и связанному с ним весу. До начала этапа обучения все веса равны 0. Таким образом, взвешенная сумма будет равна 0, а результат –1, независимо от изображения.
Как отличить букву C от буквы D?
В процессе обучения машина регулирует свои веса. Научим ее отличать букву С от буквы D. Мы уже знакомы с этим методом: предоставляем машине несколько последовательных примеров каждой буквы. Каждый раз, когда машина выдает правильный ответ, мы не предпринимаем ничего. Если она ошибается, мы корректируем веса (мы «поворачиваем ручки регулировки громкости»), чтобы изменить взвешенную сумму таким образом, чтобы она стала положительной для буквы C и отрицательной для буквы D.
Рассмотрим процедуру более подробно. Если в качестве примера используется буква C, а машина ошиблась, это означает, что веса установлены неправильно и взвешенная сумма ниже 0 (порога), а не выше. Поэтому машина (точнее, алгоритм обучения, написанный инженером), должна изменить веса так, чтобы взвешенная сумма увеличилась. Она увеличивает значение для тех весов, соответствующий вход которых равен +1, и уменьшает значение для весов, у которых соответствующий вход равен –1.
И наоборот, если пример – буква D, и машина дает неправильный ответ (+1, «Это C»), это означает, что взвешенная сумма больше 0, а не меньше. В этих условиях алгоритм обучения должен уменьшать веса, соответствующие входы которых равны +1, и увеличивать веса, соответствующие входы которых равны –1.
Вес каждый раз меняется на небольшую величину. Новое значение веса после настройки перезаписывает предыдущее значение. Одной итерации недостаточно. Правильный ответ будет получен только после последовательных обновлений.
При некотором везении повторение этих манипуляций для представления / распознавания / корректировки весов для букв C и D приведет к тому, что конфигурации весов, определяемые алгоритмом, будут сходиться к стабильной ситуации, когда любая буква C и любая буква D будут распознаны.
В обучающем наборе значения 25 пикселей находятся в векторе x, веса – в векторе w. Переменная y содержит желаемый выход (+1 или –1), а переменная yp – это выход, вычисляемый нейроном (также +1 или –1). Разница (y – yp) будет равна 0, если машина выдает правильный ответ, +2, если желаемый ответ равен +1, но полученный ответ будет –1, и –2, если наоборот. По следующей формуле каждый вес w[i] обновляется, как описано выше, с использованием соответствующего входа x[i]:
w[i] = w[i] + e * (y – yp) * x[i]
Переменная e содержит положительную константу, определяющую уровень корректировки. Взвешенная сумма будет увеличиваться или уменьшаться в правильном направлении в результате изменения весов.
Такая процедура может быть представлена в виде программы из нескольких строк. Предположим, что у нас буква C, поэтому желаемый выход равен +1. Мы вычисляем взвешенную сумму, используя функцию нейрона (w, x), определенную выше, затем обновляем все веса, переписывая каждый из них один за другим следующим образом:
yp = neurone(w, x)
for i in range(len(w)):
w[i] = w[i] + e * (y – yp) * x[i]
Перцептрон Розенблатта был электронной машиной весом в несколько тонн. Магия современных технологий заменяет ее этой маленькой программой из нескольких строк, исполняемой на небольшом компьютере.
В примере, который мы привели, машина изучает «трафаретные» отличия букв C и D. Пиксели, специфичные для буквы C, имеют положительный вес; пиксели, специфичные для буквы D, имеют отрицательный вес, а другие пиксели, которые не появляются в C или D, или те, которые появляются в обоих, имеют нулевой вес.
Но мы также можем рассматривать процедуру обучения перцептрона как минимизацию функции стоимости, параметры которой являются регулируемыми весами системы. Как тот, что описан в примере с автомобилем, который мы рассматривали выше. Мы вернемся к этому в Главе 4.
Позвольте мне уже сейчас раскрыть интригу: в тот момент существовала тривиальная техника распознавания фигур независимо от их вариаций – метод «ближайшего соседа». Совсем другой метод, нежели перцептрон. Он состоит из простого сравнения одного изображения с другим. Компьютер хранит в своей памяти все тренировочные образы. Когда появляется изображение, которое нужно распознать, машина сравнивает его с изображениями в своем каталоге. Она находит наиболее похожее изображение, например, подсчитывая количество разных пикселей между двумя изображениями. Выводится категория ближайшего изображения: если это D, вывод будет «D». Этот метод хорошо подходит для простых изображений, таких как печатные буквы (в небольшом наборе шрифтов). Но для рукописных символов он менее эффективен, к тому же он слишком трудоемок. Если бы мы использовали метод ближайшего соседа для распознавания собаки или стула, нам потребовались бы миллионы фотографий собак и стульев в разных положениях, освещении, конфигурациях и средах. Такой прием практически никогда не работает, но даже там, где он может сработать, он останется крайне непрактичным.
Обучение с учителем и обобщение
Важнейшее свойство обучающейся машины – это ее способность к обобщению, то есть умение давать правильный ответ для примеров, которые она не видела во время обучения. Если обучающий набор содержит достаточно примеров букв C и D с небольшими вариациями стиля, перцептрон может распознавать и такие варианты C и D, которые он никогда раньше не видел. Правда, при условии, что они не слишком сильно отличаются от примеров обучения.
Проиллюстрируем данный принцип обобщения при помощи аналогии. Чтобы найти результат умножения 346 на 2067, человек не учит наизусть результаты перемножения всех возможных чисел: он – находит сам принцип, позволяющий производить умножение. Перцептрон делает нечто подобное. Он не хранит все возможные формы C, чтобы в дальнейшем их распознать. Он разрабатывает модель, шаблон, который позволяет ему выполнять распознавание по запросу. Посмотрим, как это происходит.
Оператор, который обучает систему, собирает множество примеров, может быть, сотни, а то и тысячи, букв C, разных размеров, с разными шрифтами, размещенных в разных местах 25-пиксельной сетки. Он делает то же самое с буквой D.
Если обучить перцептрон выдавать +1 для примеров C и –1 для примеров D, процедура обучения перцептрона даст положительный вес пикселям, которые являются черными для C и белыми для
