Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун

«Магия» обучения заключается в том, что «обученная» машина способна выйти за рамки того, что ей было показано.

Пределы возможностей перцептрона

Метод, который мы только что описали, работает, когда примеры букв C и D не слишком сильно отличаются. Если различия в форме, размере или ориентации слишком велики, например, одна буква C крошечная, другая находится в углу изображения – перцептрон не сможет найти комбинацию весов, которая может различать примеры букв C и D. Таким образом, он оказывается неспособным различать определенные типы форм. Этот предел является общим для всех линейных классификаторов, примером которых является перцептрон. Рассмотрим, почему это так.

Входом линейного классификатора является список из n чисел, который также может быть представлен n-мерным вектором. С математической точки зрения вектор – это точка в пространстве, координатами которой являются числа, составляющие его. Для нейрона с двумя входами входное пространство является двумерным (это плоскость), а входной вектор обозначает точку на плоскости. Если нейрон имеет три входа, входной вектор обозначает точку в трехмерном пространстве. В нашем примере для букв C и D пространство входа имеет 25 измерений (25 пикселей изображения один за другим связаны с 25 входами нейрона). Таким образом, изображение представляет собой вектор, состоящий из значений 25 пикселей, которые обозначают точку в этом 25-мерном пространстве. Однако представить себе гиперпространство очень трудно.

Линейный классификатор, то есть пороговый нейрон Маккаллока и Питтса, разделяет свое входное пространство на две половины: например, изображения C и изображения D. Если пространство представляет собой плоскость (для нейрона с двумя входами), граница между двумя половинами представляет собой линию. Если пространство имеет три измерения, граница – это плоскость между двумя половинами. Если пространство имеет 25 измерений, граница представляет собой 24-мерную гиперплоскость. В более общем случае, если количество входов равно n, пространство имеет n измерений, а поверхность разделения представляет собой (n – 1)-мерную гиперплоскость.

Чтобы убедиться в том, что эта граница действительно является гиперплоскостью, перепишем формулу для взвешенной суммы в размерности 2, то есть скалярное произведение вектора w (весов) и вектора x (значения пикселей входа)

S = w[0] * x[0] + w[1] * x[1]

Когда эта взвешенная сумма равна нулю, мы находимся на границе между двумя половинами пространства, разделенными линейным классификатором. Таким образом, точки границы удовлетворяют уравнению:

w[0] * x[0] + w[1] * x[1] = 0

Мы также можем написать:

x[1] = –w[0] / w[1] * x[0]

Это и есть уравнение прямой.

При вычислении скалярного произведения двух векторов, если эти два вектора ортогональны, скалярное произведение равно нулю. Если векторы расположены под углом менее 90° друг к другу, скалярное произведение положительно. Если векторы расположены под углом более 90°, скалярное произведение отрицательное. Таким образом, набор векторов x плоскости, скалярное произведение которого на вектор w равно нулю, является набором векторов, ортогональных вектору w. В размерности n они образуют гиперплоскость размерности n – 1.

Однако на самом деле это не всегда так. Продемонстрируем, почему.

Представим себе перцептрон не с 25 входами (сетка 5×5 пикселей), а с двумя входами, т. е. он снабжен нейроном с двумя входами. Теперь добавим к этому перцептрону третий «виртуальный» вход, значение которого всегда будет равно –1. Без этого дополнительного параметра разделительная линия всегда будет проходить через начало координат. Но разделительная линия не обязательно должна проходить через начало координат плоскости: изменяя соответствующий вес, ее можно свободно перемещать.

Эта очень простая машина оказывается неспособной различить между собой определенные изображения входа. Четыре обучающих примера (0, 0), (1, 0), (1, 1) и (0, 1) могут быть представлены четырьмя оценками. Разместим их на графике (см. рис. 3.6).

Функции, которые может выполнять перцептрон, – это те функции, которые позволяют классифицировать точки в два набора, разделяя их для классификации.

Наблюдая за графиком, мы видим, что можем провести линии, отделяющие (0, 0), (1, 0) и (0, 1) от (1, 1).

Мы можем провести прямые линии, отделяющие (0, 0) от (1, 0), (1, 1) и (0, 1).

Но мы не можем провести линию, которая отделяет (0, 0) и (1, 1) от (1, 0) и (0, 1).

Функция, которая возвращает 0 для (0, 0); 1 для (1, 1); 1 для (1, 0) и 0 для (0, 1), называется «исключающим ИЛИ». Эта функция, как принято говорить, «не является линейно разделимой»: точки входа, выход которых равен 1, нельзя отделить линией, плоскостью или гиперплоскостью от точек входа, выход которых равен 0.

Рис. 3.6. Перцептрон с 2 входами

Функция, которая связывает +1 с черными точками (0, 1) и (1, 0) и –1 с серыми точками (0, 0) и (1, 1), называется «исключающее ИЛИ». Не существует прямой линии, отделяющей все черные точки от всех серых точек. Это – один из способов показать, что линейный классификатор (например, перцептрон) не может вычислить исключающее ИЛИ. Линии на диаграмме представляют функции И [+1 для (1, 1) и –1 для остальных] и ИЛИ [–1 для (0, 0) и +1 для остальных]. В размерности 2 только две булевы функции из 16 не разделимы линейно. При увеличении размерности только незначительная часть функций линейно разделима.

В таблице ниже каждая строка представляет собой одну из четырех возможных конфигураций двух двоичных входов. Каждый пронумерованный столбец представляет выходы конкретной логической функции для каждой из четырех конфигураций входа. Есть 16 возможных функций (т. е. 24). 14 из 16 функций достижимы с помощью линейного классификатора. Недостижимы только две (они обозначены буквой Н в последней строке):

В этом примере мы видим точки в двумерном пространстве, соответствующие двум пикселям изображения, которые составляют два входа функции. Это плоскость. Ее вполне можно представить себе или визуализировать.

Однако настоящий перцептрон работает в многомерном пространстве. Когда мы хотим, чтобы перцептрон различал несколько более сложные или разные формы, положения и т. д., мы часто оказываемся в только что описанной ситуации, но на этот раз в «высоких» измерениях.

В перцептроне, если вектор входа образует острый угол с вектором веса, взвешенная сумма будет положительной, если же угол тупой, она будет отрицательной. Разделительная линия между положительным и отрицательным значениями – это набор точек x, которые ортогональны вектору веса w, поскольку скалярное произведение между w и x равно нулю. В размерности n уравнение границы