Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун
Нам известно, что эта функция представляет собой многочлен второй степени относительно w, и теперь у нас есть коэффициенты. Минимум этого многочлена – это значение W, для которого его производная равна нулю:
Подведем итоги
Основные принципы любой машины, управляемой обучением с учителем, заключаются в следующем:
1. Собираем обучающий набор
A = {(X[0], Y[0]),…,(X[p-1], Y[p-1])}
2. Предлагаем модель, т. е. первую функцию f(x, w) с параметрами w. Их может быть очень много, миллионы. В этом случае мы называем их по отдельности w[0], w[1], w[2] … и вместе: w.
3. Предлагаем функцию стоимости C(x, y, w), которая измеряет ошибку для обучающего примера, например C(x, y, w) = (yf (x, w)) ** 2, а L(w) – его среднее значение по обучающей выборке.
4. Находим значение параметров функции f(x, w), которые минимизируют функцию стоимости L(w), обычно с помощью стохастического градиентного спуска:
w = w – e * dC(X[i], Y[i], w) / dw
Галилей и Пизанская башня
Функция f(x, w) может быть не только линейной. Скорость камня, падающего вертикально вниз, увеличивается пропорционально квадрату времени падения. Представьте себе, как Галилей поднимается на Пизанскую башню. Он останавливается на первом этаже. Он бросает вниз камешек и измеряет время, за которое камешек упадет на землю. Он поднимается еще на один этаж. Он снова бросает камень и измеряет время падения. Он повторяет этот опыт снова и снова, на каждом следующем этаже.
Существует закономерность, связывающая переменные x – время падения, и y – высоту падения камня.
Таким образом, зная время падения, можно вычислить высоту падения в зависимости от времени. Это квадратичная функция, график этой функции – парабола.
Формула, связывающая x (время падения) с y (высота падения): y = 0.5 * g * x ** 2, где g – ускорение свободного падения, или 9,81 м/с2. Благодаря своим наблюдениям Галилей смог установить этот закон, который позволяет, зная время падения предмета с высоты, вычислять высоту падения. И предсказать время падения в зависимости от высоты, приведя формулу к соответствующему виду.
Таким образом, Галилей заложил основы научного метода, который устанавливает законы, связывающие одну переменную с другой математической формулой. Иначе говоря, он выводил законы из наблюдений и предсказывал явления на основе этих законов.
В этом и состоит принцип машинного обучения.
Распознавание изображений или еще чего-нибудь
Принцип обнаружения основного правила также применим и к распознаванию изображений. Вход x – это изображение. Но изображение – это не более чем большой набор чисел. Например, черно-белая фотография размером 1000 × 1000 пикселей выражается в виде 1 млн чисел, каждое из которых указывает значение оттенка серого для каждого пикселя. Если это цветное изображение, каждый пиксель описывается уже не одним, а сразу тремя значениями, уровнями яркости трех основных цветов: красного, зеленого и синего.
Ответ машины y (распознавание изображений) можно выразить одним числом или серией чисел. Я предоставляю машине изображение кошки (x) и прошу ее ответить: «Это кошка» (y). Считаем, что y = 1 – кошка, а y = –1 – это не кошка. Фактически, мы просим функцию классифицировать изображения, представленные как входные данные, на две категории.
Таким же образом можно обучить автомобиль, оснащенный камерой, ездить самостоятельно. В этом случае дело обстоит немного сложнее, потому что вход x, который подается в систему, представляет собой изображение, которое включает в себя миллионы чисел, из которых нужно оценить положение автомобиля на дороге. Выход yp – это угол поворота рулевого колеса и показатели усилий на педалях. Если машина должна научиться отличать изображение автомобиля от изображения самолета, мы собираем тысячи изображений автомобилей и тысячи изображений самолетов. Вводим изображение автомобиля. Если машина дает правильный ответ, ничего не меняем. Если машина дает неверный ответ, необходимо настроить параметры системы так, чтобы ее ответ приблизился к правильному. Другими словами, нужно изменить настройки, чтобы минимизировать ошибку.
Все системы обучения с учителем работают по одному и тому же принципу, а именно:
Вход x. Это может быть изображение (таблица чисел в компьютерной программе); речевой сигнал (последовательность чисел на выходе аналого-цифрового преобразователя, преобразующего в цифровой вид аналоговый сигнал от микрофона); текст для перевода (также представленный серией чисел)… Ниже мы будем говорить об этом подробнее.
Желаемый выход у. Это идеальный желаемый результат для входа x.
Выход yp. Это ответ машины, который требуется (или не требуется) корректировать.
Фрэнк Розенблатт, Берни Уидроу и перцептрон
Давайте остановимся на самом простом типе машины, «линейном классификаторе», который мы рассмотрим на примере перцептрона.
Этот предок самообучающихся машин был разработан в 1957 г. американским психологом Фрэнком Розенблаттом в авиационной лаборатории Корнельского университета в Буффало (США). В те годы часть ученых в области ИИ исследовала феномен обучения, характерный для интеллекта человека и животных.
Изобретателя перцептрона вдохновили открытия в области нейробиологии своего времени. Затем психологи и биологи работали над тем, как работает мозг и как нейроны соединяются друг с другом. Они представили биологический нейрон как своего рода разветвленную звезду. Все ветви нейрона, кроме одной, образуют входы, или дендриты, которые соединяют этот нейрон с вышестоящими нейронами через контактную зону – синапс. Последняя ветвь, аксон, является единственным выходом для нижестоящих нейронов. Нейрон принимает электрические сигналы, излучаемые выше по потоку, обрабатывает их и передает, если необходимо, один сигнал ниже по потоку. Этот сигнал состоит из последовательности электрических импульсов, называемых потенциалами действия или «спайками» (от англ. spike – пик на графике), частота которых представляет собой интенсивность активности нейрона. Данная частота может быть выражена числом.
В 1943 г. два американских кибернетика и нейробиолога Уоррен Маккалок и Уолтер Питтс предложили очень упрощенную математическую модель биологического нейрона – чуть ли даже не его карикатуру, по мнению некоторых. Этот «искусственный нейрон» вычислял взвешенную сумму чисел, представляющих активность восходящих нейронов. Если эта сумма меньше определенного порога, нейрон становился неактивным. Если, наоборот, сумма выше порога, нейрон активировался и производил серию импульсов, распространяющихся вдоль его аксона в направлении нижестоящих нейронов. Частота импульсов также выражалась определенным числом.
В модели Маккаллока и Питтса выход являлся двоичным: активным или неактивным, т. е. +1 или –1. Каждый бинарный нейрон вычисляет взвешенную сумму выходов вышестоящих нейронов, с которыми он связан. Он дает на выходе +1, если сумма больше порогового значения, и –1 в противоположном случае. В нашем примере данный порог равен 0.
Это выражается
