Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун
Мы только что увидели, что прямая линия всегда может быть проведена через две точки, независимо от расположения этих точек. Когда необходимо выбрать функцию, которая может соединить две точки, можно, таким образом, сохранить линию типа w[0] * x + w[1] с двумя параметрами. Это многочлен первой степени.
Чтобы найти функцию, которая проходит через три точки, мы можем выбрать параболу типа f(x, w) = w[0] * x ** 2 + w[1] * x + w[2] с тремя параметрами. Это многочлен второй степени.
Если в многочлене есть слагаемое с третьей степенью, это многочлен третьей степени, он содержит четыре параметра. Если у нас есть слагаемое с четвертой степенью, это многочлен четвертой степени с пятью параметрами. И так далее.
Рис. 4.7–4.10. Изучение многочленов
У нас есть 15 точек данных. Черные точки являются примерами обучения, а белые точки – тестовыми точками. Каждый столбец представляет другую модельную функцию: линейная, многочлен степени D = 2, 4 и 8. В каждой строке для обучения модели используется разное количество примеров, P = 2, 3, 5 и 9.
На каждом из графиков для своего типа функции кривая наилучшим образом приближается к точкам обучения, TrE – это ошибка обучения, а TsE – тестовая ошибка.
Когда модель «негибкая» (т. е линейная или параболическая), она не может пройти все этапы обучения, если их слишком много. Когда она «гибкая» (многочлен третьей и выше степени), она может проходить через множество точек. Но если эти точки не выровнены по простой кривой – другими словами, они испорчены шумом – для этого придется создавать большие «волны» (график внизу справа). Тогда ошибка теста становится очень высокой, хотя ошибка обучения равна 0. Это так называемое, явление «переобучения». С девятью точками обучения (нижняя линия) многочлен второй степени выдает наименьшую ошибку теста (рисунок Альфредо Канциани).
Чем больше членов добавляется в многочлен, тем гибче кривая, которую он отображает, тем свободнее можно рисовать «волны», чтобы провести график через все необходимые точки.
Многочлен второй степени – парабола, изогнутая вверх или вниз. Если для обучения взяты три точки, всегда можно найти многочлен, задающий параболу, которая проходит через эти три точки.
Многочлен третьей степени может иметь на графике выступ и выемку. Для любых четырех точек, мы всегда можем найти такой многочлен, график которого проходит через эти четыре точки.
Кривая четвертой степени еще более гибкая, она может быть W-образной, M-образной или плоской вверху. Она проходит через пять точек. С пятой степенью еще сложнее… Она проходит через шесть точек и т. д.
Итак, если у нас есть P точек (или обучающие примеры), всегда существует по крайней мере одна кривая, другими словами, многочлен степени P – 1, который проходит через эти P точек. На практике существует предел степени многочлена, который можно использовать, не сталкиваясь с проблемами численной точности при расчетах. Когда мы получим набор данных, мы сможем выбрать из этого семейства наиболее подходящую модель для того количества примеров, которые у нас есть.
Если у нас есть 1000 точек или обучающих примеров, и мы хотим пройти все баллы, мы должны теоретически использовать многочлен 999-й степени. На практике же он очень нестабилен, и его не используют.
Следовательно, для определенного количества элементов данных вы должны адаптировать сложность модели, которую вы обучаете, к этому количеству.
Корова и три ученых
Инженер, физик и математик едут в поезде. Они проезжают мимо поля, где пять черных коров идут в один ряд позади своего фермера. Инженер сказал: «Коровы в этой стране черные!» Физик сказал: «Нет! В этой стране как минимум пять черных коров! И математик говорит: «Вы ошибаетесь, в этой стране по крайней мере пять коров, черных с правой стороны».
Исходя из имеющейся информации, каждое из приведенных выше высказываний по-своему верно. Но при этом математик просто хочет описать наблюдения, не делая никаких прогнозов относительно других коров в стране, то есть он не пытается экстраполировать. Инженер немного поспешил со своим суждением, мотивированным простотой правила, которое он предлагает для предсказания окраски других коров. Что касается физика, он выдвигает гипотезу, основанную на своем опыте: «Коровы обычно одного цвета с обеих сторон», но не хочет экстраполировать вывод о цвете на всех коров в стране.
Этот анекдот иллюстрирует несколько проблем. Прежде всего, как и физику, нам необходимо использовать априорные знания, чтобы иметь возможность делать прогнозы. Во-вторых, всегда есть несколько базовых моделей, которые могут объяснить данные. Отличие хорошей модели от плохой заключается не в способности объяснять наблюдения, а в способности предсказывать новые. В этой истории математик хочет придерживаться данных слишком формально, не полагаясь на свои априорные знания, чтобы иметь возможность обобщать. Велика вероятность, что новые коровы не удовлетворят его модель.
Бритва Оккама
Научное правило, называемое «бритвой Оккама», устанавливает принцип экономии при формулировке выводов: «Pluralitas non est ponenda sine necessitate», что переводится с латыни как «Не следует множить сущее без необходимости». Объяснение ряда наблюдений должно быть максимально простым, без введения лишних понятий. Данный принцип назван в честь францисканского монаха IX в. Уильяма Оккама. Физикам он давно и хорошо известен. Теория должна иметь как можно меньше уравнений, предположений и свободных параметров (таких, которые невозможно вычислить из других величин, например, скорость света или масса электрона). Альберт Эйнштейн сформулировал это иначе: «Все должно быть сделано как можно проще, но не упрощенно».
Физики любят простые теории. Преимущества простых теорий не ограничиваются простотой понимания. В сравнении с теорией, которая ради более полного соответствия экспериментальным данным загромождена понятиями, правилами, исключениями, параметрами, формулами и т. д., у простых теорий гораздо больше шансов давать проверяемые прогнозы. Англо-австрийский эпистемолог Карл Поппер определяет качество теории по ее способности предсказывать, а не по способности объяснять существующие наблюдения. Он определяет научный метод как процедуру, в которой теории должны быть «опровержимыми», чтобы заслужить категорию «научные». Подобно многочлену слишком высокой степени, который всегда можно настроить для прохождения через новую точку, слишком сложную теорию всегда можно откорректировать для объяснения новых наблюдений, иначе говоря, ее нельзя опровергнуть. Более экономную теорию адаптировать не так просто. Новые данные могут подтвердить или опровергнуть ее. Теория обучения – это тоже теория рационального мышления.
Теории заговора служат примером теорий, которые не поддаются опровержению. Все можно объяснить заговорами. Но они связывают множество невероятных фактов,
