Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун
И, разумеется, я говорю огромное спасибо своей жене Изабель за ее постоянную поддержку и за то, что во время написания этой книги мне удалось избежать семейных дел по выходным и праздникам. Иногда я отвлекаюсь и теряюсь в своих мыслях, но я всегда могу рассчитывать на Изабель и на наших сыновей и невесток Кевина и Симону, Ронана, Эрвана и Марго, которые никогда не дают мне забывать о самых важных вещах в нашей жизни.
Сноски
1
FLOPS (обозначается также как flops, flop/s, произносится по-русски как «флопс») – акроним от англ. Floating-point Operations Per Second (число операций с плавающей точкой в секунду). Представляет собой внесистемную единицу измерения производительности компьютеров. Правописание и склонение термин в русском языке еще не устоялось: иногда пишут «флоп», иногда «флопс». – Прим. ред.
2
https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix.
3
https://arxiv.org/abs/1706.07068.
4
https://ai.google/research/teams/brain/magenta/.
5
https://www.google.com/doodles/celebrating-johann-sebastian-bach.
6
https://fr.wikipedia.org/wiki/Algorithme_de_Dijkstra.
7
https://fr.wikipedia.org/wiki/Algorithme_A*.
8
Alan Turing, Computing machinery and intelligence, Mind, october 1950, vol. 59, n236.
9
То же.
10
https://fr.wikipedia.org/wiki/Tri_a_bulles.
11
Агентство перспективных исследовательских проектов, которое в 1972 г. переименовали в DARPA (Агентство перспективных оборонных исследовательских проектов), является агентством Министерства обороны по финансированию проектов исследований и разработок (НИОКР).
12
Терабайт – это единица измерения количества цифровой информации, здесь используется в качестве единицы измерения объема памяти. Он составляет 240 байт. Один байт может иметь 256 различных значений.
13
Richard O. Duda, Peter E. Hart, Pattern Classification and Scene Analysis, Wiley, 1973.
14
Marvin L. Minsky, Seymour A. Papert, Perceptrons: An Introduction to Computional Geometry, The MIT Press, 1969.
15
Устройство, состоящее из модулятора и демодулятора, предназначенное для передачи цифровых данных по телефону или по коаксиальному кабелю.
16
Théories du langage, théories de l'apprentissage: le débat entre Jean Piaget et Noam Chomsky, d.bat recueilli par Maximo Piatelli-Palmarini, Centre Royaumont pour une science de l'homme, Seuil, Points, 1979.
17
Richard O. Duda, Peter E. Hart, Pattern Classification and Scene Analysis, p. 6.
18
См. главу 5 «Мой HLM!».
19
Машиной Больцмана называется один из видов нейронных сетей. – Прим. ред.
20
John J. Hopfield, Neural networks and physical systems with emergent collective computational abilities, Proceedings of the National Academy of Sciences, 1982, 79 (8), p. 2554–2558, DOI:10.1073/pnas.79.8.2554.
21
См. Главу 4, «Висячие долины».
22
По-русски этот метод сейчас называться обычно «методом обратного распространения ошибки». – Прим. ред.
23
Пропускная способность нейронной сети – это среднее арифметическое между объемами обрабатываемой и создаваемой информации нейронной сетью за единицу времени. – Прим. ред.
24
«Мадлен» – французское бисквитное печенье небольшого размера. Во французском языке выражение «мадленка Пруста» превратилось в метафору, обозначающую предмет, вкус или запах, вызывающие наплыв воспоминаний. – Прим. ред.
25
Хинтон преподавал там в должности профессора с 1982 г. – Прим. ред.
26
D. E. Rumelhart, G. E. Hinton, R. J. Williams, Learning internal representations by error propagation, in D. E. Rumelhart, J. L. McClelland, PDP Researche Grou Parallel Distributed Processing: Explorations in the Microstructure of Cognition, MIT Press, 1986, vol. 1, p. 318–362.
27
Язык Lisp был создан в конце 50-х годов автором термина «искусственный интеллект» специально для работы с ИИ. Долгое время он, в различных вариантах, которых было очень много, занимал в разработке ИИ то место, которое теперь занимает Python. Как и Python, Lisp является интерпретируемым языком, он нуждается в запущенной программе – интерпретаторе, которая построчно исполняет (интерпретирует) написанный на языке Lisp программный код. Интерпретатор, в свою очередь, может быть написан для разных целей и с разными особенностями. Леон Ботта, очевидно, написал интерпретатор Lisp, специализированный именно для управления симулятором Лекуна. – Прим. ред.
28
Исследование искусственного интеллекта компании Facebook.
29
«The Machine Learning Summer School»; в настоящее время она ежегодно проводится на базе института Макса Планка, Тюбинген, Германия. – Прим. ред.
30
Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner, «Gradientbased learning applied to document recognition», Proceedings of the IEEE, 1998, 86 (11), p. 2278–2324.
31
Мем – это идея, которая воспроизводится, потому что ее распространяют люди. Выражение, придуманное биологом-эволюционистом Ричардом Докинсом, основано на слове «ген» по аналогии с его способом передачи от человека к человеку.
32
На доске написано «All your bayes are belong to us». В игре фраза звучит как «All your base are belong to us», в ней сразу две ошибки: должно было быть «All your bases belong to us». В каламбуре Лекуна обе ошибки тщательно сохранены: хотя «bayes» выглядит как множественное число, такого слова в английском нет, а фамилия «Bayes», естественно, воспринимается как единственное число. – Прим. ред.
33
Для справки, в 2018 г. NIPS поменяло свое название. Теперь она называется NeurIPS под тем предлогом, что NIPS имеет сексистский оттенок (nips на английском языке – уменьшительное от nipples, которое переводится с французского как «соски»). Раньше об этом никто не думал! Теперь же внимание научного сообщества обратило на это одно из ответвлений #MeeToo – глобального движения, зародившегося в октябре 2017 г. в Соединенных Штатах, которое осуждает сексуальное и гендерное насилие, чьими жертвами становятся женщины.
34
См. подробное объяснение в главе 6 (фото свадьбы бабушки и дедушки Яна ЛеКуна).
35
См. главу 7 «Встраивание контента и измерение сходства».
36
На итальянском языке: Istituto Dalle Molle di Studi sull'Intelligenza Artificiale, IDSIA (Институт исследований в области
