Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун
37
Yann LeCun, Yoshua Bengio, Geoffrey Hinton, «Deep learning», Nature, 2015, 521, p. 436–444.
38
Python – очень гибкий и простой в использовании язык программирования, наиболее часто используемый практиками машинного обучения (www.python.org).
39
Мы пишем в этой книге числа в английском формате, с десятичной точкой вместо запятой, как это принято в языках программирования.
40
В языке Python оператор возведения в степень пишется как **. Например, «x в квадрате» записывается «x**2».
41
Warren S. McCulloch, Walter Pitts. A logical calculus of the ideas immanent in nervous activity, The Bulletin of Mathematical Biophysics, 1943, 5 (4), p. 115–133.
42
Donald Olding Hebb, The Organization of Behavior: A Neuropsychological Theory, Wiley, 1949.
43
Marvin L. Minsky, Seymour A. Papert, Perceptrons: An Introduction to Computational Geometry, op. cit.
44
Его обучение происходит без учителя, поскольку не используются желаемые выходы (y).
45
Першерон – французская порода лошадей-тяжеловозов, в этом случае название породы использовано как аналог русского выражения «рабочая лошадка». – Прим. ред.
46
Здесь и далее, где используется код Python, не забывайте следить за отступами. – Прим. ред.
47
Напомним, что переменная в компьютерной программе – это название области памяти для записи данных.
48
Иначе говоря, функции, график которых имеет точки излома. – Прим. ред.
49
Джордж Буль, о котором идет речь, был предком Джеффри Хинтона. Это не помешало Хинтону стать одним из противников преобладания логики в ИИ!
50
T. M. Cover, Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition, IEEE Transactions on Electronic Computers, 1965, EC-14 (3), p. 326–334.
51
«Передача ответственности (англ. credit assignment path, CAP) – это цепочка преобразований внутри нейронной сети от входа к выходу. – Прим. ред.
52
См. главу 2.
53
Аббревиатура DEA расшифровывается как Diplome d'Etudes Appronfondies. Так называется выходная степень докторантуры французских университетов, приблизительно соответствует кандидатской степени в России. – Прим. ред.
54
D. E. Rumelhart, G. E. Hinton, R. J. Williams, Learning internal representation by error propagation, in D. E. Rumelhart, J. McClelland (dir.), Parallel Distributed Processing, The MIT Press, 1986.
55
Чтобы иметь возможность обрабатывать многомерные массивы чисел в Python, как мы это делаем здесь, желательно использовать одну из программных библиотек, созданных для этой цели, например, Numpy или PyTorch. В частности, PyTorch содержит множество функций, которые эффективны при выполнении операций, описанных в этой книге, с использованием графических процессоров там, где это необходимо (см. http://PyTorch.org).
56
При сохранении постоянных значений остальных переменных. – Прим. ред.
57
Для специалистов: по соглашению, вектор градиента, такой как dC/dz, рассматривается как линейный вектор, то есть вектор, транспонированный относительно обычного вектора. Это позволяет нам умножить его на матрицу Якоби.
58
См. Главу 4 рис. 4.5.
59
На родном языке моя фамилия пишется «Le Cun», но в Соединенных Штатах «Ле» в фамилии «Ле Кун» обычно интерпретировалось как инициалы второго имени, так что в цитатах научных статей стали писать «Cun Y. L.». Поэтому вне Франции я пишу свою фамилию «LeCun», то есть в одно слово.
60
См. Главу 2 «Преданные последователи».
61
Свертка – это матрица из некоторого количества входов нейронов, натренированных на опознание конкретного признака (вертикальной линии, окружности и др.). Свертка последовательно проходит по всему изображению, смещаясь попиксельно, и фиксирует наличие или отсутствие признака в каждой своей позиции. Существует множество сверток, каждая из которых обучена опознавать свой признак; они последовательно применяются к изображению, и координаты найденных признаков запоминаются. Карты наличия обнаруженных признаков на изображении (например, «прямых углов найдено 100500») с таблицей соответствующих координат пикселей называются картами признака (англ. feature map). – Прим. ред.
62
PyTorch.org и TensorFlow.org
63
Относительно ReLU см. рис. 5.2.
64
Raia Hadsell, Pierre Sermanet, Jan Ben, Ayse Erkan, Marco Scoffier, Koray Kavukcuoglu, Urs Muller, Yann LeCun, Learning long-range vision for autonomous off-road driving, Journal of Field Robotics, 2009, 26 (2), p. 120–144. Pierre Sermanet, Raia Hadsell, Marco Scoffier, Matt Grimes, Jan Ben, Ayse Erkan, Chris Crudele, Urs Miller, Yann LeCun, A multirange architecture for collision-free off-road robot navigation, Journal of Field Robotics, 2009, 26 (1), p. 52–87.
65
T.-Y. Lin et al., The focal loss for dense object detection, https://arxiv.org/abs/1708.02002.
66
T.-Y. Lin et al., «The focal loss for dense object detection», https://arxiv.org/abs/1708.02002.
67
Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick. The IEEE International Conference on Computer Vision (ICCV), 2017, p. 2961–2969.
68
C. Farabet, C. Couprie, L. Najman, Y. LeCun, Learning hierarchical features for scene labeling, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 8 (35), p. 1915–1929.
69
См. главу 7.
70
V. Jain, H. S. Seung, S. C. Turaga, Machines that learn to segment images: A crucial technology for connectomics, Current Opinion in Neurobiology, 2010, 20 (5), p. 653–666.
71
https://github.com/facebookresearch/maskrcnn-benchmark.
72
См. Главу 8 «Фильтрация контента».
73
См. главу 8.
74
J. Bromley, I. Guyon, Y. LeCun, E. Sckinger, R. Shah, Signature verification using a «siamese» time delay neural network, NIPS'93 Proceedings of the 6th International Conference on Neural Information Processing Systems, Morgan Kaufmann Publishers, 1993, p. 737–744.
