Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун
75
S. Chopra, R. Hadsell, Y. LeCun, Learning a similarity metric discriminatively, with application to face verification, Conference on Computer Vision and Pattern Recognition (CVPR), 2005, 1, p. 539–546.
76
Y. Taigman, M. Yang, M. A. Ranzato, L. Wolf, DeepFace: Closing the gap to human-level performance in face verification. Conference on Computer Vision and Pattern Recognition (CVPR), 2014, 8.
77
https://www.wildbook.org/.
78
Tom Sercu, Christian Puhrsch, Brian Kingsbury, Yann LeCun, Very deep multilingual convolutional networks for LVCSR, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2016, p. 4955–4959.
79
Tom Sercu, Christian Puhrsch, Brian Kingsbury, Yann LeCun, Very deep multilingual convolutional networks for LVCSR, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2016, p. 4955–4959.
80
«Дельта» – жаргонное, но чрезвычайно широко употребляющееся в мире компьютерных специалистов слово, обозначающее небольшое изменение исходного показателя.
81
Точное описание того, как работает виртуальный помощник, см. в этой главе.
82
Y. Bengio, R. Ducharme, P. Vincent, C. Jauvin. A neural probabilistic language model, Journal of Machine Learning Research, 2003, 3 (6), p. 1137–1155.
83
Ronan Collobert, Jason Weston, A unified architecture for natural language processing: Deep neural networks with multitask learning, Proceedings of the 25th International Conference on Machine Learning (ICML'08), ACM, New York, 2008, p. 160–167.
84
T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, J. Dean, Distributed representations of words and phrases and their compositionality, Advances in Neural Information Processing Systems, 2013.
85
Word2vec – общее название для совокупности моделей на основе искусственных нейронных сетей, предназначенных для получения векторных представлений слов на естественном языке (цитата из Википедии). – Прим. ред.
86
См. https://fasttext.cc/.
87
Ilya Sutskever, Oriol Vinyals, Quoc V. Le, Sequence to sequence learning with neural networks, Advances in Neural Information Processing Systems, 2016, p. 3104–3112.
88
Sepp Hochreiter, Jürgen Schmidhuber. Long short-term memory, Neural Computation, 1997, 9 (8), p. 1735–1780.
89
D. Bahdanau, K. Cho, Y. Bengio, Neural machine translation by jointly learning to align and translate, ICLR2015, http://arXiv.org/abs/1409.0473.
90
Workshop on Machine Translation, крупнейшая международная конференция по машинному переводу, включающая в себя конкурс разработок. – Прим. ред.
91
Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, Sergey Edunov, Facebook FAIR'S WMT19 News Translation Task Submission, 2012, artXiv: 1907.06616.
92
Alexis Conneau, Guillaume Lample. Cross-lingual Language Model Pretraining, 2019, arXiv: 1901.07291.
93
J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, BERT: Pre-training of deep bidirectional transformers for language understanding, https://arxiv.org/abs/1810.04805.
94
https://gluebenchmark.com/leaderboard.
95
Названа в честь профессора Стэнфордского университета Терри Винограда и представляет собой ряд определенным образом сформулированных вопросов, на которые искусственный интеллект должен дать правильный ответ.
96
G. Lample, A. Conneau, Cross-lingual language model pretraining https://arxiv.org/abs/1901.07291 (code: https://github.com/facebookresearch/XLM).
97
См. Главу 8 «Новостная лента».
98
Alexander Rives, Siddarth Goyal, Joshua Meier, Demi Guo, Myle Ott, Clawrence Zitnick, Jerry Ma, Rob Fergus, Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences, bioRxiv, 2019, p. 622803.
99
R. Evans, J. Jumper, J. Kirkpatrick, L. Sifre, T. F. G. Green, C. Qin, A. Zidek, A. Nelson, A. Bridgland, H. Penedones, S. Petersen, K. Simonyan, S. Crossan, D. T. Jones, D. Silver, K. Kavukcuoglu, D. Hassabis, A. W. Senior, De novo structure prediction with deep-learning based scoring, 13th Critical Assessment of Techniques for Protein Structure Prediction 1–4 December 2018, https://deepmind.com/blog/article/alphafold.
100
AFP, 19 марта 2018 г.
101
См. в этой главе «Понимание языка и перевод».
102
Nan Wu, Jason Phang, Jungkyu Park, Yiqiu Shen, Zhe Huang, Masha Zorin, Stanisław Jastrzębski, Thibault F.vry, Joe Katsnelson, Eric Kim, Stacey Wolfson, Ujas Parikh, Sushma Gaddam, Leng Leng Young Lin, Joshua D. Weinstein, Krystal Airola, Eralda Mema, Stephanie Chung, Esther Hwang, Naziya Samreen, Kara Ho, Beatriu Reig, Yiming Gao, Hildegard Toth, Kristine Pysarenko, Alana Lewin, Jiyon Lee, Laura Heacock, S. Gene Kim, Linda Moy, Kyunghyun Cho, Krzysztof J. Geras, Deep neural networks improve radiologists' performance in breast cancer screening, Medical Imaging with Deep Learning Conference, 2019, arXiv:1903.08297.
103
Cem M. Deniz, Siyuan Xiang, R. Spencer Hallyburton, Arakua Welbeck, James S. Babb, Stephen Honig, Kyunghyun Cho, Gregory Chang. Segmentation of the proximal femur from MR images using deep convolutional neural networks, Nature Scientific Reports, 2018, 8, article 16485, arXiv:1704.06176.
104
Стажировка после получения докторской степени в США. – Прим. ред.
105
John Markoff, In a big network of computers, evidence of machine learning, The New York Times, 25 June 2012.
106
Одно из полуофициальных прозвищ Facebook. В IT-среде подобная «цветовая дифференциация штанов» вообще распространена довольно широко: так, конкурентов – производителей графических адаптеров называют «красными» (AMD) и «зелеными» (NVidia); производителей процессоров «красными» и «голубыми». В России есть «красная», «желтая» и «зеленая» мобильная связь (МТС, Билайн и Мегафон) и так далее. – Прим. ред.
107
Видеокурс по глубокому обучению в Коллеж де Франс: https://www.college-de-france.fr/site/yann-lecun/index.htm.
108
Facebook Live – это сервис, который позволяет любому вести прямые трансляции со своего смартфона.
109
Об эмбеддинге см. Главу 7.
110
Об обнаружении сходства в видеороликах см. Главу 7.
111
Mark Zuckerberg, Je souhaite clarifier la mani.re dont Facebook fonctionne., Le Monde, 25 janvier
