Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта - Леонид Черняк
Для общего знакомства с моделью Изинга и ее автором стоит прочесть статью Евгения Залмановича Мейлихова «Трагическая и счастливая жизнь Эрнста Изинга», опубликованную в журнале «Природа», он к тому же и автор весьма познавательной книги «А. С. Пушкин и физика. Кто, как и какой физике учил Пушкина». Есть интереснейшая статья группы авторов, один из которых сын Эрнста Изинга «Судьба Эрнста Изинга и судьба его модели» (The Fate of Ernst Ising and the Fate of his Model, 2017), где изложена чрезвычайно необычная биография ученого и содержится популярное введение. Тем, кого глубже заинтересует историческое значение модели Изинга, можно порекомендовать цикла статей Мартина Нисса «История модели Изинга» (History of the Lenz-Ising Model 1920–1950: From Ferromagnetic to Cooperative Phenomena и History of the Lenz—Ising Model 1950–1965).
Фундаментально роль модели Изинга в нейронауке была переосмыслена совсем недавно, в методологической статье австрийских философов Тарья Кнууттила и Андреа Лоттгерс, опубликованной в одном из старейших американских философских ежеквартальных изданий The Monist в 2015 году. Ее название «Магниты, спины и нейроны. О родственности шаблонов моделей в разных дисциплинах» (Magnets, Spins, and Neurons: The Dissemination of Model Templates Across Disciplines). Название отражает желание авторов показать логическую связь нейрофизиологии и физики. Кнууттила и Лоттгерс анализируют цепочку от Изинга к Литтлу и от Литтла к Хопфилду. Для нас статья представляет интерес в связи с тем, что ее авторы дают расширенную трактовку модели-шаблона Изинга, вышедшую из физики, но распространившую свое влияние на широкий круг дисциплин.
Кнууттила и Лоттгерс подчеркивают важность разделения двух понятий – собственно модели (физической или нейронной) и общего для них обеих математического шаблона. Они начинают статью со следующего наблюдения: «Одним из самых бросающихся в глаза фактов, обнаруживаемых при использовании современных средств моделирования, является известный феномен, суть которого в том, что одни и те же математические шаблоны соответствуют моделям, относящимся к совершенно разным областям».
У Джона Хопфилда, как и у многих исследователей AI, российские корни, его родители эмигрировали в конце XIX века из Российской Империи и получили в США физическое образование. Возможно, эта семейная близость психолога к физике позволила ему развить соображения, высказанные Литтлом. В статье «Нейронные сети и физические системы, обнаруживающие коллективные вычислительные способности» (Neural networks and physical systems with emergent collective computational abilities, 1982) он описал устройство полносвязной сети с симметричной матрицей связей более известий как сеть Хопфилда. Наравне с этим названием такие сети еще называют сетями, использующими модель Изинга (Ising model of a neural network).
Объединив нейронную и физическую модели, Хопфилд сумел перевести коннекционизм с уровня абстрактных рассуждений на прагматический уровень с возможными в будущем практическими приложениями. Таким образом он положил начало новой эре, той в которой мы живем сейчас, когда машинное обучение вытеснило с положения доминирующей парадигмы в науке об искусственном интеллекте символический подход.
По Хопфилду, нейронная сеть, которая изменяется во времени, подобна спиновому стеклу. Эта аналогия открыла возможность применить к машинному обучению математику, заимствованную из статистической физики! Сеть Хопфилда получила развитие в сети Хемминга предложенной Ричардом Липпманном в 1987 году. Сети Хопфилда и Хемминга остаются до нашего времени предметом изучения, наличие в них элементов ассоциативной памяти делает их полезными в задачах распознавания, но главное достижение Джона Хопфилда в том, что его работа стала первым камнем, вызвавшим лавину нынешнего массового распространения нейронных сетей и машинного обучения.
Машина Больцмана
Открытие Хопфилда прорвало плотину, с его работы начался активный поиск других шаблонов для моделей нейронных сетей. В 1985 году трое – математик Дэвид Окли, психолог Джеффри Хинтон и биолог Терри Сейновски опубликовали статью «Обучающий алгоритм для машины Больцмана» (A Learning Algorithm for Boltzmann Machines), они начали ее с замечания о том, что их работа служит развитием трудов Хопфилда. Статья начинается со слов: «Соответствие современных технологий сверхбольших интегральных схем VLSI архитектуре мозга стала источником возобновления интереса к коннекционизму. Такие схемы способны к долговременному хранению данных и обеспечению связей между элементами, подобными нейронам». В качестве средства для моделирования работы мозга, в идеале они видят некую многопроцессорную структуру, объединенную коммуникационной сетью, для нее они предложили название «Машина Больцмана», обратим внимание на слово машина. Оно было выбрано в честь австрийского физика Людвига Больцмана, одного из создателей статистической физики. Машина Больцмана может рассматриваться как стохастический генеративный вариант сети Хопфилда. Вероятность нахождения сети в конкретном состоянии соответствует известному в термодинамике распределению Больцмана.
Импульс, приданный Хопфилдом работам в области ANN, позволил последующим событиям развиваться с калейдоскопической быстротой. Многие из них были непосредственно связаны с Джеффри Хинтоном, что сделало его признанным лидером новой волны коннекционизма, которую можно назвать мэйнстримом. Старт состоялся в 1986 году, вместе с выходом в журнале Nature ставшей широко известной статьи «Представление обучения посредством метода обратного распространения ошибок» (Learning representations by backpropagating errors). Ее первым и основным автором был психолог-математик и видный представитель коннекционистского подхода Дэвид Румельхарт, а соавторами Джеффри Хинтон и Рональд Уилсон. В ней изложен алгоритм обратного распространения ошибки в приложении к многослойному персептрону Румельхарта, являющемуся частным случаем персептрона Розенблатта. Публикация статьи во всемирно известном журнале без упоминания предыстории backpropagating была неодобрительно встречена многим специалистами. Поскольку Румельхарт вскоре ушел из жизни, за это невольное упущение пришлось оправдываться Хинтону, это было впервые, другой случай описан выше. Но, если по существу, оппонентам не стоило поднимать волну, им следовало бы смириться с тем, что в истории науки и техники подобные прецеденты повторных открытий и изобретений далеко не редкость. Хорошо известны так называемые затяжные «патентные войны» между индивидуальными изобретателями или корпорациями.
В том же 1986 году Полом Смоленским (нельзя не обратить внимание на сходство фамилий с Минским, и у него тоже российские корни) была разработана собственная версия машины Больцмана, названная ограниченной (Restricted Boltzmann machine, RBM). RBM отличается способностью проходить обучение как без учителя, так и с учителем. В 2000-х годах RBM приобрела большую популярность и стала рассматриваться не как вариации машины Больцмана, а как особые компоненты в архитектуре сетей глубинного обучения. Дальнейшее развитие машина Больцмана получила в 2006 году в совместной работе Хинтона с его аспирантом Русланом Салахутдиновым, новую версию она назвали глубокой (Deep Boltzmann machine) в связи с тем, что она содержит множество уровней со скрытыми переменными. В 1989–90 годы отмечены активным вхождением Яна Лекуна в область ANN и глубокого обучения, он стал вторым после Хинтона лидером этого мэйнстрима.
