Дмитрий Ушаков - Психология интеллекта и одаренности
Специально рассмотрим вид сетей, предложенный Дж. Хопфилдом, поскольку эти сети привлекли особое внимание в контексте проблемы творчества. В этих сетях каждый нейрон может принимать одно из двух состояний. В них нет входных, промежуточных и выходных слоев, однако, как показано на рисунке 2.14, есть обратные связи.
За счет обратных связей сети Хопфилда являются динамическими, т. е. выход, передаваясь по сети обратной связи, модифицирует вход. Затем новый вход модифицирует выход, и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока в конце концов выход не становится постоянным. Для некоторых сетей процесс никогда не заканчивается, такие сети называют неустойчивыми.
Рис. 2.14. Сеть Хопфилда
Во время работы сети Хопфилда признаком нахождения решения является момент, когда достигается аттрактор, статический (когда на каждом следующем шаге повторяется устойчивое состояние) или, возможно, динамический (когда до бесконечности чередуются два разных состояния). Это конечное состояние сети и является ее реакцией на данный образ.
На первом этапе сеть Хопфилда обучают. Это означает, что сеть запоминает определенное количество состояний.
Матрица весовых коэффициентов настраивается детерминированным алгоритмом раз и навсегда, и затем весовые коэффициенты больше не изменяются.
Как только веса заданы, сеть может быть использована для получения запомненного выходного вектора по данному входному вектору, который может быть частично неправильным или неполным.
Обычно ответом является такое устойчивое состояние, которое совпадает с одним из запомненных при обучении векторов, однако при некоторых условиях (в частности, при слишком большом количестве запомненных образов) результатом работы может стать так называемый ложный аттрактор («химера»), состоящий из нескольких частей разных запомненных образов, а также в синхронном режиме сеть может прийти к динамическому аттрактору.
Если во время обучения сформировать матрицу весовых коэффициентов (межнейронных связей) на основании эталонных образов, то нейронная сеть в процессе работы будет менять состояния нейронов до тех пор, пока не перейдет к одному из устойчивых состояний.
Внешнее воздействие на хопфилдовскую сеть заключается в том, что некоторые ее узлы приводятся в состояние активации. Затем сеть, предварительно обученная на распознавание определенных образов, начинает самопроизвольно эволюционировать, пока не доходит до устойчивого состояния, в котором и остается. Состояние, в которое она приходит, означает, что образ распознан. Сеть Хопфилда отличается способностью переходить от разных исходных состояний к одному и тому же конечному, т. е. несколько различные образы она может распознать как один и тот же объект. Эти конечные устойчивые состояния сети, или, пользуясь синергетической терминологией, аттракторы задаются предварительным обучением.
Представим сеть Хопфилда, распознающую зрительные образы, каждый элемент которой соответствует определенной точке сетчатки. Допустим, сеть обучена распознавать какой-то известный портрет Пиаже, т. е. возбуждение участков сетчатки при восприятии этого портрета является аттрактором системы. Если мы дадим теперь на вход сети несколько иное изображение ученого, то после большего или меньшего количества итераций система придет к состоянию, соответствующему тому портрету, на который было проведено научение, т. е. «узнает» Пиаже.
На рисунке 2.15 представлено распознавание зашумленного изображения сетью.
Рис. 2.15. Распознавание образа сетью Хопфилда
Однако распознавание образов – не самое интересное свойство сети Хопфилда в контексте проблематики творчества. Существеннее то, что за счет стремления к энергетическому минимуму сеть способна решать задачи на оптимизацию. Энергетическим минимумом для сети является аттрактор, т. е. такое состояние, придя в которое, она перестает эволюционировать.
Классическая задача оптимизации, для решения которой может использоваться сеть Хопфилда – это задачи коммивояжера: нужно обойти все n городов и вернуться в исходный так, чтобы длина пройденного маршрута была минимальной. Для этого можно наложить на сеть, например, такие требования:
1. Сеть должна состоять из N = n × n нейронов, которые мы будем рассматривать как квадрат из n строк и n столбцов.
2. Ответ сети должен содержать только один активный нейрон в каждой строке и каждом столбце.
3. Активный нейрон в первом столбце задает первый город маршрута, во втором столбце – второй город маршрута, и так далее.
Оказывается, что для решения этой задачи достаточно следующих простых соображений:
• для выполнения условия 2 веса сети должны быть построены таким образом, чтобы каждый нейрон препятствовал активации других нейронов в своей строке и в своем столбце;
• для минимизации длины пути необходимо, чтобы нейрон в i-м столбце тем активнее препятствовал активации нейронов в i + 1-м и i – 1-м столбцах, чем больше расстояние между ними;
• для того чтобы сеть Хопфилда вообще работала, необходимо, чтобы все веса сети не были отрицательными.
Можно показать, что существует несложная формула вычисления веса между нейроном, соответствующим городу x на позиции в маршруте i, и нейроном, соответствующим городу y на позиции j, которая удовлетворяет перечисленным условиям. Если установить веса нейронных связей по этой формуле и привести сеть в случайное начальное состояние, то результирующее стабильное состояние даст субоптимальный путь, длина которого не слишком превосходит оптимальную. Найденное сетью решение будет локальным минимумом, а не обязательно абсолютным минимумом. Локальные минимумы – состояния системы, которые обеспечивают некоторую, но не лучшую оптимизацию состояния, удерживающую систему от дальнейшего прогресса. Найденное решение будет зависеть от случайного начального состояния. Для практического применения сеть можно запустить несколько раз и выбрать наилучший путь. Однако в теоретическом плане интереснее аналогия, которую Хопфилд проводит между процессом работы сети и физическим понятием отжига[22]. Несколько огрубляя, можно сказать, что аналог отжига в нейронной сети происходит следующим образом. Сеть вначале «разогревают», дают ей «встряску», в результате которой она может выйти из состояния локального минимума. Далее «температура» постепенно понижается, позволяя активности стать более «рациональной» и менее случайной, пока не будет найден глобальный минимум.
Модель Мартиндейла
Модель творчества, основанная на сетевых представлениях и призванная синтезировать идеи Э. Крисса, Медника и Мендельсона, предложена Мартиндейлом. В этой концепции присутствует уже знакомая нам идея о существовании двух типов (процессов) творческого мышления – первичного и вторичного, а также предложенный механизм их реализации и взаимных переходов. Первичный процесс основан на аналогии, свободных ассоциациях, интуиции. Вторичный процесс мышления характеризуется абстрактностью, логичностью, контролем сознания. По преобладанию одного из процессов выделяются соответственно стадии творческого вдохновения и творческой разработки или верификации идеи. Очевидно, что первичный процесс по Мартиндейлу соответствует интуиции по Пономареву, а вторичный – логике.
Наибольший интерес, однако, представляет то, как Мартиндейл описывает сетевые процессы, соответствующие первичному и вторичному мышления. Он обращается к нейронной сетевой модели Хопфилда (Martindale, 1989; 1995).
Предполагается, что наши знания могут быть представлены в виде сети, состоящей из взаимосвязанных узлов (аналогов нейронов). Активированный в данный момент участок сети соответствует области кратковременной памяти (short-term memory), а несколько наиболее активированных узлов – области внимания. При высокой степени активации в области внимания от высокоактивированных узлов распространяется сильное латеральное торможение на другие элементы сети, за счет чего последние не могут активироваться. Таким образом, процессы фокусированного внимания тесно связаны с процессами торможения. Когда активация распространена по сети более равномерно, то одни узлы уже не так сильно подавляют другие, и те, в свою очередь, имея даже очень слабый собственный уровень активации, продолжают «работать».
В модели Мартиндейла каждый узел сети получает «информационный» вход от других узлов и неспецифический вход от системы активации. В этой сети активация узла рассчитывается как сумма возбуждающего входа за вычетом подавляющего входа, помноженная на вход от системы активации. Состояние более низкой активации большего количества узлов соответствует расфокусированному вниманию по Мендельсону, плоской ассоциативной иерархии по Меднику, а также первичными процессами по Криссу. Крутая ассоциативная иерархия, состояние фокусированного внимания и вторичные процессы связаны с высокой активацией небольшого количества элементов. Это проиллюстрировано на рисунке 2.16.
