Е. Миркес - Учебное пособие по курсу «Нейроинформатика»
Все программы, кроме программыHopfield.
В меню «Параметры» Вы можете задать следующие параметры:
Параметры сети
Число нейронов в сети
Число срабатываний сети
Характеристика нейронов
Параметры метода обучения
Использовать MParTan
Организация обучения
Вычисление направления
Способ оценивания
Уровень УДАРА
Параметры контрастирования
Норма для исключения
Норма для включения
Количество контрастируемых связей
Количество замораживаемых связей
Количество размораживаемых связей
Число циклов накопления критерия
Набор выделенных значений (1/2^n)
Методы предобработки
Чистый образ
Сдвиговый автокоррелятор
Автокоррелятор сдвиг+отражение
Автокоррелятор сдвиг+вращение
Автокоррелятор сдвиг+вращение+отражение
Параметры метода обученияПрограмма Hopfield
Этот пункт позволяет Вам выбрать один из двух заложенных в программу алгоритмов построения синаптической карты по обучающему множеству. Если Вы выбрали "Классический Хопфилд", то формирование происходит так, как описано в разделе обучение. Если Вы предпочли "Проекционный Хопфилд", то производится предварительная обработка обучающего множества. Входные данные, задаваемые каждым примером, можно рассматривать как стомерный вектор. Процедура предварительной обработки состоит в ортонормировании системы векторов, задаваемых всеми примерами обучающего множества. Отметим, что при тестировании предобработка отсуствует.
Все программы, кроме программыHopfield.
В этом меню Вы можете задать следующие параметры метода обучения:
Использовать MParTan
Организация обучения
Вычисление направления
Способ оценивания
Уровень УДАРА
Использовать MParTanВсе программы, кроме программы Hopfield.
При построении метода обучения Вы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
Входными параметрами процедуры MParTan являются:
1. Начальная карта.
2. Процедура вычисления Направления спуска.
3. Локальное обучающее множество.
4. Процедура вычисления оценки.
Процедура ParTan работает по следующему алгоритму:
1. Запоминаем текущую карту и оценку текущего Обучающего множества, определяемую в соответствии с тремя более низкими уровнями схемы.
2. Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении. Этот шаг алгоритма выполняется дважды.
3. Запоминаем текущую карту и оценку текущего Обучающего множества,
4. Делаем спуск в направлении, ведущем из первой запомненной карты во вторую.
5. Если оценка не равна 0, то повторяем всю процедуру сначала.
Процедура MParTan несколько отличается от предыдущей, но ее описание слишком сложно. Однако в ее основе лежит та же идея. Если Вы не используете MParTan, то используется следующая процедура
1. Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении.
2. Если оценка не равна 0, то повторяем всю процедуру сначала.
Организация обученияВсе программы, кроме программы Hopfield.
При построении метода обучения Вы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
Под организацией обучения будем понимать способ порождения обучающего множества для одного шага обучения. Исторически самым первым был способ позадачного обучения. Если быть более точным — то попримерного. Процедура попримерного обучения состоит из следующих шагов:
1. Подаем на вход сети задачу.
2. Получаем ответ.
3. Вычисляем оценку.
Производим корректировку сети. (Процедура спуска)
Таким образом, локальное обучающее множество для процедур MParTan, Процедура спуска и Вычисление направления состоит только из одного примера.
Алгоритмы получения локального обучающего множества для различных способов организации обучения:
Попримерный Для каждого шага обучения новый пример. Позадачный Для первого шага обучения — все примеры первой задачи, для второго второй и т. д. Задаче номер N На всех шагах обучения локальное обучающее множество состоит из всех примеров N-ой задачи. Усредненный Локальное обучающее множество совпадает с полным, то есть включает в себя все примеры всех пяти задач обучающего множества. Вычисление направленияВсе программы, кроме программы Hopfield.
При построении метода обучения Вы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
Данная программа предусматривает два способа вычисления направления спуска. Первый способ известен как Случайный поиск, а второй как метод наискорейшего спуска. В первом случае в качестве направления спуска используется случайный вектор, а во втором — вектор антиградиента функции оценки.
Уровень УДАРАЭтот пункт позволяет задать параметр Случайного изменения карты. Уровень УДАРА должен лежать в пределах от 0.001 до 1.
Процедура спускаВсе программы, кроме программы Hopfield.
При построении метода обучения Вы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
Входными параметрами процедуры спуска являются
1. Начальная карта.
2. Направление спуска.
3. Локальное обучающее множество.
4. Процедура вычисления оценки.
Алгоритм процедуры спуска:
1. Вычисляем оценку по локальному обучающему множеству (Е1).
2. Делаем пробный шаг, добавляя к начальной карте вектор направления спуска умноженный на шаг S.
3. Вычисляем оценку по локальному обучающему множеству (Е2).
4. Если Е2<E1, то увеличиваем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–4 до тех пор, пока не станет E2>E1. Карта, которой соответствует оценка E1,и является результатом работы процедуры.
5. Если после первого выполнения шага 3 оказалось, что E2>E1, то уменьшаем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–3 и 5 до тех пор, пока не станет E2<E1. Карта, которой соответствует оценка E1, и является результатом работы процедуры.
Метод оцениванияВсе программы, кроме программыHopfield.
При построении метода обучения Вы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
В данной программе принят способ кодирования ответа номером канала: номер того из пяти ответных нейронов, который выдал на последнем такте функционирования наибольший сигнал, задает номер класса, к которому сеть отнесла предъявленный образ. Оценка, таким образом, может быть вычислена только для задачи, ответ которой известен.
