Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

В случае n=10, k=1 (см. табл. 3 и 4, строка 1) при валентностях 3 и 5 тензорная сеть работала как единичный оператор — все входные вектора передавались на выход сети без изменений. Однако уже при валентности 7 число химер резко сократилось и сеть правильно декодировала более 60% сигналов. При этом были правильно декодированы все векторы, удаленные от ближайшего эталона на расстояние 2, а часть векторов, удаленных от ближайшего эталона на расстояние 1, остались химерами. В случае n=10, k=2 (см. табл. 3 и 4, строки 3, 4, 5) наблюдалось уменьшение числа химер с ростом валентности, однако часть химер, удаленных от ближайшего эталона на расстояние 2 сохранялась. Сеть правильно декодировала более 50% сигналов. Таким образом при малых размерностях и кодах, далеких от совершенных, тензорная сеть работает довольно плохо. Однако, уже при n=15, k=3 и валентности, большей 3 (см. табл. 3 и 4, строки 6, 7), сеть правильно декодировала все сигналы с тремя ошибками. В большинстве экспериментов число эталонов было больше числа нейронов.

Таблица 4. Результаты численного эксперимента

№ Число химер, удаленных от ближайшего эталона на: Число неверно распознанных векторов, удаленных от ближайшего эталона на: 1 2 3 4 5 1 2 3 4 5 1 640 256 0 0 0 896 0 0 0 0 2 384 0 0 0 0 384 0 0 0 0 3 0 210 50 0 0 0 210 290 60 0 4 0 180 50 0 0 0 180 290 60 0 5 0 88 50 2 0 0 156 290 60 0 6 0 0 1120 13440 896 0 0 1120 13440 896 7 0 0 0 13440 896 0 0 0 13440 896

Подводя итог можно сказать, что качество работы сети возрастает с ростом размерности пространства и валентности и по эффективности устранения ошибок сеть приближается к коду, гарантированно исправляющему ошибки.

Доказательство теоремы

В данном разделе приведено доказательство теоремы о числе линейно независимых образов в пространстве k-х тензорных степеней эталонов.

При построении тензорных сетей используются тензоры валентности k следующего вида:

(13)

где aj — n-мерные вектора над полем действительных чисел.

Если все вектора ai=a, то будем говорить о k-й тензорной степени вектора a, и использовать обозначение a⊗k. Для дальнейшего важны следующие элементарные свойства тензоров вида (13).

1. Пусть и , тогда скалярное произведение этих векторов может быть вычислено по формуле

(14)

Доказательство этого свойства следует непосредственно из свойств тензоров общего вида.

2. Если в условиях свойства 1 вектора являются тензорными степенями, то скалярное произведение имеет вид:

(15)

Доказательство непосредственно вытекает из свойства 1.

3. Если вектора a и b ортогональны, то есть (a,b) = 0, то и их тензорные степени любой положительной валентности ортогональны.

Доказательство вытекает из свойства 2.

4. Если вектора a и b коллинеарны, то есть b = λa, то a⊗k=λka⊗k.

Следствие. Если множество векторов содержит хотя бы одну пару противоположно направленных векторов, то система векторов будет линейно зависимой при любой валентности k.

5. Применение к множеству векторов невырожденного линейного преобразования B в пространстве Rn эквивалентно применению к множеству векторов линейного невырожденного преобразования, индуцированного преобразованием B, в пространстве .

Сюръективным мультииндексом α(L) над конечным множеством L назовем k-мерный вектор, обладающий следующими свойствами:

1. для любого iL существует j∈{1, …, k} такое, что αj=i;

2. для любого j∈{1, …, k} существует i∈L такое, что αj=i.

Обозначим через d(α(L),i) число компонент сюръективного мультииндекса α(L) равных i, через |L| — число элементов множества L, а через Α(L) — множество всех сюръективных мультииндексов над множеством L.

Предложение 1. Если вектор a представлен в виде , где βi — произвольные действительные коэффициенты, то верно следующее равенство

(16)

Доказательство предложения получается возведением в тензорную степень k и раскрытием скобок с учетом линейности операции тензорного умножения.

В множестве , выберем множество X следующим образом: возьмем все (n-1)-мерные вектора с координатами ±1, а в качестве n-й координаты во всех векторах возьмем единицу.

Предложение 2. Множество x является максимальным множеством n-мерных векторов с координатами равными ±1 и не содержит пар противоположно направленных векторов.

Доказательство. Из равенства единице последней координаты всех векторов множества X следует отсутствие пар противоположно направленных векторов. Пусть x — вектор с координатами ±1, не входящий в множество X, следовательно последняя координата вектора x равна минус единице. Так как в множество X включались все (n-1) — мерные вектора с координатами ±1, то среди них найдется вектор, первые n-1 координата которого равны соответствующим координатам вектора x со знаком минус. Поскольку последние координаты также имеют противоположные знаки, то в множестве X нашелся вектор противоположно направленный по отношению к вектору x. Таким образом множество X максимально.

Таким образом в множестве X содержится ровно 2n-1 вектор. Каждый вектор x∈X можно представить в виде , где I⊂{1, …, n-1}. Для нумерации векторов множества X будем использовать мультииндекс I. Обозначим через |I| число элементов в мультииндексе I. Используя введенные обозначения можно разбить множество X на n непересекающихся подмножеств: Pi = {xI, |I|=i}, .