Алексей Турчин - Война и еще 25 сценариев конца света

Можно также сравнивать ожидания наступления сингулярности с идеями о коммунизме. После сингулярности, говорят ее сторонники, молекулярное производство позволит производить любые товары практически бесплатно, создав то самое изобилие, которое делает коммунизм возможным; кроме того, в управляемом ИИ обществе отпадет необходимость в рынке, так как управление сверху окажется, наконец, более эффективным. Когнитивные технологии, наконец, смогут создать нового человека или подправить старого. Однако подобные ожидания, вероятно, больше говорят о нас самих, чем о том, что будет на самом деле.

Кроме того, идеи сингулярности подвергались критике с тех позиций, что закон Мура является экспоненциальным, а выделенная точка возможна только при гиперболическом законе; что, возможно, человек не может создать сверхчеловеческий разум, поскольку это слишком сложная задача, и чтобы создать сверхразум, нужно его уже иметь. Например, в критической статье «Сингулярность всегда рядом» (пародирующей название работы Р. Курцвейла «Сингулярность рядом») говорится о том, что мы никогда не сможем обнаружить себя «после сингулярности», поскольку в этом состоянии мы должны были бы признать, что весь бесконечный рост находится позади нас, а впереди подобного роста не будет.

Вместо того чтобы разбирать всю эту критику, отметим, что она не влияет на основной факт – на реально надвигающуюся на нас перемену неизвестной природы.

Есть также представления, что может быть «позитивная сингулярность» и «негативная», и это звучит так, как будто это как бы две стороны одной медали. И шансы их равны, как шансы выпадения одной из сторон монеты. Но это не так. Для реализации позитивной сингулярности вместе должны сложиться успехи всех технологий, все задуманное должно получиться, причем в правильной последовательности, и т. д. А чтобы произошла негативная сингулярность, достаточно, чтобы все пошло наперекосяк один раз. Гораздо проще сделать смертельно опасный вирус, чем лекарство от старости.

Однако вернемся к историческому аспекту вопроса. Идея о том, что человечество включено в некий развивающийся процесс (то есть имеет место прогресс), получила признание далеко не сразу. В Античности прогресс не осознавался и история казалась ходящей по кругу. Это представление поддерживалось тем, что скорость технологических инноваций в то время была столь медленной, что мир почти не менялся на протяжении поколения и обнаружить разницу было трудно. И наоборот, отсутствие идеи прогресса мешало технологическим инновациям. (Например, разные технологические хитрости считались уделом рабов и были недостойными свободного человека.)

С появлением христианства возникла идея линейного времени – от грехопадения до Страшного суда, но она не относилась к человеческим достижениям.

В Средние века, несмотря на крах Римской империи, продолжалось постепенное накопление разных изобретений и новшеств.

В эпоху Возрождения, как можно понять по самому ее названию, идеи прогресса еще не существовало, так как в качестве источника рассматривалось своеобразное возвращение к прошлому.

Только в середине XVII века идея о неостановимой силе прогресса стала проникать в умы, во многом благодаря работам Фрэнсиса Бэкона (Novum Organum, 1620), а в эпоху Просвещения в XVIII веке она стала всеобщим достоянием. Таким образом, идея прогресса значительно отстала от самого прогресса.

В XIX веке знамя прогресса поднимали Карл Маркс, Огюст Конт и другие.

Нас при этом в большей мере интересует то, какова была ожидаемая скорость прогресса.

Здесь возможны следующие идеи:

1) линейный прогресс до какого-то уровня, после чего наступает равновесие;

2) бесконечный линейный прогресс;

3) экспоненциально растущий прогресс – идея о том, что прогресс не просто происходит, но что темпы его ускоряются (закон Мура);

4) гиперболический прогресс – идея о том, что прогресс не просто ускоряется, но достигнет бесконечности за конечное время в ближайшем будущем.

Как отмечает исследователь процессов ускорения прогресса Джон Смарт, по-видимому, первым, кто обратил внимание на постоянное ускорение прогресса и осознал, что оно ведет к некому фазовому переходу, был американский историк Генри Адамс (1838–1918) в 1890-х годах. В 1904 году он написал эссе «Закон ускорения» (http://www.bartleby.com/159/34.html), а в 1909-м – «Закон фазового перехода применительно к истории», в котором утверждал, что в период между 1921 и 2025 годами произойдет фазовый переход в отношениях между человечеством и технологиями.

В этой статье он предполагает, что история подчиняется закону квадратов, то есть каждый следующий период истории по своей длине равен квадратному корню из длины предыдущего периода. Согласно Адамсу, за «Религиозным периодом» в 90 000 лет следует «Механический период» в 300 лет, затем «Электрический период» в 17 лет и затем должен быть «Эфирный период» в 4 года, а затем последует фазовый переход, в ходе которого человечество достигнет границ возможного. С учетом неопределенности в длинах периодов он и получил разброс между 1921 и 2025 годами; нетрудно отметить, что верхняя граница совпадает с оценками Винджа о времени наступления сингулярности.

Теорию Адамса можно рассматривать и как подтверждение, и как опровержение идей сингулярности. Опровержение состоит в том, что людям свойственно специфическое когнитивное искажение, которое можно назвать «эффектом перспективы» и которое заставляет людей выделять в более близких по времени периодах более короткие значимые отрезки, в результате чего и возникает ощущение ускорения. Однако последующие исследования ускоряющихся перемен старались избежать этой произвольности в выборе значимых отрезков времени, измеряя некие объективные параметры, например информационную емкость систем.

Эпоха сингулярности начнется внезапно. То есть некоторое время – десять, двадцать, тридцать лет – все будет примерно как сейчас, а потом начнет очень быстро меняться. Если бы у природы была точка зрения и она наблюдала земную историю со скоростью один год за секунду, то для нее эпоха сингулярности уже началась бы: мир, населенный обезьянами, внезапно и резко трансформировался в мир людей, изменяющих Землю совершенно непонятным до того способом.

Вернор Виндж. Технологическая сингулярность // Компьютера, 2004.

Панов АД. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии // Вселенная, пространство, время. – № 2, 2004.

Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. – М., 2001.

Елиезер Юдковски. Вглядываясь в Сингулярность.

Глава 4

Искусственный интеллект, его риски и непредсказуемость

Вместо того чтобы сразу приступить к дискуссии, возможен ли искусственный интеллект, я хочу выдвинуть крайнюю точку зрения, состоящую в том, что в определенном смысле ИИ уже существует.

Дело в том, что никакого естественного человеческого интеллекта не существует. Человеческий интеллект слагается из языка, понятий и приемов мышления, которые были придуманы людьми. Точка. Мы живем уже внутри искусственного интеллекта. Навыки человеческого мышления непрерывно и ускоренно развивались от появления зачатков речи через возникновение абстрактных понятий, математики, научного метода, а затем различных приемов обработки информации. Развитие это вначале происходило бессознательно и стихийно, а затем все более целенаправленно. Как заметил в свое время Г.В.Ф. Гегель: «Людям трудно поверить, что разум действителен; но на самом деле ничто не действительно, кроме разума; он есть абсолютная мощь».

Важно также избежать дискуссий о том, чем именно является ИИ, может ли машина обладать сознанием и так далее.

С точки зрения предмета нашего исследования важно только то, как искусственный интеллект может привести к глобальной катастрофе. И с этой точки зрения для нас важна только его способность решать задачи в реальном мире.

Далее надо отметить, что человеческий интеллект является свойством общества, а не отдельного человека.

Свойством отдельного человека является универсальная способность обучаться и решать новые задачи в незнакомой обстановке. Именно это свойство является базовым для любых форм коллективного интеллекта. Исследователи ИИ мечтают смоделировать именно эту универсальную способность решать любые задачи. Но сама по себе она не есть настоящий интеллект – а только его зачаток.

Большинство людей за свою жизнь не открывают ничего принципиально нового для науки, а каждый отдельный ученый делает только небольшой шаг, опирающийся на достижения предшественников и служащий опорой для следующего шага. Поэтому мы должны говорить не о развитии естественного интеллекта и создании искусственного, а о едином процессе создания интеллекта.