Алексей Турчин - Война и еще 25 сценариев конца света

Как же быть? Ведь очевидно, что способности одного человека определять сценарии возможных глобальных катастроф принципиально ограничены привычными индивидууму сюжетными конструкциями. И ответ тут тоже кажется очевидным: эффективным способом моделирования сценариев являются штабные или ролевые игры. Например, несколько лет назад ряд ведущих фантастов (Переслегин, Латынина, Лукьяненко и др.) играли в штабную игру в МЧС на тему возможности аварии в электрических сетях Москвы – по мотивам аварии в Нью-Йорке. И получили результат, похожий на тот, который затем имел место в Москве в 2005 году.

Кстати, различные модели поведения недружественного ИИ Юдковски в США также отыгрывал на модели ролевых игр GURPS. Но не исключено, что в будущем как раз системы ИИ смогут оказать решающую помощь в моделировании сценариев катастроф и прогнозировании.

Вместо заключения

Конец света и человеческая природа

Человек стал человеком, когда впервые взял в руку палку. Сущность человека – это отделение от тела; естество человека – это отделение от естества. Именно поэтому человеку легко слиться, например, с автомобилем или представить себя бесплотным духом. Быть трансгуманистом – значит максимальным образом выражать свое человеческое естество, состоящее в преодолении телесности.

Бесконечно преодолевая себя, человек не может не достичь момента саморазрушения. Совершенствующийся в мастерстве йог в конечном счете должен разрушить себя как личность, слившись с бесконечностью. Автогонщик должен повысить норму риска, чтобы достичь победы. Влюбленный должен пожертвовать жизнью ради любимой.

Силой, заставляющей нас преодолевать пределы возможного, является мечта. Чем невероятнее мечта, тем сильнее мы готовы ради нее рискнуть всем, что имеем. Человек способен представлять себе настолько притягательные образы, что они затмевают и страх, и ценность собственной жизни, и любой возможный ущерб, – призрак коммунизма, победа, город-сад, ночь с любимой. Существование такой способности нетрудно объяснить с помощью эволюционной психологии – это модель поведения, дававшая конкурентное преимущество миллионы лет назад, но важнее почувствовать ее в себе. Точно так же как причина смертности человека не змея, не пуля, а природа его тела, которое самим фактом существования несет в себе семена будущей смерти.

Желание бессмертия невозможно без осознания смертности.

Человек должен действительно memento mori (вспомнить о смерти), чтобы по-настоящему начать думать о трансцендентном. Бердяев писал о том, что каждому человеку предстоит прожить личный апокалипсис, и именно в этом смысле следует трактовать откровения Иоанна Богослова. Точно так же осознание и принятие того, что цивилизация смертна, идет рука об руку с принятием того, что ты смертен – и жаждой бессмертия.

Человеку свойственно преодолевать неопределенность актом веры. Одни верят в исчерпание ресурсов, другие – в торжество технологической сингулярности. Кто-то верит в свою неуязвимость, что побуждает его принимать на себя неоправданные нормы риска. Но вера во что-то не означает, что объект веры ложен. Акт веры состоит в исключении вероятностного взгляда на мир, в отрицании собственного незнания относительно того, каким этот мир будет на самом деле. Поверив в некую версию будущего, человек начинает собирать доказательства в пользу именно этого варианта развития событий, не обращая внимания на то, что есть доказательства и других вариантов. Признание же неопределенности состоит в принятии того факта, что у нас есть несколько гипотез о возможном будущем. Это не значит, конечно, что у нас есть и несколько разных будущих, но и не исключает этого.

Например, возьмем число 254878889914433 – оно может быть простым или составным, то есть быть произведением нескольких простых чисел. Я могу выдвинуть две гипотезы – что это число простое и что это число составное. Но на самом деле это число уже является простым или составным, а эти две гипотезы отражают только меру неопределенности нашего знания. И поскольку большинство чисел являются сложными, я могу с большой уверенностью утверждать, что гипотеза о том, что это число – составное, более вероятна. Моя субъективная уверенность в том, что это число – составное, может быть представлена как та ставка в игре, которую я бы поставил на этот вывод (например, 1000 к 1, то есть 99,9 процента шансов). Таким образом определяется понятие субъективной вероятности – через степень уверенности, измеряемую ставкой абсолютно рационального субъекта на некоторый исход. (При этом с объективной точки зрения это число уже является или простым, или составным.)

Точно так же и с предсказанием будущего – будущее может быть твердо определено, но мы можем иметь разные гипотезы о том, как именно оно определено. По мере поступления новой информации мы можем повышать шансы одних гипотез и снижать шансы других. Для этого используется теорема Байеса, позволяющая точно вычислить ту поправку к вероятности, которая необходима. Рассуждения с использованием поправок к вероятности тех или иных гипотез называются байесовой логикой. По этой логике в определенном смысле работают нейронные сети в человеческом мозге. Повторяющиеся события приводят к подкреплению паттернов, которые играют роль более вероятных гипотез.

Моделирование байесовой логики исчисления гипотез – это одно из перспективных направлений развития искусственного интеллекта. Однако акт веры отменяет байесову логику, создавая знание из ничего. И это прекрасно было известно древним богословам, которые создали апофатическое богословие. А именно исследование того, чем Бог не является. Подробнее байесову логику мы рассмотрели в главе о Doomsday argument, когда обсуждали выбор между двумя чашами с шариками.

Пользуясь байесовой логикой, мы можем одновременно описывать будущее с использованием нескольких гипотез, не прибегая к необходимости верить или не верить в них.

Осознание того, что наше знание о будущем всегда должно состоять из нескольких разновероятных гипотез, прокладывает путь к пониманию неопределенности, к одновременному учету и многих разных рисков, и необычайных возможностей. Но это требует отказа от комфортного мышления об однозначном будущем и непрерывного рационального усилия по представлению разных вариантов и действий по предотвращению всех негативных исходов. Это также поможет вам легко опознавать корень чужих заблуждений – чужая уверенность в однозначном исходе почти всегда означает пренебрежение каким-то незнанием, но это не значит, что такой объект веры нужно полностью отбрасывать – его следует принять как одну из гипотез.

Нет способа знать будущее однозначно. Но сосредоточенность на вопросе, каков наихудший реалистичный исход, позволяет получать довольно определенные ответы. Именно в опоре на эту точку зрения и была написана эта книга.

Примечания

1

К каждой главе я приложу список из трех-пяти наиболее интересных работ по данной теме, которые стоит почитать; но это не полный список: заинтересовавшиеся читатели без труда найдут более полный список работ в Интернете.

2

Nick Bostrom. Antropic principle in science and philosophy. L. 2003Nick Bostrom. Antropic principle in science and philosophy. L. 2003

3

«No trade theorem» гласит: вы не должны торговать на рынке, даже если имеете для этого возможность, так как тот факт, что кто-то другой желает занять противоположную вам сторону в сделке, является наилучшим доказательством, что его информация о ситуации так же хороша, как и ваша. См. подробнее: http://www.overcomingbias.com/2008/02/buy-now-or-fore.html#comments

4

Simmons M.R. Twilight in the desert: the coming Saudi oil shock and the World economy. NY, 2005.

5

«By demonstrating that their simulation is realistic, the researchers say, these results suggest that an entire mammal brain could be completely modeled within three years, and a human brain within the next decade». http://www.tech-nologyreview.com/Biotech/19767/

6

Русский перевод статьи доступен здесь: http://mikeai.nm.ru/russian/superint.html. Опубликовано здесь: Int. Journal of Future Studies, 1998, vol. 2.

7

«Larry page, Google look into AI». http://www.webpronews.com/top-news/2007/02/19/larry-page-google-look-into-ai

8

http://www.agiri.org/wiki/index.php?title=Novamente_Cognition_Engine

9

http://www.singinst.org/blog/2007/07/31/siai-why-we-exist-and-our-short-term-research-program/

10

http://www.numenta.com/about-numenta/numenta-technology.php