Третий контур - Владимир Смирнов
– Как?!
– Самым простым и эффективным способом – убивая тех, кто может представлять опасность для человечества. Мы расследовали несколько странных смертей за последний год – и каждый раз прерванная деятельность могла привести к негативным последствиям.
– А могла и не привести? – спросил Борис.
– Я думаю, да. Но у искина, как ты понимаешь, больше возможностей для просчета всех вариантов. Хотя, скорее всего, оно просто технически устраняет любой значимый риск. Это противоречит всем нашим правовым и этическим нормам; но, по большому счету, для человечества это скорее благо.
– То есть эти дети создали бога? – спросила Оля.
– Бог – слишком громко сказано, – усмехнулся Матвей. – Ну, разве что в аспекте приглядывания за неразумной паствой.
– И вы, в принципе, не можете его уничтожить? – спросил Митя.
– Даже не знаю, что тебе сказать, – ответил Матвей. – Сам-то как думаешь – человечество, в принципе, готово вернуться в каменный век?
36
Вопрос был риторическим, но Митя понял его буквально.
– Почему же непременно в каменный? Разве нельзя вычленить и уничтожить все неидентифицированные обрывки кодов? Запустить глобальную чистку всей сети?
Матвей удивленно посмотрел на него.
– Шутишь? Уничтожить все самообучающиеся программы и всю криптографию – значит парализовать производство и науку, остановить все банковские операции. Выстрелить себе даже не в ногу – в голову. И без всяких гарантий – потому что коды искина уже наверняка научились мимикрировать под системные утилиты.
– Но можно же собрать лучших кодеров федерации… – не сдавался Митя.
– Много чего можно сделать, – перебил его Матвей, – но где гарантия, что искин ничего не предпримет в ответ? Если оно сочтет наши действия враждебными… После того, что мы видели, как-то уже не хочется рисковать.
Все замолчали. Матвей ждал возражений, но возразить было нечего.
– И все же – что оно такое? – спросила Оля почти шепотом. – О чем оно думает?
– Никто не знает, что оно из себя представляет, – ответил Матвей. – Для нас это черный ящик, сложнейшая информационная система с огромной памятью и собственными мотивациями, нам неизвестными. И хочу сразу прояснить – нам сейчас не важно, о чем оно думает; нам важно, чем оно озабочено. Судя по действиям, одной из его забот является самосохранение; если мы в чем-то и можем быть уверены, то только в этом.
– А охраняет оно себя, убивая людей? – спросила Оля. – То есть близнецы создали злого бога?
Матвей недовольно покачал головой.
– Ты упрощаешь все до какого-то бульварного комикса. Кибердемон, цифровой убийца… Давай не будем скатываться в китч, мы же говорим о серьезных вещах. Пока мы не видим ни бога, ни дьявола – вообще ничего. Только слабую рябь на воде. Например, чаще стали умирать люди, которые могли бы представлять опасность для общества. По одной из версий это может быть следствием деятельности распределенного искина. Возможно также, что искин делает и множество полезных вещей, а мы просто не замечаем их, считая естественным следствием собственных усилий. Но все это – лишь наши предположения. Тут как с бессознательным – на виду лишь некоторые феномены, которые по нашей гипотезе определяются одним источником. Но все наши попытки описать функционирование этого источника всегда будут спекулятивными. Более того, мы даже не в состоянии понять истинные масштабы того, что пытаемся изучать.
С минуту они сидели молча. Наконец Борис поднял голову.
– Все-таки верится с трудом. Неужели все остальные гипотезы менее вероятны?
– Да, – сухо ответил Матвей, – вам проще принять это как факт. В последние три месяца произошло еще несколько событий, о которых я не имею права говорить. Но они позволяют подозревать наличие единого источника.
– Но как?! – не сдавался Борис. – Как они смогли провернуть такое? Они же всего лишь дети! И с их мощностями… Я же видел их серверы.
– Про мощности забудь, – перебил Матвей, – в их распоряжении была вся сеть, об этом ты и сам мог бы догадаться. Рекуррентные нейросети последнего поколения требуют слишком многого, они могут полноценно работать только на распределенных ресурсах. А про алгоритм у нас опять же есть только предположения – как и обо всем остальном.
– И какие? – спросил Борис.
– Мы полагаем, что близнецы начали с обычного искиновского подхода – запущенная программа должна работать после любой самостоятельной модификации. Аналог побуждения к действию. И при каждом ветвлении выбирать путь с максимальным количеством возможных вариантов. Наткнувшись на преграду, не биться о стекло, как глупая муха, а сразу же разворачиваться и лететь в другую сторону – в сторону самого широкого выбора. Аналог любопытства. Стандартная самообучающаяся система. Но близнецы применили обратные связи несколько шире, чем это обычно принято. Предъявляли системе не только результаты ее опытов, но и данные о ней самой. Постоянно заставляли ее смотреться в зеркало, если можно так выразиться. А мы теперь пытаемся понять, что же из этого вышло.
– Но у вас ведь есть опытный образец? – спросил Борис.
– Нет, – отрезал Матвей, – нам не удалось повторить этот опыт.
Митя встрепенулся, как будто разбуженный внезапным звонком.
– Из соображений безопасности?
– Совершенно верно, – подтвердил Матвей. – Как вы понимаете, такие опыты мы можем ставить только в изолированной сетке. И у нас, видимо, не хватило сложности для качественного перехода. А близнецы экспериментировали на всей сети, у них таких ограничений не было.
– И они выпустили джинна в сеть? – спросила Оля.
– Можно сказать и так, – ответил Матвей. – Кстати, наша экспериментальная сетка называется «Пандора». Не надо объяснять почему? Полностью закрытая система, никаких внешних связей.
– С вами все ясно, – нетерпеливо прервал его Борис. – Но ведь наверняка были и другие энтузиасты, не связанные вашими запретами. Не поверю, что никто не пытался создать искин. И у кого-то ведь должно было получиться?
– Не обязательно, – ответил Матвей. – Чтобы создать искусственный интеллект, надо для начала понять, что же такое интеллект. Хотя бы свой собственный. А пока такого понимания нет, все попытки создать то, не знаю что, обречены. Но близнецы и не пытались собрать что-то подобное, они просто случайно создали благоприятные предпосылки для самозарождения искина. Сложную обучающуюся программу с самонастройкой мотиваций, переизбытком обратных связей и доступом к неограниченным ресурсам распределенных систем. Этого оказалось достаточно.
– Ну хорошо, – не сдавался Борис, – у них это получилось случайно; пусть. Но неужели никто не попытался повторить такой опыт? Или возникновение искина с собственными мотивациями – уникальное событие, которое возможно лишь однократно?
Матвей усмехнулся.
– А зарождение жизни на Земле – уникальное событие?
– Видимо, да, – ответил Борис, слегка сбитый с толку, – оно же произошло один раз.
– Может уникальное, – ответил Матвей, – а может и нет. Может, наоборот,
