Ник Бостром - Искусственный интеллект
21. Когда сопротивляемость не настолько высока, что может привести к отказу от инвестирования или переключению на другой проект.
22. Аналогичный пример обсуждается Юдковским [Yudkowsky 2008 b].
23. Поскольку входные параметры тоже растут (скажем, инвестиции в строительство новых заводов и количество людей, занятых в отрасли производства полупроводников), закон Мура как таковой не обеспечивает требуемого роста при исключении влияния этих параметров. Однако в сочетании с успехами в создании ПО допущение об удвоении возможностей систем каждые 18 месяцев может оказаться правдоподобным.
24. Было сделано несколько экспериментальных попыток развить идею о взрывном развитии интеллекта в рамках теории экономического роста; см., например: [Hanson 1998 b; Jones 2009; Salamon 2009]. В этих исследованиях указывается на возможность чрезвычайно быстрого экономического роста в случае создания цифрового разума, но поскольку теория эндогенного роста сравнительно плохо разработана даже в применении к историческим и современным условиям, ее применение к потенциально недолговечным будущим условиям лучше пока считать источником потенциально полезных концепций и мыслей, чем методом, способным обеспечить нас надежными прогнозами. Обзор попыток создать математическую модель технологической сингулярности см.: [Sandberg 2010].
25. Вполне возможно, что никакого взлета не будет. Но поскольку, как обсуждалось ранее, появление сверхразума представляется технически возможным, взлет может не начаться лишь в случае вмешательства какой-то внешней силы, скажем, экзистенциальной катастрофы, то есть окончательной глобальной катастрофы, которая приведет к вымиранию человечества. Если сильный сверхразум появится не в форме УИИ или имитационной модели мозга, а иными путями, тогда более вероятно развитие по сценарию медленного взлета.
Глава 5. Решающее стратегическое преимущество
1. Цифровой разум может быть запущен на единственной машине, а не с помощью глобальной компьютерной сети, но мы имеем в виду не такую концентрацию. Нас больше интересует степень концентрации власти — особенно такой, которую обеспечивает технологическое превосходство, — на последних стадиях революции машинного интеллекта или сразу после ее завершения.
2. Например, в развивающихся странах потребительские товары, как правило, выводятся на рынок медленнее, см.: [Talukdar et al. 2002]; см. также: [Keller 2004; World Bank, 2008].
3. Для настоящего обсуждения этой проблемы следовало бы привлечь серьезную экономическую литературу, посвященную теории организаций. Бесспорно, классическим источником до сих пор служит фундаментальный труд Рональда Коуза «Природа фирмы» [Coase 1937]; см. также: [Canbäck et al. 2006; Milgrom, Roberts 1990; Hart 2008; Simester, Knez 2002].
4. Тем не менее зародыш ИИ легко выкрасть — передать по сети или унести на флешке.
5. Согласно некоторым исследователям, шелк мог использоваться уже в культуре Яншао (5000–3000 гг. до н. э.), см.: [Barber 1991]. В относительно недавней работе приведено приблизительное время одомашнивания тутового шелкопряда (на основании генетических исследований) — около 4100 лет назад [Sun et al. 2012].
6. См.: [Cook 1984, p. 144] — эта легенда слишком красива, чтобы быть исторически правдоподобной, как и история, рассказанная Прокопием Кесарийским в его «Войнах» (VIII, 1–7), что тутовые шелкопряды были доставлены в Византию странствующими монахами в их бамбуковых посохах, см.: [Hunt 2011].
7. См.: [Wood 2007; Temple 1986].
8. В доколумбийских культурах колесо было известно, но использовалось только для игр (возможно, из-за отсутствия подходящих тягловых животных).
9. См.: [Koubi 1999; Lerner 1997; Koubi, Lalman 2007; Zeira 2011; Judd et al. 2012].
10. Оценка дана на основании множества источников. Скорее всего, показатель разрыва подсчитывался очень приблизительно и зависел от того, какие возможности считались сопоставимыми. Через пару лет после изобретения радара он использовался как минимум двумя странами, но точное время в месяцах рассчитать довольно трудно.
11. См.: [Ellis 1999].
12. Испытанная в 1953 году РДС-6 стала первой бомбой с использованием термоядерной реакции, но первую «настоящую» термоядерную бомбу РДС-37, у которой на долю реакции синтеза приходилась большая часть мощности взрыва, испытали только в 1955 году.
13. Подтверждений нет.
14. Испытания прошли в 1989 году, в 1994-м проект был закрыт.
15. Развернутая система, радиус действия превышает 5000 км.
16. Ракеты Polaris, приобретенные у США.
17. Ведутся работы над ракетой Taimur, видимо, на базе китайской технологии.
18. Испытанный в 1989–1990 гг. ракетоноситель RSA-3 предполагалось использовать как для запусков спутников, так и в качестве МБР.
19. Многозарядные боеголовки индивидуального наведения позволяют использовать одну баллистическую ракету для поражения множества целей.
20. Система Agni V пока не принята на вооружение.
21. Если мы считаем, что время отставания реализации проектов подчиняется нормальному закону распределения, тогда, скорее всего, расстояние между проектом-лидером и его ближайшим преследователем также должно зависеть от общего количества разработок. Когда проектов много, отрыв первого от второго будет относительно небольшим даже тогда, когда дисперсия довольно велика (и будет медленно сокращаться с ростом количества конкурентов). Однако маловероятно, что будет слишком много проектов, обладающих достаточными ресурсами, чтобы всерьез претендовать на успех. (Обилие проектов возможно лишь при обилии различных подходов и методик — большинство которых, скорее всего, окажутся тупиковыми.) Современный опыт говорит, что серьезных претендентов на достижение любой заметной с технологической точки зрения цели обычно можно пересчитать по пальцам. Несколько отличная ситуация на потребительском рынке, поскольку там существует множество ниш для лишь слегка отличающихся продуктов, а входные барьеры слишком низки. Есть тьма проектов по дизайну футболок, когда в каждой разработке принимает участие один человек, но всего несколько компаний в мире участвуют в разработке следующего поколения графических карт. (В настоящий момент фактической дуополией обладают AMD и NVIDIA, а в сегменте карт с низкой производительностью с ними конкурирует Intel.)
22. См.: [Bostrom 2006 c]. При желании можно вообразить разные варианты, например: синглтон, чье существование вообще невидимо (когда сверхразум обладает настолько развитыми технологиями и проницательностью, что может незаметно для людей управлять всем миром); синглтон, добровольно установивший жесткие самоограничения своей власти (пунктуально соблюдает международные нормы и договоры); синглтон-либертарианец. Какова вероятность возникновения синглтона того или иного типа — вопрос скорее умозрительный, пока не будет проверено на опыте. Однако почему бы не дать волю фантазии хотя бы на концептуальном уровне: хороший синглтон, плохой синглтон, дерзкий синглтон, вздорный синглтон, приторно-любезный синглтон, деспотичный синглтон с признаками паранойи, вопящий самодур синглтон, порою напоминающий разбушевавшуюся природную стихию.
23. См.: [Jones 1985, p. 344].
24. Нельзя забывать, что Манхэттенский проект был реализован во время войны. Многие ученые вспоминали, что дали согласие на участие в нем в основном по двум мотивам: помочь стране в ситуации военного времени и из страха, что нацистская Германия опередит союзников и первой создаст атомное оружие. В мирное время многим правительствам оказалось бы не по плечу мобилизовать такое количество работников — среди которых были крупнейшие ученые — на участие в столь масштабном и секретном мероприятии. Еще один классический пример научно-технического мегапроекта — программа Apollo. Но и она получила столь мощную поддержку лишь благодаря противостоянию, рожденному холодной войной.
25. Впрочем, даже если такие проекты и искались бы изо всех сил, то делалось бы это таким образом, что вряд ли стало бы достоянием общественности.
26. Благодаря методам криптографии команда проекта вполне могла бы работать распределенно. В такой цепочке передачи информации самый уязвимый момент — первый, когда информация вводится в систему, и теоретически можно проследить за действиями печатающего человека. Но если широкое распространение получит слежка внутри помещений (при помощи микроскопических записывающих устройств), то ради столь ценной секретности можно принять контрмеры (например, специальные помещения, защищенные от проникновения в них шпионской аппаратуры). Причем если физическое пространство в наступающую эпоху всеобщего контроля становится все более прозрачным, то киберпространство вполне может оказаться лучше защищенным благодаря все более широкому распространению довольно надежных криптографических протоколов.
