Алексей Турчин - Российская Академия Наук
Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодолимую промежуточную стадию юности, когда человечество стало достаточно смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.
Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем человек, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747-ой с нуля, чем растянуть в масштабе существующую птицу или пересадить ей реактивные двигатели.
Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал:
«Влияние животной или растительной жизни на материю находится бесконечно далеко за пределами любого научного исследования, направленного до настоящего времени на него. Его сила управлять перемещениями движущихся частиц, в ежедневно демонстрируемом чуде человеческой свободной воли и в росте поколений за поколением растений из одного семечка, бесконечно отличается от любого возможного результата случайной согласованности атомов». (Цитировано по (MacFie 1912).)
Любое научное игнорирование освящено древностью. Любое и каждое отсутствие знаний уходит в прошлое, к рассвету человеческой любознательности; и эта дыра длится целые эпохи, выглядя неизменной, до тех пор, пока кто-то не заполняет её. Я думаю, что даже склонные ошибаться человеческие существа способны достичь успеха в создании Дружественного ИИ. Но только если разум перестанет быть сакральной тайной для нас, как жизнь была для Лорда Кельвина. Интеллект должен перестать быть любым видом мистики, сакральным или нет. Мы должны выполнить создание Искусственного Интеллекта как точное приложение точного искусства. И тогда, возможно, мы победим.
Библиография.
1. Asimov, I. 1942. Runaround. Astounding Science Fiction, March 1942.
2. Barrett, J. L. and Keil, F. 1996. Conceptualizing a non-natural entity: Anthropomorphism in God concepts. Cognitive Psychology, 31: 219-247.
3. Bostrom, N. 1998. How long before superintelligence? Int. Jour. of Future Studies, 2.
4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.
5. Brown, D.E. 1991. Human universals. New York: McGraw-Hill.
6. Crochat, P. and Franklin, D. (2000.) Back-Propagation Neural Network Tutorial. http://ieee.uow.edu.au/~daniel/software/libneural/
7. Deacon, T. 1997. The symbolic species: The co-evolution of language and the brain. New York: Norton.
8. Drexler, K. E. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York: Wiley-Interscience.
9. Ekman, P. and Keltner, D. 1997. Universal facial expressions of emotion: an old controversy and new findings. In Nonverbal communication: where nature meets culture, eds. U. Segerstrale and P. Molnar. Mahwah, NJ: Lawrence Erlbaum Associates.
10. Good, I. J. 1965. Speculations Concerning the First Ultraintelligent Machine. Pp. 31-88 in Advances in Computers, vol 6, eds. F. L. Alt and M. Rubinoff. New York: Academic Press.
11. Hayes, J. R. 1981. The complete problem solver. Philadelphia: Franklin Institute Press.
12. Hibbard, B. 2001. Super-intelligent machines. ACM SIGGRAPH Computer Graphics, 35(1).
13. Hibbard, B. 2004. Reinforcement learning as a Context for Integrating AI Research. Presented at the 2004 AAAI Fall Symposium on Achieving Human-Level Intelligence through Integrated Systems and Research.
14. Hofstadter, D. 1979. G;del, Escher, Bach: An Eternal Golden Braid. New York: Random House
15. Jaynes, E.T. and Bretthorst, G. L. 2003. Probability Theory: The Logic of Science. Cambridge: Cambridge University Press.
16. Jensen, A. R. 1999. The G Factor: the Science of Mental Ability. Psycoloquy, 10(23).
17. MacFie, R. C. 1912. Heredity, Evolution, and Vitalism: Some of the discoveries of modern research into these matters – their trend and significance. New York: William Wood and Company.
18. McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E. 1955. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.
19. Merkle, R. C. 1989. Large scale analysis of neural structure. Xerox PARC Technical Report CSL-89-10. November, 1989.
20. Merkle, R. C. and Drexler, K. E. 1996. Helical Logic. Nanotechnology, 7: 325-339.
21. Minsky, M. L. 1986. The Society of Mind. New York: Simon and Schuster.
22. Monod, J. L. 1974. On the Molecular Theory of Evolution. New York: Oxford.
23. Moravec, H. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge: Harvard University Press.
24. Moravec, H. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
25. Raymond, E. S. ed. 2003. DWIM. The on-line hacker Jargon File, version 4.4.7, 29 Dec 2003.
26. Rhodes, R. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.
27. Rice, H. G. 1953. Classes of Recursively Enumerable Sets and Their Decision Problems. Trans. Amer. Math. Soc., 74: 358-366.
28. Russell, S. J. and Norvig, P. Artificial Intelligence: A Modern Approach. Pp. 962-964. New Jersey: Prentice Hall.
29. Sandberg, A. 1999. The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains. Journal of Evolution and Technology, 5.
30. Schmidhuber, J. 2003. Goedel machines: self-referential universal problem solvers making provably optimal self-improvements. In Artificial General Intelligence, eds. B. Goertzel and C. Pennachin. Forthcoming. New York: Springer-Verlag.
31. Sober, E. 1984. The nature of selection. Cambridge, MA: MIT Press.
32. Tooby, J. and Cosmides, L. 1992. The psychological foundations of culture. In The adapted mind: Evolutionary psychology and the generation of culture, eds. J. H. Barkow, L. Cosmides and J. Tooby. New York: Oxford University Press.
33. Vinge, V. 1993. The Coming Technological Singularity. Presented at the VISION-21 Symposium, sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. March, 1993.
34. Wachowski, A. and Wachowski, L. 1999. The Matrix, USA, Warner Bros, 135 min.
35. Weisburg, R. 1986. Creativity, genius and other myths. New York: W.H Freeman.
36. Williams, G. C. 1966. Adaptation and Natural Selection: A critique of some current evolutionary thought. Princeton, NJ: Princeton University Press.
Н. Бостром
Введение в doomsday argument
Перевод с английского А.В. Турчина
Философия редко даёт эмпирические предсказания. Рассуждение о Конце Света (Doomsday Argument) является важным исключением. Исходя из кажущихся очевидными предположений, оно стремится показать, что риск вымирания человечества в ближайшем будущем систематически недооценивается. Первая реакция почти каждого человека: что-то должно быть не так с таким рассуждением. Но, несмотря на тщательное исследование всё большим числом философов, ни одной простой ошибки в этом рассуждении не было обнаружено.
Это началось около пятнадцати лет назад, когда астрофизик Брэндон Картер обнаружил прежде незамеченное следствие из одной из версий антропного принципа. Картер не опубликовал своё открытие, но идея была подхвачена философом Джоном Лесли, который был плодовитым авторам на эту тему и написал монографию «Конец света» (The End of the World (Routledge, 1996).) Разные версии Рассуждения о конце света были независимо обнаружены другими авторами. В последние годы было опубликовано определённое количество статей, пытавшихся опровергнуть этот аргумент, и примерно равное количество статей, опровергающих эти опровержения.
Вот само Рассуждение о конце света. Я объясню его в три этапа.
Шаг 1.
Представим себе Вселенную, которая состоит из 100 изолированных боксов. В каждом боксе один человек. 90 из боксов раскрашены синим снаружи, и оставшиеся 10 – красным. Каждого человека попросили высказать догадку, находится ли он в синем или красном боксе. (И каждый из них знает всё это.)
Далее, предположим, вы находитесь в одном из боксов. Какого цвета он, по-вашему, должен быть? Поскольку 90% из всех людей находятся в голубых боксах, и поскольку вы не имеете никакой другой значимой информации, кажется, что вы должны думать, что с вероятностью в 90% вы находитесь в голубом боксе. Договоримся называть идею о том, что вы должны размышлять, как если бы вы были случайным экземпляром (random sample) из набора всех наблюдателей – предположением о собственном расположении (self-sampling assumption).
Предположим, что все принимают предположение о собственном расположении и все должны сделать ставку на то, находятся ли они в синих или красных боксах. Тогда 90% из всех людей выиграют и 10% проиграют. Представим, с другой стороны, что предположение о собственном расположении отвергнуто, и люди полагают, что шансы находится в синей комнате ничем не больше, тогда они сделают ставку, бросив монету. Тогда, в среднем, 50% людей выиграют, и 50% проиграют. - Так что рациональной моделью поведения было бы принять предположение о собственном нахождении, во всяком случае, в данном случае.
Шаг 2.
Теперь мы немного модифицируем этот мысленный эксперимент. У нас по-прежнему есть 100 боксов, но в этот раз они не выкрашены в синий или красный. Вместо этого они пронумерованы от 1 до 100. Номера написаны снаружи. Затем бросается монетка (может быть, Богом). Если выпадают орлы, один человек создаётся в каждом из 100 боксов. Если выпадает решка, люди создаются только в боксах с номерами с 1 по 10.
Вы обнаруживаете себя в одном из боксов, и вам предлагается догадаться, имеется ли в боксах 10 или 100 человек. Поскольку это число определяется бросанием монетки, и поскольку вы не видели, как монетка выпала, и вы не имеете никакой другой значимой информации, кажется, что вам следует предполагать, что с 50% вероятностью выпали орлы (и в силу этого имеется 100 человек).
