Экспонента. Как быстрое развитие технологий меняет бизнес, политику и общество - Азим Ажар
Эта теория имеет глубокие последствия для будущего компьютеризации. Хотя парадигма, которую описывает закон Мура, имеет свои пределы, в целом мы не подходим к пределам развития вычислительной мощности. Мы всегда найдем какой-нибудь новый подход, который поможет удовлетворить растущие потребности пользователей. Просто в будущем увеличение вычислительной мощности необязательно будет основываться на втискивании еще большего числа транзисторов на чип.
Пока что теория Курцвейла представляется верной. В первые годы нового тысячелетия, примерно когда мы приблизились к тому, что многие инженеры сочли физическими пределами закона Мура, мы достигли переломного момента. Появилось достаточно данных и достаточно вычислительных мощностей, которые позволили разработать новую техническую парадигму — искусственный интеллект (ИИ). Это послужило катализатором совершенно нового взгляда на вычислительную мощность — вышедшего за пределы нашего прежнего подхода к проектированию микросхем.
Люди с самых давних времен размышляли о возможности создания искусственного интеллекта. По словам Стюарта Рассела, одного из ведущих мировых ученых в области искусственного интеллекта, компьютер можно считать разумным, если он способен предпринимать действия, позволяющие достичь поставленных целей[37]. Что особенно важно, программное обеспечение для ИИ должно быть в состоянии принимать некоторые решения, а не просто слепо следовать каждому шагу программного кода.
После того как в 1955 году ученый Джон Маккарти ввел термин «искусственный интеллект», исследователи приступили к созданию именно таких «интеллектуальных» машин. В следующие шестьдесят лет исследования в области ИИ продвигались медленно. Было много фальстартов — казавшиеся существенными прорывы вели к завышенным ожиданиям, что, в свою очередь, приводило к неудачам и унынию. Проблема состояла в недостатке данных и нехватке вычислительной мощности. В течение десятилетий многие ученые верили, что любой крупный прорыв в области ИИ, вероятно, произойдет благодаря так называемому машинному обучению. Этот метод предполагает сбор огромного количества информации о проблеме и использование алгоритмов для выявления повторяющихся моделей. Например, можно научить ИИ различать кошку и собаку, показав десять миллионов фотографий кошек и собак и недвусмысленно объяснив машине, кто — кошки, а кто — собаки. В итоге «модель» научится отличать фотографии кошек от фотографий собак. Но до сравнительно недавнего времени нам не хватало данных и вычислительных мощностей, чтобы реализовать потенциал машинного обучения. Из-за большого объема громоздких числовых задач такой подход требует большого количества информации и дорогостоящих вычислений. А таких объемов информации и таких вычислительных мощностей просто не было.
Однако к началу 2010-х годов ситуация стала меняться. Внезапно появилось колоссальное количество данных, созданных обычными людьми, которые выкладывали фотографии своей жизни в интернет. Сначала эти данные не были особенно полезны для исследователей ИИ — пока за дело не взялась профессор Стэнфордского университета Фэй-Фэй Ли. Ли — ученый-информатик, она специализируется на пересечении нейробиологии и информатики, особенно интересуясь тем, как люди воспринимают объекты. В 2009 году, вдохновленная мыслью, что цифровое отображение как можно большего количества объектов реального мира позволит улучшить ИИ, Ли создала ImageNet — проект, который за пять лет сам по себе привел к взрывному развитию полезного ИИ. Сайт превратился в подробнейшую коллекцию, содержащую 14 197 122 изображения, вручную размеченных тегами типа «овощ», «музыкальный инструмент», «спорт» и — совершенно верно! — «собака» и «кошка». Этот набор данных использовался как основа для ежегодного конкурса на поиск алгоритма, который смог бы наиболее логично и точно идентифицировать объекты. Благодаря ImageNet внезапно и в большом количестве появились качественные размеченные данные.
Одновременно с обильным потоком данных произошел взрыв вычислительной мощности. К 2010 году закон Мура привел к появлению мощности, достаточной для нового вида машинного обучения — «глубокого обучения», которое состоит в создании слоев искусственных нейронов по образцу клеток, лежащих в основе человеческого мозга. Эти нейронные сети уже давно провозглашались следующей важной составляющей искусственного интеллекта. Однако их разработка тормозилась недостатком вычислительной мощности. Теперь все изменилось. В 2012 году группа ведущих исследователей ИИ — Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон — разработала «глубокую свёрточную нейронную сеть», способную применить глубокое обучение к задачам классификации изображений, с которыми так долго не мог справиться ИИ. Это стало возможным благодаря необычайной вычислительной мощи. Нейронная сеть содержала 650 тысяч нейронов и 60 миллионов параметров, которые можно было использовать для настройки системы. Это изменило всю игру. До AlexNet, как назвали изобретение команды Крижевского, большинство ИИ, участвовавших в конкурсе ImageNet, все время спотыкались, и в течение многих лет результат составлял не более 74%. AlexNet добился 87%. Глубокое обучение работало.
Его триумф вызвал бешеный рост интереса к тому, чем занимать искусственный интеллект. Ученые бросились создавать системы ИИ, применяя глубокие нейронные сети и их производные для решения огромного количества задач — от поисков производственных дефектов до перевода с языка на язык, от распознавания голоса до выявления мошенничеств с кредитными картами, от создания новых лекарств до рекомендаций видеофильмов, отвечающих вкусам конкретного зрителя. Инвесторы охотно открывали карманы для поддержки этих изобретателей. В кратчайшие сроки глубокое обучение проникло повсюду. В результате нейронные сети требовали все большего объема данных и все большей вычислительной мощности. В 2020 году нейронная сеть GPT-3, которая использовалась для генерирования текста, порой неотличимого от созданного человеком, использовала 175 миллиардов параметров — примерно в три тысячи раз больше, чем у AlexNet.
Однако если новый подход к вычислениям — искусственный интеллект, то каковы необходимые ему мощности? С 2012 по 2018 год компьютерная мощность, используемая для обучения крупнейших моделей ИИ, росла примерно в шесть раз быстрее, чем темпы, о которых говорилось в законе Мура. На графике ниже показан рост вычислительных операций, используемых в современных системах ИИ, на фоне экспоненциальной кривой закона Мура за тот же период. Если бы использование вычислительных мощностей ИИ следовало кривой закона Мура, то за шесть лет оно бы выросло примерно в семь раз. На деле же оно увеличилось в триста тысяч раз[38].
Рис. 4. Относительная вычислительная мощность, используемая ИИ, по сравнению с прогнозами закона Мура
Источник: Open AI, анализ для Exponential View
Ошеломляющая статистика. Ее можно объяснить именно тем процессом, который Рэй Курцвейл определил десятилетиями ранее. В тот самый момент, когда
