Сценарии будущего. Как жить и работать в мире, захваченном нейросетью и роботами - Руслан Геннадьевич Юсуфов
Искусственный интеллект в военном деле тестируют не только для рекомендаций, но и для управления дронами и даже для самостоятельного ведения воздушного боя истребителями F-16. Весной 2023 года ученые из Уханьского университета на сутки дали искусственному интеллекту самостоятельно управлять спутником. Конечно, во всех подобных новостях есть доля хайпа, бравады и пропаганды, однако насколько она велика, никто не знает.
Но очевидно, что американские военные будут производить и продавать ИИ для поддержки принятия решений и управления дронами, делая обычное оружие «умным», а за ними подтянутся и остальные. Ведь искусственный интеллект – это еще и новое пространство для военного сотрудничества, например, в начале 2024 года Китай и Россия договорились консультировать друг друга по вопросам его использования в армии.
Затем на рынке появятся инструменты с открытым исходным кодом, которые начнут использовать в военных целях менее развитые государства, радикалы и террористы. К тому же с искусственным интеллектом намного проще принять непопулярное, некомфортное или просто трудное решение:
– Генерал, искусственный интеллект проанализировал тысячу сценариев и остановился вот на этом!
– В таком случае запускайте демократическую бомбардировку, полковник!
По сообщениям журналистов, в ходе израильской операции «Железные мечи» система ИИ Lavender отметила десятки тысяч жителей Газы как подозреваемых в убийстве и подлежащих уничтожению – при минимальном человеческом контроле и с разрешительной политикой в отношении возможных жертв. Сообщается, что влияние ИИ на операции военных было так велико, что они относились к его решениям, «как если бы те были человеческими». В течение первых недель войны армия почти полностью полагалась на эту систему, которая отметила дома 37 тысяч палестинцев как цели для возможных воздушных ударов. Один из источников даже утверждал, что согласие человеческого персонала было лишь формальным: на санкционирование бомбардировки уходило около 20 секунд, просто чтобы убедиться, что отмеченная цель – мужчина.
И это несмотря на то что примерно в 10 % случаев система ошибается, отмечая людей, не имеющих связи с боевиками. Также сообщают, что система Lavender разработана Подразделением 8200 военной разведки Израиля, занимающейся радиоэлектронной слежкой. Ряд экспертов обвиняли это подразделение в создании компьютерного вируса Stuxnet, в 2010 году поразившего ряд промышленных компьютеров, в том числе, на иранских ядерных объектах. До сих пор нет официального подтверждения этой операции, хотя многие исследователи считают ее одним из первых примеров наступательного кибероружия.
До какой степени можно верить подобным журналистским расследованиям с анонимными источниками – отдельный вопрос, но ввиду особой секретности военных разработок вряд ли стоит рассчитывать на какую-то прозрачность. Тем не менее, даже гипотетическая возможность применения ИИ в военном деле заставляет озаботиться вопросами контроля, ведь цена ошибки – человеческие жизни. Помните про американского юриста Стивена Шварца, который в суде ссылался на несуществующие прецеденты, придуманные ChatGPT? Насколько критичными будут подобные галлюцинации алгоритмов в принятии военных решений, и какие системы сдержек и противовесов нужно предусмотреть, чтобы снизить негативные эффекты?
Поэтому страны пытаются ограничить друг друга в разработке ИИ и получении вычислительных мощностей, вводя санкции на поставки:
• аппаратуры и доступа к облачным вычислениям;
• средств для создания вычислительных мощностей и ноу-хау в этой области;
• ресурсов и продукции наукоемких и экспериментальных производств.
Так, США старается замедлить технологическое развитие Китая, ограничивая его возможности в приобретении технологий производства продвинутых микросхем – это влияет на способность китайцев разрабатывать искусственный интеллект. Китай же пытается обходить такие запреты, например, используя облачные вычисления. В ходе одной из контрабандных поставок через южнокорейскую компанию в КНР было отправлено 53 тысячи запрещенных к экспорту американских чипов на сумму $11,6 млн.
Также введены санкции против иранских фирм и физических лиц, обвиняемых в закупке оборудования для производства дронов. Законом Цезаря[89] о защите гражданского населения наложены санкции на лица и организации, не являющиеся гражданами США, которые умышленно предоставляют Сирии «значительную финансовую, материальную или технологическую поддержку». Они распространяются на тысячи ИТ-специалистов, многие из которых работают в Китае и России, чей труд якобы помогает финансировать программы создания оружия массового поражения и ракет. Наконец, США запрещает своим компаниям продавать в Китай что-либо, касающееся квантовых компьютеров.
При этом внешняя и внутренняя изоляция не перекрывает доступ к мировой продукции, если регулирующее государство не имеет полного объективного контроля над импортом и экспортом продукции и информации. В условиях наименьшего контроля развиваются практики параллельного импорта, а при наибольшем контроле может сложиться ситуация Северной Кореи, с которой продолжают торговать несколько заинтересованных партнеров, а специально выделенные кадры обеспечивают ее необходимыми средствами и информацией. Причем используемые ими методы не ограничиваются контрабандой конечных продуктов, а могут касаться финансирования и промышленного шпионажа.
К примеру, киберпреступники из группировки Lazarus, которых некоторые эксперты связывают с главным разведывательным управлением Северной Кореи, беспощадно взламывают все, до чего могут дотянуться в недружественных странах. Они атаковали южнокорейскую медиа-инфраструктуру, крупнейшие международные медиа- и фармацевтические компании и стояли за эпидемией вируса-шифровальщика WannaCry, поразившего 200 тысяч компьютеров в 150 странах. В «портфолио» Lazarus Group – многочисленными хищения у криптовалютных компаний и даже попытка украсть $1 млрд из центрального банка Бангладеш.
По заявлениям американских органов власти, полученные доходы направляются на развитие северокорейских ракетных и ядерных технологий. Предположительно, в Lazarus Group входит около 3,3 тысяч хакеров. Принимая во внимание такие компетенции, очевиден еще один сценарий обхода торговых ограничений – промышленный шпионаж. Действительно, не проще ли украсть технологии и чертежи в результате кибератаки, а затем реализовать их производство самостоятельно или при помощи партнеров? Совершенно неудивительно, что в 2024 году разведка Южной Кореи обвинила северокорейских хакеров в атаках на фирмы по производству полупроводникового оборудования.
Использование зарубежных технологий и производств поднимает вопросы суверенности для государств и управления рисками для бизнеса, так как неясно, в какой момент разработчики могут ограничивать доступ. Тайваньская компания TSMC – крупнейший в мире контрактный производитель полупроводниковых микросхем с долей рынка 58,5 % по данным на IV квартал 2022 года. Среди ее клиентов числятся компании по всему миру, причем вторым по объему поставок является Nvidia, на которую в 2023 году пришлось 11 % выручки. Все элементы западной цепочки поставок чипов находятся в защищенных с географической точки зрения местах, за исключением Тайваня, вокруг которого происходят регулярные трения США и Китая.
В феврале 2022 года TSMC прекратила поставки в Россию в рамках санкций, наложенных США. Российскую компанию Baikal Electronics подвергли санкциям накануне массового выхода на рынок новых чипов «Baikal-S», и, по заявлению главы Минцифры РФ Максута Шадаева, готовые партии процессоров «Байкал» и «Эльбрус» остались за границей. Перейти на Baikal-S рассчитывал Сбербанк в случае,
