Коллектив Авторов - Цифровой журнал «Компьютерра» № 101

Другой предмет для серьёзнейшего беспокойства — то, что использование летальных роботов легко оборачивается непропорциональным применением силы относительно масштаба военной задачи. Имеются в виду так называемые «сопутствующие потери» или непреднамеренные смерти оказавшихся поблизости и ни в чём не повинных гражданских людей. Сегодня на Ближнем Востоке такое происходит сплошь и рядом — при ударах ракетами Hellfire, запускаемыми с борта дрона-самолёта Reaper для уничтожения ещё кого-то из выслеженных предводителей противников.

Спрашивается: какова «приемлемая степень» соотношения убитых невинных людей за каждого ликвидированного таким вот манером «плохого человека»? Два к одному? Или десять к одному? А может быть, и пятьдесят к одному?

Мало того, что никто и нигде в международном законодательстве не зафиксировал это численное соотношение. И тянется эта неопределённость, естественно, неслучайно. По свидетельству Лина, руководители некоторых стран вполне допускают ситуацию, при которой уничтожение врага ценится настолько высоко, когда соотношение «тысяча к одному» или даже больше того кажется допустимым в качестве «сопутствующих потерь".

Переходя к теме, особо актуальной для разведывательного сообщества, эксперт подчёркивает, что линия раздела между войной и шпионажем ныне становится всё более и более размытой.

Исторически складывалось так, что шпионаж не принято рассматривать в качестве подобающей причины для вступления в войну, поскольку война традиционно определяется как вооружённый физический конфликт между политическими сообществами.

Однако по той причине, что ныне всё больше и больше ценностей государства оказывается или в цифровой форме, или основано на информации, то делается вывод и о возможностях теперь атаковать — и соответственно быть атакованными — с помощью «некинетических» средств вооружения, то есть посредством кибероружия, которое выводит из строя компьютерные системы противника или похищает важную для него информацию.

Непосредственным отражением этих идей стало то, что в 2011 году США объявили как часть своей киберполитики задекларированное право «реагировать применением кинетического оружия в ответ на некинетическую атаку».

Проецируя все эти тенденции на конкретную тему о роботехнике в войне и шпионаже, можно отметить следующие проблемы. Если линия раздела между шпионажем и войной становится всё более размытой, а для шпионажа используется робот, то при каких условиях это можно считать актом войны?

Например, вполне реалистичная ситуация: если шпионский робот, пытаясь избежать захвата, случайно нанесёт на чужой территории вред иностранному гражданину? Может ли это событие стать искрой для начала вооружённого конфликта? Или совсем правдоподобный сценарий: что было бы, если бы при недавнем случае с дроном ЦРУ, захваченным в Иране, он случайно упал на школу или военную базу?

Несчастные случаи с роботами — это абсолютно правдоподобный и вероятный сценарий происшествий, уже ныне случающихся повсеместно.

В сентябре 2011 небольшой разведывательный дрон-самолёт RQ-Shadow столкнулся с военным транспортным самолётом в Афганистане, заставив того совершить аварийную посадку. Летом нынешнего года при тестовом полёте боевого дрона-вертолёта MQ-8B Fire Scout в США его операторы потеряли управление роботом примерно на полчаса, в течение которых машина пролетела свыше 20 миль в направлении строго ограниченного для полётов воздушного пространства вокруг Вашингтона. Несколько лет тому назад в Южной Африке, при демонстрации новой пушки-робота «Эрликон», способной автоматически поражать цели ПВО, произошёл технический сбой, из-за которого робот открыл огонь по окружающим его людям, убив девять человек и ранив ещё четырнадцать.

Ошибки и несчастные случаи, как известно, происходят с технологиями все время. Поэтому было бы крайне наивно предполагать, что столь сложная вещь, как робот, может быть сделана с гарантированным иммунитетом к подобным проблемам.

Более того, внедряемые ныне боевые роботы с некоторой степенью автономности в своих решениях поднимают закономерные вопросы о том, кто должен нести бремя ответственности за возможный вред и ущерб, наносимый роботом. Даже если этот ущерб наносится случайно, а не предумышленно.

Понятно вроде бы, что сам робот никакой ответственности понести не может (впрочем, кому-то, судя по комментариям Патрика Лина, даже эта мысль отнюдь не представляется совершенно очевидной). Кто тогда должен отвечать? Оператор, запустивший машину? Или программисты, писавшие софт для роботовых «мозгов»? Или же фирма-изготовитель машины? А может, отвечать должен продавец?

Уже сейчас просматриваются намёки на то, что изготовители роботов будут пытаться заранее освободить себя от всякой ответственности. По той же примерно схеме, как это делают в софтверной индустрии с помощью EULA или лицензионного соглашения с конечным пользователем, с которым все наверняка знакомы, поскольку обязаны принять его в качестве обязательного условия при начале использования нового программного обеспечения.

Или же пользователям роботов следует с самого начала категорически настаивать на том, что данные продукты должны быть самым тщательным образом протестированы со стороны изготовителя и иметь доказанную сертификатом «безопасность»?

Это, по идее, выглядит более логично при эксплуатации столь критичного к сбоям оборудования. Например, только представьте себе, что вы при покупке автомобиля обязаны подписать EULA, которое возлагает на вас — как конечного пользователя — всю ответственность за любые возможные сбои в работе механической и электронно-компьютерной частей машины...

Пока что ни все конкретно перечисленные здесь проблемы, ни многие другие из описанных в полном тексте обзора Патрика Лина не решены практически никак.

Хотя явно уже пора ими заняться.

К оглавлению

Дмитрий Шабанов: Марков и Эволюция человека

Дмитрий Шабанов

Опубликовано 28 декабря 2011 года

Наука не убивает душу. Она её открывает и даже в каком-то смысле создаёт. А ещё — берёт её за ручку и выводит из детского сада со сказочными картинками на стенах в огромный и прекрасный мир реальности.

– Александр Марков. Эволюция человека. В 2 кн. — М.: Астрель-CORPUS, 2011.

Не так давно я рассказывал, что к нам на конференцию приезжал Анатолий Протопопов. Одним из последствий его приезда стало то, что он привёз мне двухтомник Александра Маркова «Происхождение человека». Его соавтор, Алексей Вязовский, — москвич; он купил по такому двухтомнику и мне, и Протопопову. Спасибо большое!

Когда-то существенную часть своих доходов я тратил на сбор собственной биологической библиотеки. Прошло время. Библиотеку я растерял, а новые книги покупать перестал. Причина — в электронных книгах. Я когда-то осознал, какой выбор раз за разом делаю в типичной для меня ситуации. Когда я сижу за компьютером или лежу с ноутбуком и хочу свериться с книгой, которая есть у меня и в электронной, и в бумажной формах, я не встаю искать её в шкафу, а открываю на винчестере. Листать, конечно, приятнее живую книгу, но по удобству выигрывает электронная.

Задумался: покупал ли я книги в 2011 году? На подарки — да, себе — нет, кроме того самого двухтомника Маркова, о котором хочу рассказать. Один раз чуть было не купил недешёвый российский университетский учебник, а потом решил вначале посмотреть, нет ли его в Сети. Посмотрел — есть. Покупать не стал. Может, одна из причин того, что книги наподобие «Эволюции человека» Маркова стали исключительно редки, заключается в таком моём поведении (и поведении многих людей, похожих на меня)?

Я нередко сетую на то, что приличной литературы издаётся крайне мало. С научной стало чуть полегче, а с научно-популярной (с акцентом на первое слово), просветительской, обзорной, вводящей в курс каких-то проблем — всё равно очень тяжело. То, что издаётся, за малым исключением, — переводные западные книги. Почему?

Мне когда-то втолковывал ответ один разумный и циничный издатель. Его фирма работает на потоке. Нет смысла пытаться издать какую-то одну заметную на рынке книгу и зарабатывать на ней финансовый и репутационный капитал. Надо каждый месяц производить определённое количество единиц, отслеживая, чтобы норма прибыли с них не снижалась ниже определённого уровня. При этом быстро нащупывается некий оптимальный уровень затрат и усилий. Стоит ли увеличивать редакционные усилия в три раза по сравнению с нормой, чтобы увеличить продаваемость на 10 процентов? Зачем? За это время редакционный отдел может подготовить ещё две такие же книги. Да, многие издательства когда-то планировали выпускать коммерческие и имиджевые книги; но по нынешней жизни по какой-то непонятной случайности до имиджевых раз за разом не доходят руки.