Елена Ларина - Роботы-убийцы против человечества. Киберапокалипсис сегодня
40. В соответствии с предполагаемым сегодня сценарием операторы будут, по крайней мере, оставаться элементом, так сказать, «расширенного контура управления»: они будут программировать конечные цели в роботизированных системах и принимать решение о приведении систем в действие и, если необходимо, деактивировать их, а автономные оружейные системы будут преобразовывать такие цели в задачи и выполнять их, не требуя дальнейшего вмешательства оператора.
41. Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены решения может в реальных условиях быть весьма ограниченной, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может на практике быть недоступной для контролера. В таких условиях люди де-факто находятся вне контура управления, и тогда машины на деле представляют собой БАРС.
42. Термин «автономный» следует отличать от терминов «автоматический» или «автоматизированный». Автоматические системы, такие, как, например, бытовое оборудование, работают в структурированной и предсказуемой среде. Автономные системы могут функционировать в открытой среде в неструктурированных и динамичных условиях. В этом случае их действия (подобно действиям людей) могут в конечном счете быть непредсказуемыми, особенно в таких хаотичных ситуациях, как вооруженный конфликт, и тем более когда их действия зависят от действий других автономных систем.
43. Термины «автономия» и «автономный», как они используются в контексте робототехники, могут вводить в заблуждение. Они не имеют ничего общего со «свободной волей» или «нравственностью», как эти понятия используются в процессе принятия решений людьми. Более того, хотя соответствующие технологии развиваются экспонентным образом, и полная автономия непременно будет означать через 10 лет все меньшую вовлеченность человека по сравнению с сегодняшним днем, о разумных роботах, или мощном искусственном интеллекте, в настоящее время говорить не прихо-дится[17].
2. Современная технология
44. Технология в некоторых отношениях сегодня, возможно, не так развита, как об этом бытуют представления в массовой культуре, в которой роботы нередко наделяются свойствами, аналогичными человеческим, что может создать соблазн у международного сообщества ошибочно полагаться на их способности. Однако следует также напомнить о том, что в некоторых отношениях технология по своим возможностям может значительно превосходить способности человека. Технология развивается экспонентно, и невозможно с уверенностью предсказать будущее. Вследствие этого почти невозможно определить, насколько близко мы подошли к тому моменту, когда будут созданы полностью автономные роботы, готовые к применению.
45. Хотя разработки полностью автономных боевых роботов ведутся в основном под покровом секретности, такие роботы пока не были приняты на вооружение. Вместе с тем роботизированные системы с различной степенью автономности и смертоносной силы в настоящее время уже используются, в частности следующие:
• Американская система «Фаланкс» для эсминцев класса «Эгис» автоматически обнаруживает, сопровождает и перехватывает угрозы ударов с воздуха, такие, как противокорабельные ракеты и самолеты[18].
• Американская система лазерной обороны от ракетного, артиллерийского и минометного обстрела (С-RAAM) может в автоматическом режиме уничтожать летящие ракеты, снаряды и мины[19].
• Израильский беспилотник «Гарпия» является неуправляемой автономной оружейной системой, предназначенной для обнаружения и уничтожения радаров противника[20].
• Английский прототип реактивного боевого беспилотника «Таранис» может в автономном режиме искать, опознавать и обнаруживать противника, но может наносить удары по цели только по приказу командования миссии. Он может также обеспечивать свою защиту от самолетов против-ника[21].
• Прототип боевого беспилотника «Х-47В», разработка которого ведется компанией «Нортроп-Грумман» по заказу ВМС США, должен продемонстрировать способность автономного взлета с авианосца и посадки на авианосец, а также полета в автономном режиме[22].
• Охранно-наблюдательные роботы компании «Самсунг Теквин», размещенные в демилитаризованной зоне между Северной и Южной Кореей, могут обнаруживать цели с помощью инфракрасных сенсоров. В настоящее время они управляются людьми, но могут работать в автоматическом режиме[23].
46. В военных документах ряда государств описываются программы разработок воздушных, сухопутных и морских роботизированных систем оружия с разной степенью автономности. На их разработку выделяются большие суммы денег[24].
47. Представляется очевидным, что в случае принятия на вооружение БАРС они не будут, по крайней мере на начальном этапе, полностью заменять солдат, но им будут скрытно поручаться задачи, соответствующие их конкретным боевым возможностям. Их наиболее вероятное применение в условиях вооруженного конфликта будет заключаться в той или иной форме взаимодействия с операторами[25], хотя характер их функционирования будет, тем не менее, оставаться автономным. Поэтому уместно поставить вопрос о том, в какой мере существующая нормативно-правовая база является достаточной для того, чтобы регулировать такой сценарий, а также сценарий, при котором БАРС применяются без какого-либо участия человека. На основе имеющегося ныне опыта с БПЛА есть основания полагать, что государства будут, среди прочего, стремиться использовать БАРС для прицельного уничтожения людей.
48. В силу самого характера робототехнических разработок такие разработки обычно с трудом поддаются регулированию, особенно в области контроля над вооружениями. Трудно выявить четкие критерии. Робототехнические разработки носят инкрементный характер. Кроме того, между военными и невоенными технологиями существует значительная степень преемственности[26]. Одни и те же роботизированные платформы могут иметь как гражданское, так и военное применение, и могут использоваться в небоевых целях (например, для обезвреживания самодельных взрывных устройств) либо иметь боевое оснащение большой поражающей силы (например, БАРС). Более того, БАРС обычно имеют комбинированный характер и представляют собой соединение разных технологий многоцелевого назначения.
49. Большое значение, придаваемое свободе научного поиска, служит мощным сдерживающим средством в деле регулирования научно-исследовательских и опытно-конструкторских разработок в данной области. Тем не менее, «ползучее наращивание технологий» в этой области может со временем и почти незаметно привести к ситуации, несущей в себе серьезную угрозу основным человеческим ценностям и международной системе безопасности. Поэтому международному сообществу крайне важно провести анализ современного положения дел и инициировать ответственный процесс, имеющий целью держать ситуацию под контролем и при необходимости принимать меры по регулированию такой технологии по мере ее развития.
3. Факторы, способствующие и препятствующие разработке БАРС
50. Некоторые из причин, в силу которых следует ожидать непрекращающееся стремление разрабатывать БАРС, равно как и сдерживающие факторы, мешающие реализации этого стремления, справедливы также и в более широком плане для разработки других систем, действующих без участия человека. Они предоставляют громадные военные и иные преимущества тем, кто их применяет, и являются элементом более широкого процесса автоматизации военных действий и мира в целом.
51. Беспилотные системы позволяют обеспечивать проецирование большей силы (сохранение жизни своих собственных солдат) и повышение боевых возможностей войск (позволяя решать те же задачи персоналом меньшей численности). Они могут расширять поле боя за счет более легкого проникновения в тыл противника и экономного использования людских и финансовых ресурсов. Беспилотные системы могут находиться на дежурстве значительно дольше людей и выдерживать другие перегрузки, такие как многократное увеличение силы тяготения. Они могут содействовать улучшению качества жизни солдат стороны, использующей такие системы: беспилотные системы, особенно роботизированные, все больше ориентированы на выполнение так называемых грязных, тупых и опасных задач[27].
52. Роботы могут в некоторых ситуациях служить гуманитарным целям. Хотя появление в настоящее время беспилотных систем можно объяснять желанием государств не связываться со сложными проблемами взятия противника в плен, будущие поколения роботов смогут использовать меньше убойной силы и тем самым приводить к меньшим человеческим жертвам. Технологии могут предоставить креативные альтернативы смертоносности, например, способы нейтрализации или обезоруживания цели[28]. Роботы могут программироваться таким образом, чтобы оставлять цифровой след, что в перспективе позволяет контролировать их действия лучше, чем это оказывается возможным в случае действий солдат, и в этом смысле повысить подотчетность.
