Компьютерра - Журнал «Компьютерра» № 35 от 26 сентября 2006 года

13-я КОМНАТА: Этика машин и механизмов

Автор: Леонид Левкович-Маслюк

В этом номере вы найдете статью о «биржевых роботах» — компьютерных программах, зарабатывающих для своих владельцев деньги на фондовом рынке. Соотношение квалификации электронных и живых трейдеров сейчас такое же, как было у шахматистов и шахматных программ накануне матча Каспарова с Дип Блю. Как известно, тогда победил компьютер. Есть признаки, что и на рынке акций электронные финансисты вот-вот будут доминировать. Особых бед человечеству это вроде бы не сулит — но есть ли «темная сторона» у интеллектуальных успехов машин в других занятиях? В какой еще игре они скоро переиграют нас, — и чем это нам грозит?

Хорошо, что подобные вопросы приходят в голову не только празднолюбопытствующим наблюдателям. О том же думают разработчики и теоретики систем искусственного интеллекта. И не просто думают, а работают над ответными мерами — над защитой от непредсказуемых капризов машинного разума. Пророчества Айзека Азимова с его знаменитыми законами роботехники (помните — «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред»?) сбываются в самом прямом смысле. Просматривая свежие издания по ИИ, я обнаружил целую подборку статей, посвященных фантастическому предмету — машинной этике (IEEE Intelligent Systems, July/August 2006, по материалам симпозиума по машинной этике Американской Ассоциации искусственного интеллекта AAAI, состоявшегося прошлой осенью).

С человеческими мерками к компьютерным системам начали подходить давно. Например, обсуждение вопросов о (потенциальных) юридических правах и обязанностях вычислительных машин можно встретить даже в специальных и популярных юридических изданиях, далеких от научной фантастики. Но практика дает все основания для сдержанной тревоги. По исследовательской программе армии США в DARPA полным ходом идут работы по созданию боевых роботов огневой поддержки. Вспомним недавний триумф другой исследовательской программы, гражданской, — автономно управляемый компьютером автомобиль проехал по пересеченной местности 132 мили (можно считать, «площадку сдали», следующий великий вызов — «сдать город»; у нас это легко бы сделал любой финансовый робот, но в Штатах придется идти другим путем). Ну а корейцы поставили перед собой совсем уж амбициозную задачу — к 2010 году обеспечить каждую семью хоть одним роботом. Успехи такого рода проектов и подстегивают исследования по машинной этике — встроенным механизмам защиты людей («и других машин», уточняют пунктуальные авторы) от неадекватного поведения систем, управляемых компьютером.

Главным аппаратом для внедрения этики в цифровые мозги сегодня считается деонтическая логика (deontic logic), которая формализует понятия «обязательно», «разрешено» и т. п. Такие конструкции исследовали еще Аристотель и Лейбниц — а сегодня на основе этого аппарата уже разработана процедура инсталляции «любого заданного множества этических принципов в процедуру принятия решений автономной системы». Вот так, без сантиментов — любого. Прямо как в жизни. Но что особенно восхитительно — исследована и методика компьютерного воплощения (теми же средствами) кантовского «категорического императива», некоей абсолютной нравственности на уровне битов и байтов. Что ж, как и следовало ожидать, принцип «что заложишь, то и получишь» остается в силе.

А стало быть, этика, сведенная к битам и байтам, все-таки не совсем то, чего иногда наивно ждешь от ближнего, да и от самого себя. До азимовских роботов нам всем еще расти и расти.

НОВОСТИ: Лицо и изнанка безопасности

Автор: Киви Берд

Приход новой ОС Microsoft Windows Vista — хоть и неоднократно переносившийся — грядет, как бы там ни было, с неумолимостью смены времен года. Но чем ближе становится эта дата, тем острее ощущается давний конфликт между корпорацией Microsoft и властями объединенной Европы, с помощью антимонопольных механизмов пытающихся то так, то эдак поставить под контроль деятельность софтверного гиганта в странах Евросоюза. Уже пошли разговоры о возможной принудительной задержке вывода новой ОС на европейский рынок, если корпорация и дальше будет артачиться.

Любопытно, что о сути претензий Европы к Microsoft по поводу Vista до сих пор не известно ровным счетом ничего. Руководство корпорации, летом уже обложенное изрядным штрафом в 280 млн. евро за неподчинение решению европейского антимонопольного суда о раскрытии особенностей работы серверных протоколов (помимо первого полумиллиардного штрафа, наложенного в марте 2004 года), сейчас настаивает на получении от ЕС четких инструкций — что можно делать на континентальном рынке, а что нельзя. Евросоюз, в свою очередь, ссылается на отправленный корпорации список из 79 вопросов, которые имеются у Еврокомиссии относительно Vista. В Microsoft же на это заявляют, что нуждаются в ответах, а не формальном списке вопросов…

Чиновники Евросоюза не желают оглашать детали, не понравившиеся им в новой ОС Windows. Но есть достоверная информация, что камнем преткновения стали развитые функции безопасности Vista. Знакомясь с подсистемами защиты, встроенными в новую ОС, нетрудно понять, что могло вызвать озабоченность антимонопольных инстанций Европы.

Подсистема Windows Defender — инструмент для защиты от шпионского ПО — является частью всех версий Vista. Аналогичные по функциональности продукты предлагают многие разработчики, однако вплоть до последнего времени сторонние программы при инсталляции не могли сами отключать Defender.

Windows Security Center — подсистема, оценивающая и докладывающая пользователю о текущей защищенности ПК. Microsoft заверяет, что Vista «нейтрально» оценивает статус любой программы безопасности. Однако разработчики стороннего ПО гораздо меньше уверены в беспристрастности этого инструмента, коль скоро сама Microsoft стала ныне могущественным конкурентом и на этом поле.

PatchGuard — специфическая подсистема 64-битной версии Vista, позволяющая оградить ядро от внешних воздействий. Разработчики средств безопасности считают, что для эффективной защиты машины они должны иметь доступ к системе на уровне ядра, а PatchGuard искусственно ограничивает функциональность и качество их программных продуктов.

BitLocker включена в состав версий ОС Vista Ultimate и Vista Business, давая пользователям возможность шифровать данные на жестком диске. BitLocker уже имеет репутацию чрезвычайно надежного и невскрываемого средства криптозащиты, а будучи встроенным в систему, это ПО оставляет за бортом возможных конкурентов.

Из публичных комментариев Microsoft по поводу конфликта с ЕС следует, что европейскую администрацию не устраивает столь глубокое встраивание средств безопасности в ОС Vista. А корпорация, в свою очередь, хотела бы донести до пользователей свой продукт в том виде, в каком он был задуман и разработан — с максимальным упором на безопасность.

Хотя рисуемая Microsoft картина и выглядит правдоподобно, в ней упущен один существенный нюанс. А именно политическая ситуация в мире и тесно связанные с нею особенности деятельности спецслужб США. Не секрет, что ради национальной безопасности американская госадминистрация стремится контролировать технологии, связанные с коммуникациями и хранением данных. С одной стороны, это тотальный перехват и анализ компьютерных, телефонных и прочих систем связи, с другой — максимальное ограничение доступа к любой информации, так или иначе касающейся вопросов безопасности.

Европа в последнее время имела возможность многократно и весьма болезненно столкнуться с этой малоприятной позицией. Здесь и история с американским мониторингом международной банковской сети SWIFT, базирующейся в Брюсселе. И широкомасштабный тайный перехват национальных сетей сотовой связи Греции и Италии, следы от которого выразительно ведут в США. И не менее скандальная история из смежной области — с категоричным отказом американцев предоставить Великобритании коды программ, управляющих новейшим истребителем F-35 Joint Strike Fighter, хотя англичане вложили в разработку этого самолета многие сотни миллионов долларов.

Возвращаясь же к проблемам вокруг Windows Vista, можно напомнить слова, сказанные весной этого года видным независимым экспертом по компьютерной безопасности, кембриджским профессором Россом Андерсоном, выступавшим перед членами британского парламента. Андерсон говорил об очень сильной криптозащите данных в Vista и о том, что без тайного «черного хода» в эту систему у английских правоохранительных органов практически нет шансов получить доступ к данным в компьютерах преступников, если там будет BitLocker.

Трудно поверить, что американская госадминистрация, решительно сражающаяся с терроризмом на всех фронтах, дозволила бы общемировые продажи Vista с ее мощной криптографией, не обеспечив себе заранее «черный ход» в BitLocker. Однако корпорация Microsoft продолжает настаивать на отсутствии каких-либо тайных лазеек в ее системе.