Прикладные проблемы внедрения этики искусственного интеллекта в России. Отраслевой анализ и судебная система - Евгений Михайлович Стырин
3. Одним из привлекательных принципов внедрения ИИ в судебную систему является его объективность. Ряд программ ИИ в судебной системе составлен из расчета нейтрализации дискриминационных ошибок. ИИ-судьи могут обойти известные факторы дискриминационного риска, использованные при человеческой оценке ситуации, а именно принятие во внимание возраста, расы, пола, происхождения, занятости, истории арестов, а также того, где человек живет.
Кейс. При тестировании одной из программ по оценке вероятности совершения террористического акта из совокупности личных данных были удалены сведения о поле, расе, национальной принадлежности, возрасте, религиозном вероисповедании и т. д. Вместе с тем в доступных для программы данных была сохранена информация о родном языке подозреваемых. Программа показала высокий риск совершения террористического акта у всех тестируемых лиц, родным языком которых оказался фарси [Floridi et al., 2018].
Одна из этических проблем вынесения решений ИИ-судьями состоит в том, что в самых разнообразных базах данных по судебным приговорам практически всегда можно обнаружить дискриминационные компоненты. Очевидно, что в программах ИИ могут быть предрассудки, разделяемые их создателями-программистами и другими людьми, которые обслуживают функционал ИИ [Richardson, 2019]. Однако многие более усовершенствованные программы, основанные на нейросетях, способны к обучению и самостоятельному извлечению информации из массива данных. Хотя такие программы могут частично воспроизводить определенные человеческие предрассудки (косвенно через обработку данных, содержащих тот или иной градиент дискриминационных значений), важной особенностью нейросетей является то, что они могут вести себя спонтанно и непреднамеренно. По мере своего обучения они создают собственную сетку смыслов и ценностей. Однако нельзя быть уверенным, что при спонтанном самообучении машина не выработает дискриминационный алгоритм. Это может быть как результатом случая, так и закономерным итогом обработки некоторых данных. Например, если при обработке данных машина заметит, что чернокожих правонарушителей осуждали чаще или решения об оформлении опекунства чаще принимались в пользу женщин, то для ИИ это может сработать в качестве паттерна, по которому он обучится. Данный паттерн ляжет в основу будущих решений нейросетевого ИИ и будет определять его дальнейшее самообучение. Следует понимать, что дискриминация как социальный и этический феномен содержит сложный смысловой и ценностный компонент, который едва ли можно формализовать. Семантический анализ предполагает изначальный ввод ценностной матрицы, однако если данный ввод сам по себе является предвзятым, «прописанным» под определенный интерес или нерепрезентативным по отношению к населению, то это будет источником деформации анализа и прогнозов. Алгоритмизированные системы проверки данных при этом будут воспроизводить решение или даже усиливать предвзятость и, следовательно, дискриминацию. Для ИИ любой принцип выделения может прочитываться как дискриминационный и, наоборот, ни один дискриминационный аспект может не противоречить обычной процедуре выделения. Например, фильтрация дел по годам или странам ничем не отличается от фильтрации дел по возрасту или по полу [Burr, Cristianini, Ladymann, 2018]. Блокировка фильтрации по определенным параметрам, однако, не исключает косвенного извлечения фильтрующей информации из других, разрешенных источников. В частности, высокий процент правонарушений в определенный год или в определенный стране за фиксированный промежуток времени, скорее всего, будет использован ИИ против обвиняемого, который будет иметь отношение к данной стране или году. Поэтому искоренение риска дискриминационных решений становится наиболее трудоемкой этической задачей на пути применения ИИ в рамках правовых решений [Asada, 2019]. Поскольку избежать любой дискриминационной предвзятости по отношению к меньшинствам и уязвимым группам сложно в связи с непредсказуемостью процесса самообучения ИИ, то следует уделять особое внимание механизму обратной связи. Если некое статистическое или вероятностное решение было принято системой, то она должна уметь отчитываться об этом и объяснять понятным образом.
4. Один из принципов использования ИИ в судебной системе – оценка рисков. Так, одна из систем ИИ, используемая судьями США, называется оценкой общественной безопасности. Поскольку ИИ в состоянии обрабатывать огромное количество статистических данных, как и способен применять сложные расчетные операции, недоступные человеку, то обработку любых данных целесообразнее поручать программам. Одним из важных и полезных результатов такой обработки является возможность предсказаний на основе анализа данных. В судебной системе оценка рисков применяется в целом ряде случаев – для профилактики правонарушений, оценке степени опасности правонарушителя с точки зрения будущего, оценка степени возможного ущерба, а также при определении степени наказания. Один из таких инструментов по оценке рисков был разработан частным благотворительным фондом Лауры и Джона Арнольдов, базирующимся в Техасе. На основании обработки большого массива статистических данных указанная программа предоставляет судьям информацию о потенциальных рисках рецидивов со стороны обвиняемых, а также выдает рекомендации для принятия справедливых вердиктов в отношении заключенных [Brożek, Jakubiec, 2017].
Кейс. В ряде американских судов успешно внедрена ИИ система освобождения под залог. Согласно традиционному применению этой меры, судья устанавливает достаточно высокую сумму залога для обвиняемых во избежание возможного их уклонения от явки в суд.
ИИ стал применяться для расчета залоговой суммы, при установлении которой ИИ проводит оценку риска неявки. Для этого ИИ использует данные о прошлых судимостях и/или арестах, сведения о различных штрафах, административных нарушениях, просрочке кредитов, а также уровне образования, доходов, престижности района проживания, семейном статусе и проч. На основании большого числа вводных биографических данных и личных сведений о человеке производится оценка риска его неблагонадежности и степени законопослушности. В соответствии с полученным коэффициентом законопослушности ИИ и устанавливает размер залоговой суммы. В рамках данной системы, например, в судах Нью-Джерси оценка рисков активно применяется судьями для вынесения собственных вердиктов. На первом слушании, где из тюрьмы обвиняемые предстают перед судом при помощи видеоконференции, оценка риска предоставляется судье. Обвиняемые с более низкими оценками освобождаются прямо из зала суда до следующего судебного заседания.
Программа компьютеризированной оценки рисков правонарушений при принятии судебных решений является одной из самых этически болезненных. Ведутся споры о том, является ли этичным оценивать активность человека в будущем исходя из его прошлых или настоящих действий. Согласно одному из аргументов против такой оценки мы не можем рассчитывать на полноту данных о действиях и поступках человека, чтобы иметь право прогнозировать его дальнейшее поведение. Та выборка, которой может располагать соответствующее лицо, выносящее оценку (например, судья или
