Общество контроля. Как сохранить конфиденциальность в эпоху тотальной слежки - Джон Фасман
22 марта 2017 года Кимберли Дель Греко, заместитель директора отдела информационных служб уголовного правосудия ФБР, в показаниях надзорному комитету палаты представителей заявила, что система, которую в то время использовали ее агенты, как минимум в 85 % случаев выдает правильного кандидата из пятидесяти наиболее подходящих[110]. Это не очень хорошо.
Вопрос для судебных разбирательств: если человек арестован на основании ответа, сгенерированного алгоритмом распознавания лиц, который оценил его как сорок пятое из пятидесяти наиболее вероятных совпадений, как должен адвокат использовать эту информацию – и как ее должны взвешивать судья и присяжные? Как правило, полиция утверждает, что распознавание лиц используется лишь для получения зацепок, а не доказательств. Предположительно полиция и прокуратура скажут, что в этом случае зацепка, исходящая от сорок пятого кандидата, сработала, а первые сорок четыре – нет. И если полиция арестовала нужного человека, кого волнует, какой у него номер в списке? Но это противоречит утверждениям об эффективности данной технологии.
В июле 2018 года ACLU Северной Калифорнии создал базу данных для распознавания лиц, используя общедоступные фотографии и Rekognition – программу для распознавания лиц с глубинным обучением. Используемая полицейскими департаментами и крупными корпорациями система Rekognition является одним из результатов вхождения Amazon Web Services на рынок видеонаблюдения (Amazon также владеет компанией Ring). Как уже упоминалось в главе 1, Американский союз гражданских свобод (ACLU) пробил всех действующих членов Конгресса по этой базе данных, используя настройки Amazon по умолчанию. База данных ошибочно идентифицировала двадцать восемь членов Конгресса как лиц, находящихся под арестом. При этом непропорционально большую долю (40 %) составляли небелые люди. В их числе оказались Джон Льюис, герой движения за гражданские права, который с 1987 года представляет часть Атланты, и Луис Гутьеррес, который в течение двадцати шести лет представляет части Чикаго.
Вице-президент Amazon по вопросам искусственного интеллекта Мэтт Вуд не принял результаты этого эксперимента, заявив, что ACLU выставил типовой для Rekognition порог уверенности по умолчанию в 80 %, а не в 99 %, который система рекомендует для правоохранительных органов. Более того, по его словам, Rekognition постоянно совершенствуется. В одном коротком посте он дважды упомянул, что система Rekognition используется для борьбы с торговлей людьми (хотя ни разу не объяснил, как именно)[111]. Но любая вещь может быть в чем-то вредной, а во всем остальном полезной. Ракеты класса земля – воздух помогают выигрывать войны, но это не значит, что такая ракета нужна моему соседу. При разрешении мелких споров по уходу за газоном это оружие куда менее продуктивно.
Эксперимент Американского союза гражданских свобод – лишь одно из многих исследований, выявляющих расовые и гендерные предубеждения в алгоритмах распознавания лиц. Иногда эти предубеждения видны и без всяких исследований: в 2015 году потребительское приложение Google для распознавания лиц ошибочно идентифицировало двух афроамериканцев как горилл.
В начале 2018 года докторантка Массачусетского технологического института Джой Буоламвини и исследовательница искусственного интеллекта из Google Тимнит Гебру опубликовали статью, в которой анализируется, насколько хорошо три ведущих алгоритма распознавания лиц – IBM, Microsoft и Megvii, более известный как Face++, – считывают гендерные различия внутри рас. Они обнаружили, что при идентификации женщин все три алгоритма ошибаются примерно в 2,5 раза чаще, чем при идентификации мужчин, и темнокожих людей определяют неправильно почти в два раза чаще, чем светлокожих. Наихудшие результаты получились, когда программы пытались распознать лица темнокожих женщин[112].
Почему алгоритмы хуже справляются именно с такими задачами, неясно, но это может быть как-то связано с теми наборами данных, на которых они обучаются. Возможно, в этих наборах больше мужчин, чем женщин, и больше белых людей, чем небелых, а алгоритм лучше всего работает с наиболее знакомыми характеристиками.
Это говорит о том, что расовые и гендерные предубеждения при распознавании лиц можно снизить хотя бы отчасти, если обучать алгоритмы с использованием более разнообразного набора лиц (и в итоге алгоритмы будут одинаково плохо определять представителей всех полов и этнических групп). Похоже, в IBM к этой теории отнеслись с доверием. В начале 2019 года компания выпустила массив данных из миллиона разнообразных лиц, аннотированных десятью различными способами, чтобы дать алгоритмам распознавания лиц более надежную отправную точку[113]. Что касается компании Microsoft, то она, согласно «Нью-Йорк таймс», в ответ на выводы Буоламвини заявила, будто инвестирует в исследования, призванные распознавать, понимать и устранять предвзятости[114]. (Подобно Amazon и IBM, Microsoft призвала правительство регулировать распознавание лиц, хотя при сегодняшней неэффективности Конгресса этот призыв выглядит как просто игра на публику.)
В целом эти алгоритмы, по-видимому, улучшаются. Национальный институт стандартов и технологий (NIST) как нерегулируемое государственное агентство по стандартизации при Министерстве торговли регулярно тестирует коммерчески доступные алгоритмы распознавания лиц. В 2018 году он оценил 127 алгоритмов от 39 разных разработчиков и обнаружил, что в совокупности они в 20 раз точнее, чем были в 2014 году[115].
В отчете это улучшение объясняется использованием сверточных нейронных сетей. В нем говорится, что распознавание лиц претерпело промышленную революцию, и алгоритмы становятся все более толерантными к изображениям низкого качества. Другими словами, по мере улучшения системы распознавания лиц растет ее способность точно идентифицировать людей по дефектным фотографиям. Дни, когда нам приходилось останавливаться и поворачиваться лицом к камере, чтобы она нас узнала, скоро покажутся таким же далеким прошлым, как эпоха дагерротипов, когда нужно было неподвижно позировать по десять минут.
Но общее улучшение все еще может маскировать малозаметные различия. Факт, что распознавание лиц стало более точным, не означает, что все алгоритмы одинаково хорошо определяют людей всех рас и полов. Оценка, опубликованная Национальным институтом стандартов и технологий в декабре 2019 года, показала, что все 189 коммерчески доступных алгоритмов от 99 фирм идентифицировали выходцев из Африки и Восточной Азии значительно хуже, чем европейцев. (Это не относится к алгоритмам, разработанным в Китае, которые показали низкий уровень ложноположительных результатов для восточных азиатов – это позволяет предположить, что обучение сети на широком спектре лиц может уменьшить расовый разрыв в ложной идентификации[116].)
Какие-то системы будут работать лучше остальных (хотя качество некоторых из них остается загадкой, например, Amazon не отправила программу Rekognition в NIST для тестирования). Однако без адекватных критериев и обязательных защитных правил ничто не заставит полицию выбрать менее предвзятый алгоритм, если он, например, дороже более предвзятого.
