Деньги не пахнут 7 - Константин Владимирович Ежов
– Знакомо. Произвело впечатление в работе Бострома.
У исследователя дёрнулся глаз – привычная самоуверенность дала сбой. Казалось, ожидал услышать максимум школьный пересказ из блога.
– Идея точно бьёт в цель: искусственный интеллект не улавливает человеческих ценностей, зато цепляется за цель намертво. И в погоне за ней вполне способен снести инфраструктуру, обнулить ресурсы или обратить людей в сырьё – всё во имя производства скрепок. Прекрасная иллюстрация того, как невинный запрос превращается в катастрофу.
Тишина накрыла всех короткой волной.
– Раз знакомо, значит, и решения наверняка приходилось обдумывать, – произнёс исследователь уже без высокомерия.
– Разумеется. Чтобы избежать подобных сценариев, системе придётся обучаться человеческим ценностям.
Нейтральный свет ламп слегка мерцал, отбрасывая мягкие тени на белые стены, а воздух был густым, с лёгким запахом кофе и свежей бумаги. Но его прервали, голос звучал с необычным возбуждением.
– Это не так просто. Человеческие ценности крайне контекстуальны и невероятно сложны. Практически невозможно зафиксировать их в статической системе. Даже принцип "не навреди" требует бесконечных интерпретаций.
– Неужели нельзя разработать достаточные механизмы безопасности?
– Для высокоинтеллектуальной системы даже эти механизмы могут быть нейтрализованы. Как тогда удерживать контроль?
Ни слова лишнего, но каждое звучало, как вызов.
– Метод есть…
Пауза. В комнате повисло напряжение, словно воздух стал плотнее.
– Интегрировать обратную связь от людей в процесс обучения. Не просто данные, а систему, которая усваивает человеческие предпочтения и понимает контекст.
Слова повисли в воздухе, заставив взгляды снова остановиться на говорившем. Лица исследователей изменились: удивление, интерес, лёгкая тревога. Это было Усиленное обучение с человеческой обратной связью – RLHF.
Для 2023 года концепция известная любому инвестору в AI, но здесь, в начале пути, она воспринималась как открытие.
– Нет необходимости явно прописывать все ценности. Система наблюдает за поведением людей и делает выводы о контексте…
– Идея интересная, но на практике сложно реализуемая. Даже с моделями с подкреплением ресурсы и так на пределе. Чтобы интегрировать обратную связь, нужен двух- или многоступенчатый подход, верно?
Прерывание было естественным. Голос мог казаться критичным, но это был обычный экспертный разбор, глубокий и увлекающий.
Каждое новое слово укрепляло ощущение, что теперь не outsider, а коллега.
– Недавно наткнулся на интересную статью о новом механизме, не RNN и не LSTM…
– Ты имеешь в виду механизмы на основе внимания! С использованием весов…
Вскоре комната наполнилась оживлёнными техническими обсуждениями, голоса перекликались, споры, аргументы, рисование схем на белой доске. Тактильное ощущение ручки, скользящей по маркерной поверхности, звук щелкающего маркера и лёгкий запах растворителя создавали атмосферу лабораторного творчества.
Вдруг один из исследователей посмотрел пристально, словно осознал что-то важное, и спросил:
– Ты серьёзно настроен?
Серьёзность была не театром, а осознанием будущего.
С этого момента восприятие стало ясным: богатство, понимание AI, готовность действовать – всё на одном уровне с ними.
После паузы Алекс заговорил, наконец:
– На самом деле, причина приглашения ясна. Хотим создать организацию для безопасного развития AI и обсуждения сопутствующих вопросов.
И затем прозвучало ключевое:
– Станешь ли частью команды?
Приглашение состоялось, но важно было понять – с какой ролью.
– Если организация основана с благими намерениями, могу вложить средства. Но если речь о большем… хотелось бы знать, какую конкретно роль предполагаете.
– Не слишком сложно. Как показали твои слова, можешь вносить идеи.
Улыбка растянулась естественно. Это был сигнал: не просто инвестор, а полноправный участник стратегического процесса, с возможностью влиять на решения и направление. Иными словами, место в совете директоров.
Алекс продолжил:
– Кроме того, нужна финансовая консультация для расширения. Основная проблема сейчас – финансирование. Вычислительные мощности для таких исследований огромны…
– Не беспокойтесь о расходах. Я возьму это на себя.
Выражение лица Алекса просветлело, но затем он замялся:
– Тем не менее, нельзя полагаться только на тебя, Шон. На самом деле, планировал скоро связаться со Старком.
– Старк?
Имя само по себе вызывало паузу. Аарон Старк – магнат, который перевернул индустрию электромобилей и частных космических полётов. (Ну, вы поняли про кого речь https://author.today/work/393504 )
Но вопрос остался: почему именно сейчас?
Глава 13
Имя Аарона Старка само по себе не вызывало особого удивления. В прошлой жизни фигурировал среди основателей Next AI, так что его появление было ожидаемым… но не настолько рано.
Внутри кольнуло странное ощущение – словно время сдвинулось. Ещё слишком рано. По нормальному ходу событий первая встреча Старка с Сандером должна была случиться летом 2015-го, когда воздух в Вашингтоне плотный от влажной жары, а Белый дом гудит от политических интриг. До этого момента оставались месяцы.
Мысли побежали вперёд, выстраивая хронологию его поступков. Этот человек всегда относился к искусственному интеллекту с опаской, почти с суеверным трепетом. Но ключевая перемена произошла в 2013 году, на его собственном дне рождения, где под хруст бокалов и запах дорогого табака он завязал разговор с одним крупным техно-магнатом. Старк, как обычно, высказал тревогу насчёт "возможного вытеснения человечества" и "риска оцифровки сознания". Но услышал в ответ не сарказм и не спокойные заверения, а фразу, от которой по спине пробежал холодок.
– Разве оцифрованное сознание не остаётся частью человечества? Если его можно перенести в машину – что это, если не новая ступень эволюции?
Эти слова впечатали в сознание Старка чувство угрозы. Человек, который видел даже конец человечества как прогресс! После той беседы в душе Старка поселилась тревога, не дававшая покоя.
А уже в 2014 году мир всколыхнула новость: компания того самого опасно мыслящего техногиганта попыталась поглотить BigMind – стартап, владевший непревзойдёнными технологиями глубокого обучения и обучения с подкреплением. Перспектива того, что подобная сила окажется в руках людей с подобной философией, показалась Старку слишком рискованной. Пытался помешать сделке, но силы не хватило.
Чувствуя, как время ускоряется, Старк начал искать союзника – кого-то, кто понимал бы опасность развития ИИ. Сначала попытался поговорить с президентом; тот вежливо выслушал, кивнул, но влезать в дело не захотел. В поисках нового хода судьба свела Старка с Алексеем Сандером. Разговоры между ними постепенно оформились в идею – создать организацию, которая займётся безопасностью ИИ. Итогом стала Next AI, появившаяся на свет в декабре того же года.
Но их союз долго не продержался. В 2018-м Старк покинул компанию. Официальной версией называли "конфликт целей", но настоящая причина крылась в попытке перехватить контроль над организацией.
