ИИ-агент может все улучшить или вызвать катастрофу

После нескольких дней хаоса, сотен смертей и исчезновения триллионов долларов с фондовых рынков выясняется, что Великий каскад агентов искусственного интеллекта в июле 2028 года начался так же, как и крупные сбои в работе Интернета в октябре и ноябре 2025 года: с небольшой ошибки у крупного провайдера, от которого зависели многие из крупнейших в мире интернет-сервисов в управлении своим трафиком.

Но за последние три года мир полностью обратился к агентному искусственному интеллекту — системам, которые могут принимать и выполнять решения без вмешательства человека.

Многие интернет-компании создали агенты искусственного интеллекта, которые автоматически запускали серверы в альтернативных облачных компаниях, когда их основной сервис отключался. Это была их судьба и судьба всего мира.

Агенты ИИ в других облачных компаниях интерпретировали поток входящих запросов как возможную кибератаку. Они заблокировали новых клиентов и ограничили трафик для существующих. Компании, имеющие локальные серверы, перешли на них, но из-за резкого роста потребления электроэнергии агенты ИИ в энергораспределительных компаниях стали вводить периодические отключения электроэнергии.

Цифровой трафик превратился в физический трафик, поскольку миллионы подключенных к облаку автономных транспортных средств остановились, оставив машины скорой помощи и пожарные машины застрявшими в пробках.

Крупные финансовые учреждения разработали процедуры, позволяющие избежать втягивания в хаос. Но миллионы розничных инвесторов настроили агентов искусственного интеллекта, предоставляемых их торговыми платформами, для использования необычных колебаний рынка. Тысячи изобретательных торговых стратегий расцветали, смешивались и преследовали друг друга.

Возник своего рода веселый хаос: акции выдвигались и грубо переставлялись, как танцоры на шумной свадебной вечеринке. Потребовалось временное закрытие всех рынков и огромные усилия ИТ-команд, прежде чем было восстановлено хоть какое-то подобие порядка.

Непредсказуемость

Это, конечно, выдумка, и о деталях, несомненно, могли бы поспорить многие эксперты из разных отраслей. Но что еще более важно, агентный ИИ вводит уровень непредсказуемости, к которому никто – и в первую очередь правительства – не готов.

Две недавние публикации подчеркивают это. «Перестройка демократии» Брюса Шнайера и Натана Сандерса представляет собой потрясающий список способов использования искусственного интеллекта в политике, законодательстве, правительственных операциях и судебной системе, а также то, как каждое из этих применений может пойти не так.

«Агентное государство», доклад группы под руководством Лукаса Ильвеса, бывшего директора по информационным технологиям Эстонии, представляет собой столь же потрясающий список способов, которыми правительство может преобразовать себя к лучшему, приняв агентный ИИ, в сочетании с предупреждениями о том, насколько далеко оно отстанет, если оно этого не сделает.

Обе работы, конечно, весьма умозрительны. Ильвес и его коллеги заставляют нас представить мир, в котором законодатели настолько верят в ИИ, что чувствуют себя комфортно, диктуя широкие политические цели (например, контроль качества воздуха), которые агенты «постоянно переводят» в «адаптивные правила в реальном времени… по мере поступления новых данных».

Шнайер и Сандерс описывают агентов ИИ, которые постоянно отслеживают всю отрасль на предмет признаков несоблюдения нормативных требований и сообщают инспекторам, где следует вмешаться, или которые позволяют истцам составлять и подавать собственные иски. (Потенциальные ловушки: промышленность разработает своих собственных агентов искусственного интеллекта, которые преуспевают в поиске лазеек, в то время как правовая система будет завалена судебными исками, если она не сможет быстро адаптироваться).

Опять же, вы можете посмеяться над конкретными примерами. И опять же, главное не детали, а разнообразие. Даже если будет реализована лишь часть заявлений, задуманных этими авторами, мы столкнемся с миром, который будет еще более непредсказуемым, чем сегодняшний.

Каскадный эффект

Поскольку мы все становимся все более зависимыми от агентов ИИ, риск заключается не в том, что ваш агент может сделать для вас плохую работу. Если он забронирует вам не тот рейс или переплатит за яйца, как это сделал один прототип, в следующий раз вы будете осторожнее доверять ему.

Скорее, риск представляет собой каскадный эффект, когда миллионы или миллиарды агентов всех видов, каждый из которых делает именно то, что должен, непреднамеренно вступают в сговор способами, которые никто не может предсказать. Думайте об этом как о «внезапном крахе» рынка, который может произойти не только в финансовой системе, но и во всех сетевых системах мира.

Новая область исследований под названием «многоагентная безопасность» пытается выявить некоторые варианты того, почему что-то может пойти не так. Возможно, самым полным исследованием на сегодняшний день является отчет Cooperative AI Foundation, опубликованный ранее в этом году.

Читать это очень страшно. Исследования показывают множество способов, которыми агенты, работающие вместе, могут вступать в сговор, обманывать своих операторов-людей, подвергаться эксплуатации (людьми или другими агентами), вступать в гонку вооружений друг с другом, распространять дезинформацию, манипулировать системами и совершать другие вредные действия для достижения намеченных целей.

Хуже того, в отличие от обычного программного обеспечения, современные агенты ИИ могут обучаться и перепрограммировать себя на лету, что еще больше затрудняет понимание того, что происходит и как это остановить.

Незамеченный

Однако мультиагентная угроза до сих пор осталась незамеченной. Если вы поищите в Интернете «риски агентов ИИ», вы в основном найдете отчеты о том, что организации могут сделать, чтобы защитить себя от атак агентов ИИ или их собственных агентов, вышедших из-под контроля.

Это происходит не потому, что эти риски наиболее вероятны, а потому, что они наиболее выгодны. Организации будут платить, чтобы защитить себя, и большинство этих отчетов готовятся консалтинговыми фирмами и компаниями облачной инфраструктуры, которые конкурируют за свой бизнес.

С другой стороны, предотвращение системных рисков — задача правительств. Но, похоже, на политическом уровне не ведется серьезная дискуссия о том, что правительствам следует делать – по крайней мере, публично.

Что они могли сделать? В отчете Cooperative AI Foundation есть некоторые предложения. Например, правительствам необходимо финансировать больше исследований – особенно для выявления возможных сценариев агентного хаоса в реальном мире.

Несколько национальных агентств по искусственному интеллекту, в основном из Европы и Тихоокеанского региона, объединились год назад, чтобы создать Международную сеть институтов безопасности искусственного интеллекта, которая недавно начала проводить такого рода анализ. Но пока их сценарии не соответствуют тем системным рискам, о которых я говорю.

Сама индустрия искусственного интеллекта также могла бы протестировать, что происходит при взаимодействии различных моделей, и опубликовать результаты — что-то вроде мультиагентной формы «карты модели», которую разработчики обычно публикуют вместе с новой моделью искусственного интеллекта, описывая ее характеристики и производительность.

Правительства могли бы потребовать или, по крайней мере, поощрять такого рода тестирование, поскольку компании могут неохотно делиться своими данными друг с другом.

Еще одним возможным рычагом ограничения риска агентов являются стандарты, которые сейчас начинают появляться в отношении того, как агенты ИИ взаимодействуют с другим программным обеспечением, аналогично протоколам безопасности и связи, которые позволяют компьютерам в Интернете взаимодействовать друг с другом. Правительства могли бы оказать влияние в этом направлении.

Например, могла бы существовать универсальная система идентификации агентов, аналогичная IP-адресам компьютеров, которая облегчала бы общение, но также делала бы системы более прозрачными и подотчетными.

Но, пожалуй, самым большим препятствием является отсутствие воображения. В течение многих лет доминирующей историей о риске ИИ была история о злонамеренном сверхинтеллекте, которую, по иронии судьбы, продвигали евангелисты ИИ, которым нужно убедить себя и всех остальных, что они способны создать что-то настолько умное.

В последнее время люди начали понимать, что такие угрозы, как массовая потеря рабочих мест, непрозрачное алгоритмическое принятие решений, дезинформация и психозы, вызванные чат-ботами, более реальны и непосредственны.

Но агенты ИИ все еще настолько новы, что идею мультиагентного кризиса трудно себе представить. Будем надеяться, что не потребуется настоящий кризис, чтобы это изменить.