- Пентагон использовал модель Anthropic Claude для анализа данных и определения целей ударов по Ирану, несмотря на попытки Трампа ограничить использование программного обеспечения.
- Использование больших языковых моделей для принятия военных решений сопряжено с риском фатальных ошибок, поскольку эти системы часто генерируют ложную информацию, вознаграждая за ответ вместо точности.
- Военное применение ИИ происходит в нормативном вакууме, без ясности в отношении того, как алгоритмы принимают решения о жизни и смерти, и без механизмов ответственности за жертвы среди гражданского населения.
Та же модель искусственного интеллекта, которая может помочь вам составить маркетинговое письмо или рецепт быстрого ужина, также использовалась для нападения на Иран.
По данным Wall Street Journal, Центральное командование США использовало искусственный интеллект Claude от Anthropic для «оценки разведданных, определения целей и моделирования боевых сценариев» во время ударов по стране.
Несколькими часами ранее президент США Дональд Трамп приказал федеральным агентствам прекратить использование Claude после спора с его производителем, но инструмент был настолько глубоко внедрен в системы Пентагона, что потребовались месяцы, чтобы удалить его в пользу более совместимого конкурента. Его также использовали в январской операции, которая привела к поимке Николаса Мадуро.
Но что на практике означают «оценки разведки» и «идентификация целей»? Клод отмечал места ударов или делал оценку потерь? Эту информацию никто не разглашал и, к сожалению, ни от кого не обязан.
ИИ для военных целей
Искусственный интеллект уже давно используется в войне для таких задач, как анализ спутниковых изображений, обнаружение киберугроз и нацеливание на системы противоракетной обороны. Но использование чат-ботов – технологии, которую миллиарды людей используют для повседневных задач, таких как написание электронных писем – теперь также используется на поле боя.
В ноябре прошлого года Anthropic заключила партнерское соглашение с Palantir Technologies Inc., компанией по анализу данных, которая много работает для Пентагона, превратив свою большую языковую модель Claude в механизм рассуждения в системе поддержки принятия решений для военных.
Затем, в январе, Anthropic представила Пентагону предложение на сумму 100 миллионов долларов по разработке технологии для автономных дронов с голосовым управлением, сообщает Bloomberg News. Предложение компании: использовать Клода для перевода намерений командира в цифровые инструкции по координации парка дронов.
Предложение было отклонено, но конкурс требовал гораздо большего, чем просто обобщение разведывательных отчетов, как можно было бы ожидать от чат-бота. Контракт заключался в разработке «осведомленности о целях и обмене информацией» и «запуске на поражение» для потенциально смертоносных групп дронов.
Галлюцинации ценой человеческих жизней
Примечательно, что все это происходит в нормативном вакууме и с использованием технологии, которая, как известно, допускает ошибки. Галлюцинации великих языковых моделей являются результатом их тренировки, когда их вознаграждают за нахождение ответа, а не за признание неуверенности. Некоторые ученые говорят, что продолжающаяся проблема изобретений искусственного интеллекта, возможно, никогда не будет решена.
Это не первый случай использования ненадежных систем искусственного интеллекта в военных операциях. Лаванда представляла собой базу данных на основе искусственного интеллекта, которая использовалась для идентификации военных целей, связанных с ХАМАС в секторе Газа.
Она не была языковой моделью, но она анализировала огромное количество данных наблюдения, таких как социальные контакты и история местоположений, чтобы дать каждому человеку оценку от 1 до 100. Когда оценка человека пересекала определенный порог, Лаванда помечала его как военную цель.
Проблема заключалась в том, что Лаванда ошибалась в 10 процентах случаев, согласно исследовательскому отчету, опубликованному израильско-палестинским изданием +972. «Около 3600 человек были ошибочно обозначены как цели», — рассказала мне Марияросария Тадео, преподаватель цифровой этики и оборонных технологий в Оксфордском институте Интернета.
«Эти системы обладают невероятными уязвимостями и чрезвычайной ненадежностью… для чего-то столь динамичного, чувствительного и человечного, как война», — сказала Эльке Шварц, профессор политической теории в Лондонском университете королевы Марии и автор книги «Машины смерти: этика насильственных технологий».
Непрозрачность алгоритмов
Шварц отмечает, что искусственный интеллект часто используется в войне для ускорения событий, что является рецептом нежелательных результатов. Решения принимаются быстрее в большем масштабе и с меньшим контролем человека. По ее словам, за последние пятнадцать лет использование искусственного интеллекта в военных целях стало еще более непрозрачным.
И секрет заключается в том, как работают лаборатории ИИ, еще до их военного применения. Эти компании отказываются раскрывать, на каких данных обучаются их модели или как их системы делают выводы.
Конечно, военные операции часто держатся в секрете, чтобы защитить комбатантов и отвлечь противника. Но защита жестко регулируется международным гуманитарным правом и стандартами испытаний оружия, которые теоретически должны распространяться и на использование искусственного интеллекта. Однако такие стандарты отсутствуют или крайне неадекватны.
Таддео отмечает, что статья 36 Женевской конвенции требует, чтобы новые системы вооружений испытывались перед их развертыванием, но система ИИ, которая учится на своей среде, становится новой с каждым обновлением. Это делает соблюдение этого правила практически невозможным.
В идеальном мире такие правительства, как США, раскрыли бы, как эти системы используются на поле боя, и прецедент уже есть. США начали использовать вооруженные дроны после 11 сентября и расширили их использование при администрации Барака Обамы, не признавая существования такой программы.
Стремитесь к прозрачной оценке
Потребовалось почти 15 лет утечки документов, постоянного давления со стороны СМИ и судебных исков со стороны Американского союза гражданских свобод, прежде чем Белый дом Обамы наконец опубликовал число погибших в 2016 году от ударов дронов. Многие считали их заниженными, но они впервые позволили общественности, Конгрессу и средствам массовой информации привлечь правительство к ответственности.
Управлять ИИ будет еще сложнее, поскольку общественное и законодательное давление будет еще сильнее, чтобы заставить упрямую администрацию Трампа создать аналогичную систему отчетности.
По словам Шварца, цель заключалась не в том, чтобы точно раскрыть, как Клод использовался в таких операциях, как «Эпическая ярость», а в том, чтобы раскрыть общую структуру. И, особенно, сообщать, когда что-то идет не так.
Нынешние публичные дебаты о конфликте между Anthropic и Пентагоном — о том, что законно и этически для искусственного интеллекта, когда дело доходит до массовой слежки за американцами или создания полностью автономного оружия — упускают из виду более важный вопрос отсутствия прозрачности того, как эта технология уже используется в войне.
В случае новых и непроверенных систем, склонных к ошибкам, это абсолютно необходимо. «Как общество, мы еще не решили, согласны ли мы с машиной, которая решает, следует ли убивать человека или нет», — говорит Тадео.
Настаивать на такой прозрачности имеет решающее значение, прежде чем ИИ в войне станет настолько рутинным, что никто даже не думает задавать вопросы. В противном случае мы можем оказаться в ситуации, когда ожидаем катастрофической ошибки и вводим прозрачность только после того, как ущерб уже нанесен.
Парми Олсон обозреватель Bloomberg в области технологий. Бывший репортер Wall Street Journal и Forbes, она является автором книги «Совершенство: искусственный интеллект, ChatGPT и гонка за изменение мира».
