Использование нейросетей в военной сфере поднимает вопросы взаимодействия человека и искусственного интеллекта при применении силы, а также связанные с этим юридические, этические и технические риски.
С совершенствованием технологий искусственного интеллекта (ИИ) глобальная дискуссия об их боевом применении постепенно переходит от вопроса применения только смертоносных автономных систем (САС) к обсуждению концепции ответственного ИИ. Сторонники этой концепции часто утверждают, что технологии ИИ открывают беспрецедентные возможности для военной сферы, однако признают риски, связанные с их военным использованием. Внедрение нейросетей в процесс управления боевыми операциями делает эту проблему ещё более актуальной.
Как воюет нейросеть
В апреле 2023 г. американская компания Palantir Technologies продемонстрировала видео с применением своей новой технологии искусственного интеллекта Palantir Artificial Intelligence Platform (AIP) в боевых условиях. По сценарию видеоролика оператор, который следит за ходом боевых действий в Восточной Европе, выявляет скопление сил противника и обращается к чат-боту аналогичному ChatGPT с запросом о помощи. В ответ искусственный интеллект анализирует боевые возможности выявленных угроз, моделирует способы воздействия на них, и определяет силы и средства, необходимые для проведения боевой операции. При этом AIP предлагает несколько возможных сценариев, прорабатывая логистику и взаимодействие между видами и родами войск в условиях конкретной операции.
Несмотря на то, что по замыслу разработчиков ключевым звеном в управлении военной операцией остаётся человек, в самом видеоролике оператор чётко следует рекомендациям ИИ. Такой пример показывает, что искусственные алгоритмы теоретически уже способны выполнять даже сложные боевые задачи без прямого участия человека. Это не первый случай демонстрации использования ИИ на поле боя, но многообразие этих технологий способствует возникновению как новых преимуществ, так и новых угроз.
Плюсы и минусы «боевых» нейросетей
Главной особенностью генеративного ИИ является его способность к самообучению – алгоритм может решать поставленную задачу напрямую взаимодействуя с окружающей средой без участия человека. При планировании боевой операции эта способность нейросети позволяет принимать решения в условиях недостаточной информации о противнике, а также гибко реагировать на любые изменения в ходе боя.
Так, в ролике Palantir ИИ скорректировал маршрут дрона Reaper MQ-9, выполнявшего патрулирование в зоне неподалёку от расположения сил «противника», параллельно направив его на разведку участка, обозначенного в запросе оператора. Кроме того, AIP самостоятельно проанализировал наличие необходимого для уничтожения «врага» количества ресурсов у «дружественных» подразделений, находящихся поблизости, и на основании этого анализа предложил оператору три варианта действий – атаку истребителем F-16, дальнобойной артиллерией или ракетами Javelin.
Эта способность ИИ имеет и существенный недостаток – так называемые «галлюцинации», явление, когда нейросеть выдаёт на первый взгляд разумный и достоверный результат, по факту не имеющий ничего общего с реальностью. Первым таким примером стала презентация компанией Google своего чат-бота Bard, который в одном из ответов на вопросы о телескопе Джеймса Уэбба, заявил, что с его помощью был сделан самый первый снимок экзопланеты за пределами Солнечной системы. Ответ оказался неверным и стоил разработчику около 100 млрд долларов. На днях компания OpenAI объявила о намерении бороться с «галлюцинациями» с помощью внедрения нового метода обучения моделей ИИ, но пока этот дефект не исправлен. Возникновение подобных ошибок при использовании нейросети в боевых условиях может быть чревато разрушительными последствиями, в том числе и для мирного населения.
Этический аспект и вопрос ответственности
Ещё одна проблема боевого использования нейросетей в принципе характерна для всех технологий ИИ – этичное применение. В боевых условиях концепция этического ИИ предполагает соблюдение норм международного гуманитарного права (МГП) и правил ведения войны. Последние включают: соблюдение различий между гражданским населением и комбатантами, между гражданскими и военными объектами, запрет на излишние разрушения или причинение чрезмерных страданий, соблюдение принципов избирательности и соразмерности при совершении атаки, предварительная оценка последствий нападения и своевременное оповещение гражданского населения.
Все вышеперечисленные нормы можно заранее включить в обучение нейросети. Учитывая, что скорость обработки информации у ИИ гораздо выше человеческоой, вероятнее всего, в ряде случаев он будет действовать в рамках соблюдения данных правил даже гуманнее, поскольку сможет одновременно и практически моментально оценить все факторы в обстановке боя. Однако возникает вопрос ответственности – какие решения можно доверить ИИ без участия оператора и стоит ли в принципе допускать такую автономность?
Примечательным является недавний инцидент, о котором рассказал начальник подразделения по тестированию и эксплуатации ИИ-систем ВВС США полковник Такер Гамильтон на саммите Королевского авиационного общества Future Combat Air and Space Capabilities Summit. По словам военного, во время учений дрон с ИИ, запрограммированный на уничтожение систем ПВО, самостоятельно принял решение ликвидировать оператора, после того как тот несколько раз скомандовал отмену атаки на заданные цели, что мешало машине получить призовые баллы. На следующий день Гамильтон выдвинул опровержение этой информации, уточнив, что речь шла не о реальных учениях, а исключительно о «ментальном» эксперименте. Тем не менее вопрос об этическом и ответственном применении ИИ стал ещё острее, особенно с учётом способности нейросетей к самообучению.
Проблема регулирования
Нюансы с этическим и ответственным использованием нейросетей в боевых условиях напрямую затрагивают вопрос правового регулирования боевого применения ИИ. Юридически обязывающих международных норм регулирования использования ИИ в какой-либо сфере нет, дискуссии о роли технологий ИИ на глобальном уровне продолжаются.
Из существующих на сегодняшний день документов по этому вопросу можно выделить Политическую декларацию США об ответственном боевом использовании ИИ, рекомендации Минобороны Великобритании по безопасному и ответственному применению ИИ, отчёт Целевой группы по искусственному интеллекту, опубликованный военным ведомством Франции. Пока предложения, изложенные в этих документах, носят не обязательный, рекомендательный характер, хотя их, безусловно, стоит учитывать.
Основная дискуссия в ООН ведётся о регулировании смертоносных автономных систем (САС) – это системы, которые способны поразить цель без команды оператора, используя библиотеку образов, заложенных в базе. Для регулирования применения таких систем в 2016 г. в рамках ООН была создана Группа правительственных экспертов. Однако никаких регулирующих норм принято не было, мнения среди государств кардинальным образом разделились.
Так, страны Латинской Америки и Африки выступают за полный запрет разработки САС. Аргументом для этого служит мнение, что ИИ не способен соблюдать нормы МГП. Россия, США, Китай, Индия и Израиль напротив выступают за использование этих технологий, мотивируя это тем, что ИИ лучше человека может применять МГП.
Нужна ли демонизация ИИ?
В условиях отсутствия международно-правового регулирования появились инициативы, нацеленные на радикальное ограничение разработок ИИ. Так, в конце мая 2023 г. группа экспертов совместно с американским Центром безопасности искусственного интеллекта (CAIS) заявили, что угроза от технологий ИИ для человечества равноценна ядерной войне и пандемии. Ещё ранее глава SpaceX Илон Маск, сооснователь Apple Стив Возняк и другие эксперты IT-отрасли подписали письмо с призывом приостановить разработку ИИ до внедрения и одобрения экспертами общих протоколов безопасности.
Но остановить развитие технологий ИИ уже вряд ли возможно. Уже сейчас генеративный ИИ достиг уровня, позволяющего ему визуализировать мысли человека. И применение этого может быть как позитивным, например в нейрохирургии и медицине, так и негативным – в криминальных и иных целях. Поэтому гораздо разумнее выглядит инициатива главы OpenAI Сэма Олтмена о создании глобального органа, регулирующего разработку технологий ИИ.
России важно не допустить доминирования США в сфере глобального регулировании как обычного, так и боевого применения ИИ, и настаивать на равноправном сотрудничестве в этой области, учитывающем интересы всех государств. К сожалению, сейчас приходится констатировать практически полную недоговороспособность Вашингтона и его союзников даже в таких ключевых для международной безопасности вопросах. Но на региональном уровне Россия уже сейчас может инициировать процесс диалога по регулированию вопросов применения ИИ на площадках ОДКБ, ШОС, БРИКС, СНГ и других организаций. При более благоприятной внешнеполитической обстановке предложения и практические решения, выработанные в рамках таких консультаций, могли бы стать достойной основой для продолжения глобальной дискуссии об ответственном и безопасном применении технологий ИИ.
