Внутри запутанной этики войны с машинами

ИИ проникает в процесс принятия решений в бою. Кто виноват, когда что-то идет не так?

В войне ближайшего будущего — которая, насколько нам известно, может начаться уже завтра — солдат занимает позицию для стрельбы на пустой крыше. Его подразделение с боями проходит квартал за кварталом. Такое ощущение, что враги могут лежать в молчаливом ожидании за каждым углом, готовые обрушить огонь на свои цели в тот момент, когда они сделают выстрел.

Через прицел солдат осматривает окна соседнего здания. Он замечает свежее белье, свисающее с балконов. По радио поступает сообщение, что его команда собирается двинуться по открытому участку земли внизу. Когда они направляются к цели, в левом верхнем углу прицела появляется красная ограничивающая рамка. Система компьютерного зрения устройства отметила потенциальную цель — силуэт фигуры в окне, кажется, приближается, чтобы сделать выстрел.

У солдата нет четкого обзора, но, по его опыту, система обладает сверхчеловеческой способностью улавливать малейшие признаки врага. Поэтому он наводит перекрестие на коробку и готовится нажать на спусковой крючок.

В другой войне, возможно, уже на горизонте, командир стоит перед группой мониторов. Появляется оповещение от чат-бота. Оно сообщает о том, что спутники засекли грузовик, въезжающий в определенный городской квартал, обозначенный как возможный плацдарм для запуска вражеских ракет. Чат-бот уже посоветовал артиллерийскому подразделению, которое, по его расчетам, имеет наибольшую «вероятность поражения», прицелиться в грузовик и оставаться наготове.

По данным чат-бота, ни одно из близлежащих зданий не является гражданским сооружением, хотя он отмечает, что это определение еще не подтверждено вручную. На место происшествия прибывает дрон, отправленный системой для более тщательного осмотра. На видео видно, как грузовик въезжает задним ходом в узкий проход между двумя жилыми домами. Возможность сделать снимок быстро подходит к концу.

Для командира теперь все замолкает. Хаос, неопределённость, какофония — всё свелось к звуку тикающих часов и виду единственной светящейся кнопки:

«УТВЕРДИТЬ ПРИКАЗ НА ПОЖАР».

Нажать на курок — или, в зависимости от обстоятельств, не нажимать на него. Нажать кнопку или удержаться. Юридически – и этически – роль решения солдата в вопросах жизни и смерти является выдающейся и незаменимой. По сути, именно эти решения определяют человеческий акт войны.

Автоматизация может помочь нам сделать трудный выбор, но она не может сделать это в одиночку.

Поэтому неудивительно, что государства и гражданское общество подняли вопрос об интеллектуальном автономном оружии – оружии, которое может выбирать цели и стрелять по ним без участия человека – как предмет серьезной озабоченности. В мае, после почти десяти лет дискуссий, стороны Конвенции ООН о конкретных видах обычного оружия согласились, среди прочих рекомендаций, что вооруженным силам, использующим их, вероятно, необходимо «ограничить продолжительность, географический охват и масштаб операции», чтобы выполнить требования законы войны. Эта фраза не носила обязывающего характера, но, по крайней мере, она была признанием того, что человек должен сыграть роль — где-то и когда-нибудь — в непосредственном процессе, ведущем к убийству.

Но интеллектуальное автономное оружие, которое полностью заменяет процесс принятия решений человеком, (вероятно) еще не увидело реального применения. Даже «автономные» дроны и корабли, используемые США и другими державами, используются под пристальным наблюдением человека. Между тем, интеллектуальные системы, которые просто направляют руку, нажимающую на спусковой крючок, все чаще входят в набор инструментов создателя войны. И они незаметно стали достаточно изощренными, чтобы поднимать новые вопросы, на которые сложнее ответить, чем на хорошо прикрытые споры о роботах-убийцах, и с каждым днем ​​они становятся все более актуальными: что это значит, когда решение является лишь частично человеческим и часть машины? И когда, если вообще когда-либо, этично, чтобы это решение было решением об убийстве?

Долгое время идея поддержки человеческого решения с помощью компьютерных средств не была такой противоречивой перспективой. Генерал-лейтенант ВВС в отставке Джек Шанахан говорит, что радар на истребителе F4 Phantom, которым он управлял в 1980-х годах, был своего рода помощником в принятии решений. По его словам, это предупредило его о присутствии других самолетов, чтобы он мог понять, что с ними делать. Но сказать, что экипаж и радар были равноправными соучастниками, было бы преувеличением.