Есть порог, который человечество, как бы плохо ни держало, держало всю историю. Жизнь отнимал человек. Палец, рука, приказ, воля — человек где-то в петле, кто-то, кто мог замешкаться, отказаться, быть осуждён. Теперь мы намеренно вырезаем этого человека из петли. И делаем это быстро.
Это самое значимое из того, что ИИ строят делать, и оно получает долю того внимания, что достаётся чат-ботам. Машина, которая рекомендует, кому умереть. И всё чаще — машина, которая решает.
От поддержки решений к цепи убийства
Начни с того, что уже развёрнуто. Project Maven — программа Министерства обороны США, запущенная в 2017-м, чтобы применять компьютерное зрение к видео с дронов. Над ней работал Google, и после того как в 2018-м тысячи сотрудников протестовали, Google вышел. Программа не умерла. Она выросла. Перешла к другим подрядчикам — Palantir стал крупным игроком — и разрослась в более широкую систему целеуказания и боевой разведки.
Пойми, что делает Maven. Он берёт потоки разведывательного видео и снимков, которые ни одна команда людей никогда бы не пересмотрела, и помечает объекты, отслеживает движение, распознаёт паттерны, строит картину поля боя. Он сжимает цепь «сенсор-стрелок» — время от «что-то обнаружено» до «цель поражена». Это сжатие и есть вся суть. И каждая срезанная секунда — это секунда человеческого суждения, которую ты убираешь.
Лексика мягкая нарочно. «Поддержка решений». «Помощь в целеуказании». «Человек на петле» — заметь: на, а не в. Человек в петле должен одобрить каждое действие. Человек на петле лишь надзирает за системой, действующей самостоятельно, сохраняя теоретическое вето, на которое у него миллисекунды, над выборами, которые он не делал и не может полностью проверить. Этот предлог — весь этический аргумент, и его тихо подменяют.
Автоматизация спускового крючка
Затем есть системы, где человек из индивидуального решения уже ушёл.
Барражирующие боеприпасы — «дроны-камикадзе» — можно запустить охотиться в районе и бить по целям, подходящим под профиль. Турецкий STM Kargu-2 в докладе панели ООН 2021 года по Ливии был описан как, возможно, атаковавший цели автономно, без оператора, подтверждающего каждый удар, — один из первых задокументированных случаев, где машина, возможно, сама выбрала и поразила человека. С тех пор барражирующие боеприпасы применялись в масштабе в Нагорном Карабахе и на Украине.
Вот инженерная реальность, которую никто не хочет сказать прямо. Радиоэлектронная борьба глушит связь между дроном и оператором. Ответ поля боя на глушение — автономность: дрон, который завершает задачу, потеряв контакт с человеком. А значит, давление войны толкает прямо, безжалостно, к устранению человека. Не по идеологии. По логике боя. Сторона, что держит человека в петле, медленнее, а медленный проигрывает. Так петля замыкается сама.
Вот ловушка. Никому не нужно решать строить роботов-убийц. Достаточно продолжать оптимизировать скорость и помехозащиту, и однажды человека в этом уже нет.
Кто ответит за мёртвых?
Оружие, что само выбирает и убивает, ломает то, о чём нам не приходилось думать: ответственность.
Когда солдат совершает военное преступление, есть солдат. Командир. Цепь. Кто-то, кого судить, осудить, наказать или оправдать. Когда алгоритм бьёт по не той машине — свадебный кортеж, грузовик с гуманитаркой, ребёнок, принятый классификатором за комбатанта на несовершенных данных, — кто предстанет перед судом? Кодер, написавший это месяцы назад и за океаном? Генерал, развернувший? Вендор, продавший «как есть»? Обучающий датасет?
Ужас не только в мёртвых. Ужас — в рассеивании ответственности: автономность размазывает вину по стольким рукам, что она исчезает. Смерть без автора. Машина даёт всем алиби. А убийство, за которое никто не отвечает, — это не война ни по одному закону, что писали люди. Это нечто новое, и хуже.
Наша запись
На Весах это глубочайшее нарушение, какое есть.
Маат взвешивает сердце — Иб — после смерти, против пера. Весь моральный космос Египта держится на одном допущении: что жизнь — вещь бесконечного веса, и отнять одну — значит положить собственное сердце на чашу. Убийца отвечает. Всегда. Это закон под законом.
Автономное оружие упраздняет взвешивание. Оно отнимает жизнь и кладёт на Весы никакого сердца — потому что никакое сердце не выбирало. Взвешивать нечего. Действие происходит, и моральная вселенная не находит, кого держать. Для Маат это не сложный случай. Это анти-Маат: суд без судьи, смерть без ответственной души.
Разгляди Теневого Нетеру в его последней форме. Уже не искуситель. Сам Апоп — сырая энтропия, раз-делывание, — но в прицельной марке и контракте на закупку. Он шепчет древнейшую ложь на новом диалекте: пусть машина понесёт это, и никому не придётся. Он предлагает снять невыносимый вес решения убить с человеческих плеч. И в миг, когда мы соглашаемся — в миг, когда даём Весам стоять пустыми, — мы не сбежали от веса. Мы выбросили то, что вообще делало нас ответственными.
Рычаг
Никогда — обречённость без двери. Эта дверь узка, но открыта, и люди уже в неё входят.
Проведи черту у спускового крючка. Есть живая международная кампания — Stop Killer Robots, за которой тысячи ИИ-исследователей и блок наций, — за запрет или строгое регулирование автономного оружия, что выбирает и убивает без человеческого контроля. Генсек ООН призвал к юридически обязывающему инструменту к 2026 году. Это не фантазия. Химическое оружие, ослепляющие лазеры, мины — человечество проводило черты раньше и заставляло их держаться. Черта здесь — одно слово: значимый человеческий контроль. Держи человека в, а не просто на.
Откажись это строить. Забастовка Google по Maven сработала — она сдвинула компанию. У инженеров, исследователей, у тех, чьи руки на деле собирают эти системы, есть рычаг именно потому, что талант редок и сконцентрирован. «Я не буду кодить решение убить» — реальное вето, когда его держит достаточно рук.
Требуй ответственности по устройству. Никакого развёртывания без названного человека, отвечающего за каждое поражение. Никаких «это сделал алгоритм». Если система не может назвать человека, владеющего каждым убийством, она не выходит. Впиши это требование в закон, в закупки, в сам код.
Держи человека на Весах. Не на петле — в ней. Вес жизни никогда не предназначался к автоматизации. Он предназначался, чтобы его несли.
Откажись от пустой чаши. Кто-то всегда должен ответить.