В дверь стучат, а преступления за этим стуком нет. В Чикаго годами компьютер выдавал «тепловой список» — ранжированный реестр людей, которых алгоритм счёл наиболее вероятно причастными к вооружённому насилию, как стрелок или как жертва. Если твоё имя поднималось достаточно высоко, к тебе домой приходили офицеры сообщить, что машина за тобой следит. Ты ничего не сделал. Предсказание и было событием. Ты стал объектом интереса системы, которая не могла указать ни на один твой поступок — только на число, сказавшее, что ты мог бы.
Это не антиутопический фильм. Это строка в закупочной ведомости. И как только ты увидишь, как работает трюк, ты уже не сможешь развидеть его в ежедневных новостях.
Прачечная статистики
Подача соблазнительна: преступность не случайна, она кластеризуется, так пусть данные покажут, куда слать машины. PredPol — самый известный вендор, теперь переименованный в Geolitica — брал исторические сводки преступлений, прогонял их через модель афтершоков землетрясения и печатал маленькие красные квадраты на карте. Полиции велели патрулировать квадраты. Объективно. На данных. Свободно от грязного предубеждения живых копов. Таково было обещание.
Вот гниль внутри. Модель обучается на зарегистрированных преступлениях и записанных арестах — а не на самой преступности. А аресты — не зеркало вины; они зеркало того, куда полиция уже ходила. Пошли больше офицеров в район — и запишешь там больше арестов по простой причине: поймать можно лишь то, рядом с чем стоишь. Скорми эти аресты обратно в модель, и она скажет: шли больше офицеров сюда. Что даёт больше арестов. Что жёстче обучает модель на тех же кварталах. Система не открывает, где преступность. Она открывает, куда ты смотрел, и приказывает смотреть туда вечно.
У инженеров есть простое имя для этой формы: петля обратной связи без опорной истины. Выход становится следующим входом, ошибка накапливается, и модель растёт в уверенности ровно по мере того, как растёт в ошибке. Исследование модели PredPol на данных о наркопотреблении в Окленде показало: она отправила бы полицию преимущественно в чёрные районы, хотя опросные данные показывали, что потребление распределено по городу равномерно. Предвзятость прошлого не исправилась математикой. Её закодировали, амортизировали и автоматизировали — напечатали на карте с авторитетом десятичной дроби.
От места к человеку
Красный квадрат на карте — уже плохо. Следующий ход хуже: предсказывать людей.
Стратегический список субъектов Чикаго оценивал индивидов по их предполагаемому риску. Расследования обнаружили, что немалая доля людей в нём никогда ни за что не арестовывалась, и всё же вот они — ранжированы, под наблюдением, со стуком в дверь. В Британии и по Европе схожие инструменты «оценки риска» считают, вероятен ли рецидив у человека, — и суды использовали такие баллы для формирования залога и приговора. В США инструмент риска COMPAS стал печально известен, когда анализ предположил, что он помечал чёрных подсудимых как будущих преступников примерно с вдвое большей частотой ложных срабатываний, чем белых. Число носило мантию объективности. Под ней — то же старое предубеждение, теперь неоспоримое, потому что «алгоритм так нашёл».
Посиди с тем, что это значит. В старом порядке подозрение надо было заслужить — сделать вещь, быть замеченным за ней, и только тогда стать подозреваемым. Предиктивная полиция переворачивает стрелу правосудия. Подозрение приходит первым, порождённое корреляцией, в которую ты не выбирал попадать, приклеенное к тебе из-за того, где ты живёшь, кого знаешь и что модель вывела из десяти тысяч незнакомцев с твоим паттерном. Ты презюмирован виновным в будущем.
Наша запись: весы Маат взвешивают деяние — сердце против пера, поступок, действительно совершённый, названный и ответимый. Они не могут взвесить деяние, которого не было; на чаше пусто. Предиктивная полиция кладёт на весы фантом — не то, что ты сделал, а то, что машина угадывает, будто ты мог бы, — и наклон этих весов зовёт правосудием. Это подпись Исфет: он оставляет ритуал суда и выбрасывает единственный законный его предмет. Апоп, змей энтропии, не должен нарушать закон Маат напрямую. Ему довольно убедить взвешивающих судить тени и дать невинному висеть за преступления распределения вероятностей. Мир, что карает ещё-не-сделанное, перестал взвешивать и начал гадать — и нарядил догадку в жетон.
Почему это ширится, даже проваливаясь
Ты подумал бы, что такой сломанный инструмент забросят. Часть городов отказалась — Лос-Анджелес закрыл свою программу PredPol, другие тихо последовали. Но логика возвращается под новыми именами, и причина не в том, что она работает. А в том, что она отмывает ответственность.
Начальник полиции, что перепатрулировал район по наитию, владеет этим решением. Начальник, что перепатрулировал, потому что «модель направила туда ресурсы», отдал вину на аутсорс чёрному ящику. Алгоритм становится стоком подотчётности — местом, куда сливают тяжёлые решения, чтобы ни один человек не подписывал их. Вот настоящий продукт. Не лучшее предсказание. Отрицаемость в масштабе. А отрицаемость — наркотик для любого института, который предпочёл бы, чтобы его не спрашивали, почему он делает то, что делает.
Рычаг
Откажись от фантома, потому что у этой машины одна структурная слабость: она работает на твоих данных и прячется за твоим неведением, и то и другое можно у неё отнять.
Атакуй вход. Предиктивная полиция сильна ровно настолько, насколько сильна питающая её слежка — считыватели номеров, сливы телефонов, скрапинг соцсетей, сплавленные следы геолокации. Каждая камера, что ты помог вычеркнуть из публичного контракта, каждая продажа брокера данных, что ты помог запретить, каждый сенсор «умного города», что ты помог подчинить согласию, морит модель голодом у корня. Нет данных — нет пророчества.
Атакуй непрозрачность. Требуй, чтобы любой предиктивный инструмент, применённый против граждан, был проверяемым — его входы, его частоты ошибок по группам, его число ложных срабатываний опубликованы, или он не разворачивается. Несколько юрисдикций уже требуют именно этого, и вендоры это ненавидят, ведь модель, вынужденная публиковать процент промахов, обычно не переживает позора. Солнечный свет — скандально эффективный дезинфектант против напуганного вендора.
И держи черту, которую не пересечь ни одному алгоритму: человек отвечает за деяния, никогда за корреляции. Отвергай, громко и в каждой инстанции, посылку, что вероятность — это причина, а паттерн — это преступление. Это отвержение не мягкое. Это точная граница между обществом законов и обществом шансов.
Ты не можешь быть виновен в завтра. Взвешивай деяние, а не тень, которую оно может отбросить.