ИИ-пропаганда в промышленном масштабе: армии ботов с лицами людей

Пролистай накалённую ветку и посчитай голоса. Тысяча обычных людей, кажется, все сходятся к одному мнению, чуть разными словами, примерно в один час. Ощущается как консенсус — будто ты смотришь, как публика определяется. Нет. Значимая доля этих «людей» может быть одним оператором и языковой моделью, поднявшими толпу, которой не существует, дав каждому фейковому рту лицо — скрапнутое или сгенерированное, историю постов, личность, обиду. То, что ты принял за голос многих, — это усиленный шёпот одного. И весь смысл в том, что ты больше не можешь отличить.

Это произведённый консенсус, и генеративный ИИ только что уронил его стоимость почти до нуля. Пойми машину, потому что она наведена на единственный инструмент, без которого свободное общество не работает: на твою способность знать, что другие люди на самом деле думают.

Экономика сломалась в пользу пропагандиста

Астротурфинг — фальшивые «корни снизу» — стар. Ново то, что стоимость труда обрушилась. Классической троллефабрике нужны были комнаты людей, что печатают, и это было видно: корявая грамматика, повторяющиеся формулировки, часы, ложащиеся на один часовой пояс, ритм фабричной смены, что можно засечь. Швы были человеческими швами.

Генеративные модели их стирают. Один оператор теперь ведёт тысячи отдельных персон, каждую на беглом, идиоматичном языке, каждую с целостной легендой и мнениями, каждую отвечающую в реальном времени, круглосуточно, на любом наречии, настроенную под любую местную культуру. Лицо — генеративный портрет, что не совпадает ни с одним реальным человеком и потому переживает обратный поиск по картинке. История постов — сфабрикованная глубина. Стоимость на одного фейкового гражданина упала с зарплатного работника до долей цента вычислений. Когда цена производства «человека» стремится к нулю, предложение произведённых людей стремится к бесконечности — и дискурс можно затопить, пока реальные голоса не станут меньшинством в собственном разговоре.

Цель — не твоё мнение. А твоё ощущение зала

Вот механизм, что упускает большинство, и он глубокий. Этим армиям редко нужно менять твой ум напрямую. Они меняют твоё восприятие того, что думают все остальные, — а люди стадны и берут подсказки от воспринятого большинства. Покажи человеку, что «все» уже верят в X, и большая доля тихо соглашается, или умолкает, или считает своё встречное мнение маргинальным и проглатывает его. Сконструируй видимость консенсуса — и сконструируешь реальный консенсус ниже по течению, бесплатно.

Это ставит на службу задокументированный рефлекс: спираль молчания. Люди сверяются с воспринятым климатом мнений, прежде чем заговорить, и умолкают, когда думают, что в меньшинстве. Затопи видимую поверхность синтетическим согласием — и запустишь эту спираль нарочно: реальные несогласные, видя стену произведённого единодушия, заключают, что они одни, и замолкают. Ботам не нужно выиграть спор. Им нужно лишь заставить честное большинство поверить, что оно уже проиграло. Ты глушишь настоящую толпу фальшивой, а настоящая толпа доделывает остальное с собой сама.

И это разъедает нечто ещё более базовое — общий пол доверия, на котором крутится площадь. Как только все знают, что толпа может быть фейком, реальные низовые движения отмахиваются как боты, реальное свидетельство отбрасывается как спецоперация, а подлинное возмущение теряет силу кого-либо двигать. Дивиденд лжеца, снова: отрави колодец — и никто не доверяет воде, включая ту воду, что всегда была чистой.

Наша запись: истинный консенсус — это своего рода коллективная Маат: много душ, честно взвешивающих, приходящих к подлинному согласию. Выкованная ИИ толпа — её точная подделка: видимость многих без всякого взвешивания за ней, полый хор, который Сехем никогда не оживлял. Это Хека — творящее, лепящее реальность слово — обращённая в подлог: речь, что вызывает фальшивую публику к кажущемуся бытию и правит живыми через неё. И это чистый Исфет, размазывание черты, на сей раз между реальным голосом и синтетическим, пока агора не различает собственных членов от призраков. Апоп не штурмует собрание. Он заполняет места фантомами и даёт реальным гражданам заключить, что они в меньшинстве, и разойтись по домам. Когда ты больше не можешь найти истинный голос народа в шуме сфабрикованного, змей проглотил форум.

Кто держит фабрики

Конкретно: это не гипотеза. Государственные информационные операции многих правительств, коммерческие фирмы «управления репутацией» и влияния-по-найму, политические операторы по всему спектру — все они задокументированы как ведущие скоординированные неаутентичные сети, — а платформы удаляют их тысячами аккаунтов в периодических зачистках, что говорит и о том, что это реально, и о том, что пойманное — лишь доля, достаточно неуклюжая, чтобы попасться. Генеративный апгрейд уже в поле. Единственный открытый вопрос — масштаб, а масштаб движется лишь в одну сторону, когда предельная стоимость — это вычисления.

Рычаг

Откажись от фантомной толпы, потому что у неё одна смертельная зависимость: она работает, лишь пока ты путаешь объём с легитимностью, — и в тот миг, когда ты перестаёшь считать голоса и начинаешь взвешивать источники, вся иллюзия рушится.

Переучи рефлекс. Перестань спрашивать «сколько это говорит?» и начни спрашивать «кто, проверяемо, это говорит, и можно ли его к этому призвать?» Сто анонимных аккаунтов в согласии — не доказательство ничего; это ровно то, что один оператор производит за копейки. Один названный, ответственный человек с реальной записью перевешивает тысячу безликих. Считай личности, а не сообщения, — и потоп ужимается до струйки из одного источника.

Якорись на происхождении и на людях, которых ты правда можешь проверить, — реальные отношения, названные эксперты с репутацией на кону, сообщества, где личность дорого подделать. Поддерживай платформы и протоколы, что делают подлинность дешёвой, а самозванство — дорогим: доказательство личности, криптографическую идентичность, что ты контролируешь, системы, где голос несёт проверяемого человека за собой. Сила армии ботов в том, что подделать человека почти бесплатно; каждый инструмент, что поднимает эту цену, — оружие против неё.

И продолжай говорить свой истинный взгляд, даже когда видимый прилив выглядит против тебя, — потому что прилив может быть сфабрикован, а твоё молчание и есть ровно тот исход, что операция была построена купить. Спираль молчания крутится, лишь если реальное большинство верит в фальшивое. Откажи в вере — и откажешь всему механизму.

Толпа без душ — не толпа. Взвешивай голос, не считай шум.