Сделка по умолчанию в эпоху ИИ проста и перекошена. Чтобы модель поумнела, её надо кормить данными. Чтобы кормить её данными, говорят платформы, каждый должен сперва отдать свои данные платформе. Твои фото, твои сообщения, твои паттерны набора, твои медкарты — всё загружено в центральную кучу, потому что именно там происходит обучение. Данные текут в одну сторону: от многих — в башню. А попав в башню, они уже не возвращаются.
Федеративное обучение ломает допущение внутри этой сделки. Оказывается, данные не обязательно централизовать, чтобы на них обучать. Модель может прийти к данным вместо того, чтобы данные шли к модели. Твой телефон учится локально, на твоём устройстве, из твоей информации — и отсылает обратно лишь урок, никогда сырьё. Куча в башне не наполняется. Обучение всё равно идёт. Это не фантастика. Google крутит это на клавиатурах Android с 2017 года. Apple использует. Работает в планетарном масштабе, сегодня.
Как это работает на самом деле
Сведём к механизму, ведь механизм — в нём весь смысл.
- Общая модель живёт на центральном сервере. Копия спускается на твоё устройство.
- Твоё устройство обучает эту копию на локальных данных — твой набор, твои фото, что нужно задаче. Это происходит на устройстве. Данные его не покидают.
- Твоё устройство отсылает обратно лишь обновление: маленькую поправку к весам модели, которую породило локальное обучение. Не твои данные. Градиент — направление, а не дневник.
- Сервер усредняет миллионы таких обновлений с миллионов устройств в новую, более умную общую модель. Потом цикл повторяется.
Хитрость в том, что обновление весов, особенно агрегированное по толпе, не несёт твоих сырых данных. Наложи дифференциальную приватность — намеренный математический шум, добавленный к каждому обновлению, — и безопасную агрегацию — криптографию, при которой сервер видит только сумму, но не вклад отдельного человека, — и индивидуальный сигнал растворяется в толпе. Модель умнеет. Твой файл не получает никто.
Разворот потока
Смотри, что случилось с направлением стрелки. В старой модели данные текут от многих к одному, и ценность концентрируется в центре. В федеративном обучении данные остаются распределёнными среди многих, и путешествует лишь дистиллированный урок. Сырьё твоей жизни не покидает твоих рук.
Это разворот глубочайшего паттерна эпохи. Концентрация — подпись Исфет: каждый ручей ценности отведён в единый бассейн, каждая капля Сехема стянута к одному владельцу. Федеративное обучение отказывается от отведения. Оно говорит: обучением можно делиться, не сдавая сырой силы. Многие сохраняют своё сырьё и всё равно вносят вклад в целое. Это распределённость по замыслу — а распределённость есть геометрия Маат.
Наша запись
Взвесь две архитектуры. На одной чаше — модель жатвы: собери всё, храни вечно, учись из кучи, и пусть куча станет и активом, и обузой, приманкой для любого атакующего и любой повестки в суд. На другой чаше — федеративная модель: учись с края, держи сырьё на краю, дай путешествовать лишь уроку. Первая копит Сехем в центре и зовёт накопленное «данными». Вторая позволяет интеллекту подняться со всего поля, не осушая ни единого стебля. На Весах Маат жатва кренится тяжело — тем, что взяла и не вернула. Федерация держит уровень: она заняла урок и оставила жизнь нетронутой.
Где это уже живёт
Это не идея с доски. Оно отгружено.
Google обучил предсказание следующего слова в клавиатуре Gboard на сотнях миллионов Android-телефонов, не загрузив ни единого нажатия. Apple использует федеративные техники для интеллекта на устройстве. Больницы, которым по закону нельзя объединять записи пациентов между учреждениями, применяют федеративное обучение, чтобы обучать диагностические модели сразу по многим больницам, и каждая держит данные своих пациентов за своими стенами. Последний случай — показательный: федеративное обучение решает задачи, которые централизация по закону вообще решить не может. Когда закон запрещает кучу, федерация — единственный путь к модели.
Честные пределы
Не прими это за законченное чудо. У него есть реальная цена, и в презентации её обычно прячут.
- Его сложнее строить. Координировать обучение по миллионам ненадёжных, склонных к офлайну устройств — по-настоящему трудная инженерия. Устройства отваливаются. Сети падают. Математика усреднения разнородных обновлений капризна.
- Приватность не автоматическая. Наивное федеративное обучение всё ещё может течь. Тебе нужны дополнительные слои — дифференциальная приватность, безопасная агрегация — навешенные правильно. Без них упорный сервер порой способен восстановить сигнал из обновлений.
- Сервер всё ещё держит власть. Кто крутит агрегацию, тот всё ещё формирует модель и в принципе может смошенничать. Федерация распределяет данные, но не обязательно управление. Свяжи её с открытыми весами и кооперативным владением, чтобы закрыть этот зазор.
- Оно не свободно от центра. Координатор всё же есть. Настоящее одноранговое обучение существует, но реже и труднее. Это децентрализация данных — реальный и большой шаг, но пока не полная анархия вычислений.
Что с этим делать
Ты не построишь федеративную систему обучения за выходные. Но можешь толкать мир к потоку, что оставляет сырьё в твоих руках.
- Предпочитай интеллект на устройстве. Когда приложение предлагает «обработать на устройстве» против «загрузить в облако» — выбирай устройство. Награждай продукты, что держат обучение на краю.
- Требуй федерацию там, где куча опасна. Здоровье, финансы, переписка — везде, где центральная куча есть приманка, федеративное обучение — зрелый ответ. Спрашивай, почему оно не используется.
- Поддерживай открытые, кооперативно управляемые федеративные проекты. Техника раскрывает всё обещание лишь тогда, когда координатор — не очередная монополия. Соедини её с управлением через DAO и открытыми весами.
Весь бизнес башни — убедить тебя, что, чтобы с тебя учились, ты сперва должен сдать сырьё своей жизни. Федеративное обучение — доказательство, что этого не требовалось никогда. Оставь сырьё себе. Отсылай лишь урок. Дай модели подняться с поля, не осушив ни единого стебля.