Каждый промпт, что ты вбиваешь в облачный ИИ, — это исповедь. Он летит на сервер, которым ты не владеешь, логируется под аккаунтом, привязанным к твоей личности, и вливается в вечную запись того, чего ты хотел, боялся, планировал и спрашивал в два часа ночи, когда думал, что никто не смотрит. Эта запись стоит больше, чем подписка, которую ты платишь. Ты не клиент. Ты корпус данных.
А теперь поворот сюжета, на котором платформы предпочли бы, чтобы ты не задерживался: ты можешь запустить способный ИИ целиком на своём ноутбуке, офлайн, где ни один байт не покидает машину. Ни аккаунта. Ни лога. Ни тикающего счётчика токенов. Тот же класс моделей, что два года назад казался магией, теперь помещается в файл, который ты качаешь, и программу, которую запускаешь одной командой. Облако никогда не было технической необходимостью. Это было бизнес-решение.
Порядок величины
Останемся честными с реальными числами. Модель вроде Mistral 7B или Llama 3 8B — около семи-восьми миллиардов параметров, — квантованная до четырёх бит, занимает примерно четыре-пять гигабайт на диске и работает на ноутбуке с 16 ГБ оперативки. Датацентровый GPU не нужен. На Mac с Apple Silicon или машине с современной дискретной видеокартой она отвечает со скоростью живой беседы. Модели крупнее — 30B, 70B — просят больше памяти и терпения, но уровень 7-8B уже по-настоящему полезен: черновики, конспекты, код, перевод, рассуждение над бытовыми задачами.
Производительности фронтир-уровня GPT-4 на ноутбуке ты не получишь. Скажем честно. Ты получаешь фронтир прошлого года, работающий приватно, бесплатно, навсегда. Для подавляющего большинства реальных задач это не даунгрейд. Это освобождение.
Как это сделать на деле
Это больше не исследовательский проект. Инструментарий постыдно прост.
- Ollama — кратчайший путь. Ставишь, набираешь в терминале `ollama run mistral`. Оно качает веса и кидает тебя в чат. Весь ритуал. Работает на Mac, Linux и Windows.
- LM Studio даёт графическое приложение, если терминалы нервируют. Листаешь модели, жмёшь скачать, общаешься. Оно берёт на себя всю сантехнику.
- llama.cpp — движок под капотом, если хочешь строить поверх свои инструменты: поджарый рантайм на C++, который и сделал всё это возможным на потребительском железе.
Как только оно запущено — выдерни сетевой кабель или выключи Wi-Fi и продолжай говорить с ним. Ему всё равно. У него уже есть на диске всё, что нужно. Этот миг — когда ты смотришь, как ИИ отвечает при полностью отключённом интернете, — момент, когда рушится иллюзия. Ты понимаешь, что никогда не нуждался в том, чтобы они держали разум за тебя.
Что ты получаешь обратно
Очевидный выигрыш — приватность, но форму его стоит назвать точно.
Твои промпты — это твоя внутренняя речь, вынесенная наружу. Твои тревоги о здоровье, твои юридические вопросы, твои бизнес-планы, твои недодуманные мысли. Каждая, отправленная в облачную модель, становится их активом — обучающими данными, поведенческим профилем, строкой в досье. Локальная модель даёт тебе собеседника, который не забывает ничего, что ты велел помнить, и не помнит ничего, чего ты не велел. Разговор умирает вместе с сессией, если ты сам не решишь его сохранить. Это естественное состояние приватной мысли.
Здесь есть суверенитет за пределами приватности. Локальную модель нельзя зарейтлимитить, когда она нужна больше всего. Её нельзя объявить устаревшей, задрать цену или за ночь «обновить» ей характер во что-то, чему ты больше не доверяешь. Она не может отказать твоему законному сценарию, потому что команда политики в другой стране решила, что твоя тема под запретом. Это инструмент, который отвечает тебе. В мире арендованного мышления это редкость.
Наша запись
Взвесь два устройства на Весах. На одной чаше: мышление как услуга, измеренное и залогированное, твоя внутренняя жизнь утекает наружу к центру, который её записывает. На другой: мышление как собственность, тихое, локальное, твоё. Первое кренится к Исфет не потому, что облако — зло, а потому, что оно концентрирует: каждая мысль пропущена через один узел, один реестр, одного владельца. Второе восстанавливает равновесие, оставляя Ба дома. Твоей душе-дыханию не нужно ездить в датацентр, чтобы мыслить. Локальная модель — маленький акт Маат: она возвращает разум туда, где ему место, — внутрь твоих стен.
Честные компромиссы
Не продам тебе фантазию. У локальных моделей есть реальные пределы, и притворяться иначе — так люди и обжигаются.
- Потолок способностей. Самое сложное рассуждение, самый длинный контекст, самое свежее знание — фронтир-лаборатории всё ещё впереди. Для этих конкретных задач закрытые модели сегодня просто сильнее.
- Трение при настройке. Это одна команда, но всё же команда. Первая закачка — несколько гигабайт. Нужна память.
- Нет живого знания. Локальная модель знает лишь то, на чём её обучили. Она не умеет искать в сети. Свяжи её с локальным поисковым индексом, если нужны актуальные факты.
- Обслуживание на тебе. Никто не патчит её за тебя. Новые модели выходят постоянно; ты качаешь те, что хочешь.
Ни одно из этого — не стоп-фактор. Это цена владения, а владение дёшево по сравнению с альтернативой — пожизненной арендой собственных мыслей у тех, кто их залогировал.
Начни сегодня ночью
Тебе не нужно разрешение. Не нужен бюджет. Нужна одна закачка и одна команда.
Поставь Ollama. Запусти `ollama run mistral`. Спроси у неё то, что никогда не вбил бы в облачный чат, — что-то настоящее, что-то твоё. Смотри, как оно отвечает при выключенном Wi-Fi. Почувствуй разницу между разумом, который арендуешь, и разумом, который держишь.
Облако хочет твои мысли в своём реестре. Держи их на своём диске. Не твои ключи — не твои монеты. И не твоя модель — не твой разум.