Открытые веса не ставят модель на ноутбук

На карточке модели написано «открытые веса» и «можно запустить у себя». Из этого легко сделать вывод, что вечером она откроется на рабочем ноутбуке, как обычная программа. Иногда так и есть. Часто между фразой и ноутбуком лежит видеокарта, память и умение собрать окружение, а «открытые» относятся к лицензии, а не к кнопке «установить».

Путаница здесь дороже, чем в чате. Команда обещает заказчику, что документы не уедут наружу, потому что «модель локальная», и ставит вес, который на их машине не стартует. Либо стартует урезанная версия, и качество, которое смотрели в чужом демо, не приезжает. Ниже — как читать эту фразу до покупки железа.

Что именно открыли

Открытые веса значат: файл модели можно скачать и запустить на своём железе, если лицензия это разрешает. Лицензия и размер — разные предложения, их постоянно склеивают в одно.

Лицензия отвечает, можно ли встроить модель в продукт и можно ли зарабатывать на результате. Apache 2.0 и MIT обычно разрешают коммерческое использование самой модели. Это не разрешение на чужие тексты, которые вы в неё положили, и не обещание, что облачная обёртка над теми же весами отдаст вам те же права. Обёртка живёт по своим правилам.

Размер отвечает, влезет ли файл в память. Маленькая модель поиска на сотни миллионов параметров и языковая модель на десятки миллиардов — не одна полка. Карточка «открыто» без объёма памяти ничего не говорит о ноутбуке. Её надо открыть и найти требования к памяти именно той версии, которую вы собираетесь качать, а не соседней «Small», на которой записано демо.

Удобная программа вроде Ollama снимает часть сборки: она ставит окружение и качает популярные веса. Это ближе к кнопке, чем голый файл с Hugging Face. Но и она не отменяет память. Если веса не влезают, программа честно не станет быстрее от того, что лицензия дружелюбная.

Почему демо врёт про вашу машину

Демо почти всегда крутится не на том компьютере, за которым сидите вы. Чужой сервер держит модель в памяти, у вас на столе — ноутбук с интегрированной графикой. Скорость ответа в демо — это их железо. Ваше время ожидания будет другим, вплоть до «не запустилось».

Вторая ложь демо — версия. Показывают флагман, а в инструкции для слабых машин предлагают уменьшенную копию. Уменьшенная копия часто хуже держит длинный документ и сложный бриф. Это не повод её не брать. Это повод не обещать качество флагмана.

Третья — контекст. «Понимает длинные тексты» на карточке может требовать памяти сверх той, что нужна просто чтобы модель загрузилась. Длинный договор, который вы как раз и хотели не отправлять в облако, может не влезть в локальное окно. Тогда локальность есть, а задача, ради которой вы уходили из облака, нет.

Прежде чем говорить «мы перешли на своё», прогоните одну свою задачу, не задачу из карточки. Фрагмент вашего договора, ваш кусок кода, ваша расшифровка. Чужой пример на карточке написан так, чтобы модель выглядела хорошо.

Что проверить по карточке, а не по заголовку

Карточка модели на Hugging Face — это не реклама, если вы читаете её как спецификацию. Ищите не слово «open», а четыре строки.

• Лицензия. Можно ли вам коммерчески использовать именно этот файл.
• Размер и квантование. Полный вес и сжатая версия — разные файлы. Сжатие экономит память и иногда режет качество. Какое режет, карточка обычно не измеряет на вашем языке.
• Язык. Бенчмарк на английском коде не отвечает за русскую разговорную речь.
• Кто выложил файл. Чужой перепакованный вес с тем же именем — не тот файл, который описан в статье лаборатории.

Если одной из строк нет, у вас нет и ответа. «Потом разберёмся на проде» здесь значит «узнаем в пятницу, что не влезает».

Для поиска по своим документам маленькая модель эмбеддингов часто честнее огромного чата: она как раз про «найти фрагмент», а не про «написать сочинение». Как устроен этот слой, разобрано в гайде как научить нейросеть отвечать по вашим документам. Локальный поиск легко испортить облачной кнопкой «суммируй найденное»: точки остались у вас, а текст уехал. Что не стоит отправлять даже ради удобного итога — в гайде что нельзя отправлять в нейросети.

Оцени, потянет ли наш компьютер локальную модель. Не добавляй требований, которых нет в списке ниже.
Дано: объём памяти видеокарты или оперативной памяти — [сколько ГБ], нужная задача — [поиск по документам / черновик письма / код], язык — русский.
Скажи только: хватает ли этого на модель такого класса или нужен сервер. Если данных мало — один вопрос, чего не хватает. Не советуй конкретную покупку.

Промпт не заменяет карточку. Он заставляет вас вписать свои гигабайты до того, как вы поверите заголовку.

Когда локальная модель правда нужна

Нужна, если материал нельзя отправлять наружу, и задача при этом подъёмная для размера, который у вас есть. Расшифровка своих интервью, поиск по внутренней инструкции, черновик по файлу, который не должен лежать в чужом чате. Тогда открытый вес — рабочий путь, а не хобби.

Не нужна, если задача — редкое письмо, а секрет в нём легко вынуть. Вынимать секреты и идти в обычный чат иногда честнее, чем полгода собирать сервер ради двух абзацев. Как устроен этот выбор между сервисами, в гайде какую нейросеть выбрать.

Отдельный случай — большая открытая модель для кода, которая по цифрам лаборатории близка к закрытым флагманам. Размер таких весов — стойка, не сумка. Новость про «открыто и сильно» не отменяет счёт за электричество. Для редактора на обычной машине по-прежнему берут сервис или маленький вес. Как устроен сам редактор с агентом, если бэкенд у вас уже есть, — в гайде Cursor с нуля и на НейроКурсоре. Ни тот ни другой материал не впихивает десятки миллиардов параметров в ультрабук.

Сжатая модель — это другой файл

Когда места не хватает, вес квантуют: числа внутри модели записывают грубее, файл худеет. На бытовом письме разница может быть незаметна. На длинном договоре, на редких терминах и на аккуратном коде она проявляется как уверенная ошибка в мелочи. Поэтому фраза «поставим ту же модель, только полегче» неточна. Полегче — это соседний файл. Его надо прогнать на своём примере отдельно и решить, годится ли он, а не считать его бесплатной копией флагмана.

Имеет смысл держать рядом заметку из трёх строк: какое имя файла скачали, сколько памяти он занял при запуске, прошёл ли ваш один контрольный фрагмент. Без заметки через месяц никто не вспомнит, почему «локальная» вдруг стала отвечать хуже: часто просто обновили обёртку и она подтянула другую версию.

Как не купить видеокарту зря

1. Назовите задачу одним предложением. «Чтобы было локально» — не задача.
2. Возьмите один файл, который и есть эта задача. Не демо из интернета.
3. Найдите карточку конкретной версии и выпишите память. Если цифры нет — остановитесь.
4. Поставьте удобную обёртку и запустите сжатую версию, если полная не влезает. Сравните ответ с тем, что вы готовы отдать человеку.
5. Только если сжатая версия задачу не тянет, а полная влезает в следующее железо, имеет смысл говорить о покупке. До этого покупка — мебель.

Открытые веса — это разрешение и файл. Ноутбук — это память и ваша задача. Пока эти три вещи не сошлись в одном абзаце, фраза «запустим у себя» остаётся заголовком, а не планом.