Токен — это не слово и не знак

Снабженец «Севера» сел прикинуть, влезет ли переписка по заявке 184 в один запрос. Считал по привычке: одно слово — одна единица, как в английском примере из чужого калькулятора. Русская фраза «уточните срок поставки по заявке» рассыпалась мельче, чем английская фраза той же мысли. Потом он добавил «напиши подробно». Короткий вопрос кончился, длинный ответ ещё шёл.

Путаница ломает оценку бюджета. В чате это выглядит как «ну длинновато». Там, где запрос гоняют на каждую заявку, те же привычки повторяются: выход раздувается, одна и та же инструкция приезжает снова, и запас, который прикинули по словам, кончается раньше. Цифру из чужого блога сюда не переносим. Считаем куски текста, и только своим абзацем.

Токен — кусок строки, не слово и не знак

Токен — кусок текста, которым модель режет строку. Это не слово, не буква и не «тысяча знаков». Один и тот же абзац у двух поставщиков может занять разное число токенов. Как режут строку у одного поставщика, описано в справке OpenAI о токенах. У другого резка своя, её описание — в справке Gemini о токенах. Общего «курса перевода» между ними в открытом описании нет.

В «Севере» на заявке 184 это всплыло в одну строку. Сотрудник посчитал слова в письме площадке и решил, что запас большой. Сервис посчитал куски. Короткое «кабель» и короткое английское слово той же длины легли в запрос не одинаково. Заявка ещё не была длинной. Уже была неверной прикидка. Пока единицу называют словом, любой вечерний план по заявке 184 строится на чужой линейке.

Русскую прикидку не берут из английского калькулятора

Русский текст обычно дробится мельче английского. Коэффициент называть не будем: его нет смысла заучивать, он разный у поставщиков и на разных абзацах. Оценка «одно слово — один токен» для русского бюджета нельзя переносить из английского калькулятора. Калькулятор, который гоняли на английской фразе, измерял другую нарезку.

На заявке 184 в «Севере» сравнили две фразы одной мысли. Английская уместилась в ожидание. Русская «просим подтвердить дату приёмки склада» заняла больше кусков, хотя слов в ней было не больше. Никто не стал выводить из этого правило на все письма. Стало ясно другое: чужой пример «примерно столько же» для русского черновика не работает. Если прикидка нужна, её делают на своём абзаце, в официальном подсчёте того поставщика, которым пользуетесь. Цифра из статьи «мы посчитали за вас» к заявке 184 не прикладывается.

Линейка на столе здесь — слова. Бусины — токены. Фразы выглядят ровесницами, горсти разные. Пока «Север» мерил заявку 184 линейкой, запас казался спокойным. Горсть бусин была больше, и это ещё до ответа.

Вход и выход считают отдельно

Вход и выход считают отдельно. Длинный ответ занимает больше кусков, чем короткий, даже если вопрос был в одну строку. Просьба «напиши подробно» раздувает выход. Вежливое «разверни мысль» делает то же самое, только мягче на слух.

В «Севере» вопрос по заявке 184 был коротким: какая дата приёмки. Вход — кусок письма. Выход без ограничителя превратился в пересказ всей поставки, с вступлением и оговорками. Кусков в ответе оказалось больше, чем в вопросе. Сотрудник смотрел на вопрос и не понимал, куда делся запас. Запас съел не вопрос. Его съела просьба быть подробным там, где нужна была одна дата.

Для черновика площадке это особенно заметно. Вы просите письмо, модель пишет письмо с приветствием, тремя абзацами и повторным пересказом заявки 184. Каждый абзац — выход. Если задача была «одна строка: дата или слова, что даты нет», подробный ответ — это другой заказ. Его надо просить отдельно, когда подробность правда нужна, а не по привычке в конце каждого сообщения.

Одна и та же инструкция едет с каждым письмом

Повтор одной и той же инструкции в каждом письме повторяет и токены. Правила тона, запрет выдумывать дату, имя площадки — всё это заново входит в запрос, если вы приклеиваете полный текст к каждой заявке. На одной заявке 184 это незаметно. На пачке писем за вечер одна и та же шапка становится основной частью входа, хотя дело внизу — в двух строках новой заявки.

Как устроены два разных счёта, окно чата и программный доступ, уже разобрано в новости бесплатный чат и программный интерфейс. Здесь не повторяем тот разговор и не добавляем цен. Здесь уже: даже внутри одного режима повтор инструкции — это повтор кусков. В «Севере» шапку на полстраницы клеили и в чат, и в заготовку для серии писем. В чате это просто длинное сообщение. В серии это одна и та же полстраницы на каждую заявку, включая 184.

Короче шапка не значит хуже правила. Значит, постоянное правило лежит один раз в том месте, где сервис его хранит между запросами, если такое место у вашего кабинета есть. Если места нет, шапку всё равно имеет смысл сжать до запретов, без примера на три абзаца. Пример, который вы вставляете «чтобы было понятнее», тоже считается.

Прикиньте своим абзацем, не чужим пересказом

Как прикинуть за вечер: вставьте свой абзац в официальный подсчёт поставщика, если он есть, и сравните с английской фразой той же мысли. Цифру из чужого блога не берите. Если официального подсчёта у вашего сервиса в открытом описании нет, так и запишите: прикидки нет, есть только факт, что русский черновик не равен английскому примеру.

В «Севере» взяли абзац из заявки 184, не статью из интернета. Рядом положили английский перевод той же просьбы подтвердить дату. Официальный подсчёт показал разницу без всякого «коэффициента на салфетке». Эту разницу не стали вешать на стену как норму. Её использовали один раз: перестали планировать вечер по словам. Для следующей заявки повторят тот же жест, своим текстом. Чужой блог, где «в среднем выходит вот так», в папку «Севера» не кладут.

Имеет смысл записать три строки в заметку: какой поставщик, какой абзац считали, что выход ограничили. Без третьей строки прикидка входа врёт. Вы ограничили вопрос и не ограничили ответ.

Просите число предложений, а не «коротко»

«Коротко» модель понимает по-своему. Для одного поставщика это два абзаца. Для другого — страница с подзаголовками. Просьба уложиться в известное число предложений режет выход яснее. Число задаёте вы, под задачу, а не «как получится».

На заявке 184 «Северу» нужна была не статья. Нужны были три предложения: дата приёмки, что сделать складу, чего в письме площадки нет. Пока в запросе стояло «кратко и по делу», ответ гулял. Когда попросили ровно три предложения и запретили вступление, выход сел. Как ставить такой предел, не раздувая инструкцию, — в гайде как писать промпты.

Ответь по тексту ниже. Не добавляй дат, имён и площадок, которых в тексте нет.
Уложись в [число предложений] предложений, без вступления и без повтора всей заявки.
Если нужного факта нет — одно предложение: «в тексте нет».

Текст:
[абзац заявки, не вся переписка за месяц]

Промпт не называет цену и не обещает, что у двух поставщиков выйдет одно и то же число кусков. Он держит выход в рамках, которые вы задали для заявки 184. В «Севере» его сохранили рядом с шаблоном письма площадке. Слово «подробно» из шаблона убрали.

Как сделать за один вечер

1. Возьмите один свой абзац, как из заявки 184, и английскую фразу той же мысли. Не берите пример из блога.
2. Если у поставщика есть официальный подсчёт токенов, прогоните оба текста там. Запишите разницу словами, без коэффициента «навсегда».
3. Отделите в заметке вход и выход. Посмотрите, не просите ли вы подробный ответ на вопрос в одну строку.
4. Найдите инструкцию, которую клеите к каждому письму. Оставьте запреты, уберите учебный пример, если он длиннее самой заявки.
5. Замените «напиши кратко» на число предложений в промпте выше и проверьте на одном письме.

Токен — не слово и не знак. Пока в «Севере» заявка меряется чужой линейкой, бюджет вечера — это ощущение, а не подсчёт. Свой абзац и отдельный счёт выхода ставят ощущение на место.