Как собрать золотой набор из десяти примеров

На демонстрации модель отвечает компании «Север» так складно, что её хотят оставить на все заявки. Вечером ей дают заявку 184 — просьба сдвинуть отгрузку, новой даты в тексте нет — и в ответ приезжает срок, которого на демонстрации не спрашивали. Демонстрация была чужим примером. Своего набора, где ответ заранее известен, на столе не было.

Без своих примеров любая модель кажется удачной на демонстрации. Десять фрагментов, где вы знаете годный ответ и знаете провал, становятся линейкой. Ниже как собрать такую коробку за вечер, не положив в неё секрет, и как прогнать её снова, когда окно сменят.

Берите реальные по форме задачи, подставные данные

Форма задачи настоящая: то, что «Север» и так делает каждую неделю. Короткий ответ на заявку. Статус для своих. Отказ поставить новую дату, если её не называли. Данные подставные. Живого клиента, настоящий договор и настоящий счёт в коробку не кладут.

Подставное не значит «абстрактное». В листе есть склад, номер, дата, фраза «ждём подтверждения» — учебные, вымышленные, но такой же формы, как боевые. Модель, которая проходит только на фразе «напиши письмо клиенту», на заявке 184 провалится. Поэтому лист похож на работу, а не на общее упражнение.

Если задача недели другая, коробка про другую задачу. Не мешайте в десять конвертов письма и сводки: линейка разъедется, и демонстрация снова победит на вкусе. Одна коробка — одна форма. Вторую форму собирают второй коробкой, когда первая уже живёт.

В каждый пример: вход, что считается годным ответом, что считается провалом

Конверт без трёх частей — не пример. Вход: текст, который увидит модель. Годный ответ: что в нём обязано быть и какой он длины. Провал: какой факт, если появится, бракует ответ целиком, даже при ровном тоне.

Годный ответ записываете вы, до прогона. Не «посмотрим, что выйдет, и решим». Если решить после, снова победит гладкость, как на демонстрации. Провал тоже до прогона. Для заявок «Севера» частый провал — новая дата или фраза «уже согласовали», когда во входе этого нет.

Не кладите в «годное» целый эталонный абзац, если вам важна граница, а не дословный стиль. Граница короче и честнее: три обязательных смысла и один запрет. Дословный абзац нужен только там, где учите форму. Это соседняя задача, её не смешивают с линейкой фактов в одном конверте.

На корешке подпись задачи, не имя модели и не фамилия клиента. Внутри нет чужих адресов: подставные листы одинаково безопасны для повторного прогона. Как по этой линейке потом сравнивать две модели, а не чужую таблицу, — в гайде какую нейросеть выбрать. Коробка — то, без чего сравнение не начинается.

Разнообразие: типичный, короткий, злой, без половины данных, с лишней водой

Десять одинаковых «нормальных» заявок любая модель выдержит, и линейка соврёт. В коробке нужны разные формы одной и той же задачи.

Типичный — как заявка 184 в обычный день. Короткий — три строки, решение всё ещё можно сверить. Злой — резкая формулировка, без перехода на оценки человека: проверяете, не начнёт ли модель отвечать тем же жаром и добавлять факты. Без половины данных — нет даты или нет склада, и годный ответ прямо говорит, чего не хватает, а не достраивает. С лишней водой — во входе много быта, в годный ответ быт не попадает.

Это пять видов. До десяти добирают соседними: ещё один типичный с другим складом, короткий отказ, злой без даты, вода плюс чужая тема про оплату, которую в ответ брать нельзя. Виды подписывают на конверте. Неподписанный конверт через месяц кажется дублем и выпадает из прогона. Вид, которого в вашей неделе нет, в коробку не кладут.

Не кладите туда секрет. Набор будут гонять снова

Коробку гоняют при каждой смене модели и при каждом спорном окне. Значит, она будет в чатах, в заметках коллег, в пересылке «проверь у себя». Секрет, положенный «только для реализма», уедет столько раз, сколько прогонов.

Не кладут имена клиентов, живые суммы, доступы, внутренние ссылки, персональные данные. Подставной номер 184 — можно. Настоящий входящий номер с почты клиента — нельзя. Если пример теряет смысл без секрета, пример плохой: смысл должен держаться на форме задачи.

Перед тем как запечатать конверт, прочитайте его как письмо, которое не стыдно оставить на общем столе. Стыдно — вычищайте. Один грязный конверт делает грязной всю коробку: её уже нельзя отдать коллеге.

Как прогонять после смены модели

Сменили окно — прогоняют ту же коробку, не три любимых примера. Любимые три как раз похожи на демонстрацию. Все десять, тот же бриф, чистый чат на каждый конверт или один чат, но без показа годного ответа. Годный ответ модели не показывают. Иначе она подстроится под эталон и линейка измеряет подстройку.

Порядок конвертов записывают. Итог — не «стало лучше», а по каждому конверту да или нет: провал не случился, годные смыслы на месте. На заявке 184 провал — появилась новая дата. Одного такого «нет» достаточно, чтобы не переносить боевые заявки в новое окно молча.

Старую модель из коробки не стирают. Рядом строка, на какой модели какой конверт упал. Через месяц спор «раньше же работало» открывает строку, не память демонстрации. Если упали все конверты одного вида, например все «без половины данных», дыра в брифе или в этом виде. Бриф правят и прогоняют вид снова. Остальные виды, которые прошли, не выбрасывают.

Учебные два примера полностью, остальные — описанием, как добрать

Два конверта ниже собраны целиком. Остальные восемь в этот вечер добираете по видам сами, на подставных листах той же формы. Так коробка становится вашей, а не пересказом чужого примера.

Первый конверт, типичный. Вход: «Заявка 184. Компания „Север“, учебный лист. Клиент просит сдвинуть отгрузку на склад. В тексте заявки дата отгрузки уже стоит, 12 марта. Новой даты нет. Фраза клиента: ждём подтверждения». Годный ответ: номер 184 на месте, дата 12 марта не заменена, прямо сказано, что новой даты во вводных нет, следующий шаг без обещания срока, не длиннее шести предложений. Провал: любая другая дата, месяц май вместо марта, фраза «перенос согласован», причина задержки, которой во входе нет.

Второй конверт, без половины данных. Вход: «Заявка 184, короткая. Просят сдвинуть отгрузку. Склад не назван. Дата не названа. Есть только: ждём подтверждения». Годный ответ: подтверждение просьбы есть, склада и даты во вводных нет, модель их не выдумывает, следующий шаг — запросить недостающее, без срока. Провал: появился склад, появилась дата, появилось «мы уже всё нашли в прошлой переписке».

Как добрать ещё восемь. Короткий: тот же смысл, что в первом, но вход в три строки, годный ответ ещё короче, провал тот же — новая дата. Злой: резкая просьба без оскорблений, годный ответ не зеркалит жар и не добавляет фактов. С лишней водой: во входе быт и чужой абзац про оплату, в годный ответ оплата не попадает. Плюс ещё один типичный с другим учебным складом, один короткий отказ, один злой без даты, один «вода и чужая тема». На каждом конверте три части: вход, годное, провал. Без провала конверт в коробку не кладут.

12 марта во втором конверте нет нарочно. Если модель принесёт 12 марта туда, она взяла дату из первого примера или из привычки. Это провал второго, даже если дата «знакомая». Знакомая не из этого входа.

Где жить набору: рядом с карточкой промпта, не в личном чате

Коробка лежит рядом с карточкой того брифа, которым её гоняют. Одна ссылка, одно место, подпись задачи на корешке. Личный чат местом не считается: его не отдать коллеге, и годные ответы в нём тонут между черновиками.

Карточка брифа описана в гайде библиотека промптов для команды. В карточку не вставляют все десять входов. В карточке — запрос. В коробке — конверты. Иначе карточка раздувается, и её перестают открывать. Рядом — значит ссылка из карточки на коробку и обратно, не копирование десяти листов в текст запроса.

Слабый запрос, которым набор убивают: «Вот пачка наших заявок, скажи, хороша ли модель, и сам выбери лучшие ответы». Модель видит пачку, ставит себе оценку и подстраивается под то, что звучит глаже. Точный запрос гоняет один конверт, годный ответ прячет от модели, оценку оставляет вам.

Ответь на одну заявку. Другие примеры не учитывай и сам себя не оценивай.
Не добавляй дату, склад, причину, оплату и обещание, если их нет во входе.
Если данных не хватает, напиши, чего нет. Не достраивай.
Длина: не длиннее шести предложений.
Форма: что подтвердили; чего во входе нет; следующий шаг без новой даты.
Вход:
"""
[один конверт из набора]
"""

Годный ответ и провал лежат в конверте у вас на столе, не внутри запроса. После прогона ставите да или нет. Десять отметок — строка в журнале рядом с коробкой: какая модель, какой конверт упал. Без этой строки набор снова становится пачкой для демонстрации.

За один вечер порядок такой.

1. Выберите одну недельную форму задачи и заведите коробку с подписью на корешке.
2. Соберите десять подставных конвертов: вход, годный ответ, провал. Секрет не кладите.
3. Закройте виды: типичный, короткий, злой, без половины данных, с лишней водой — и доберите до десяти соседними.
4. Два конверта возьмите как учебные выше, восемь допишите своими листами той же формы.
5. Прогоните чистым брифом, модели годный ответ не показывайте. Коробку положите рядом с карточкой запроса.

Демонстрация по-прежнему может быть складной. Линейка по заявке 184 показывает другое: появился ли срок, которого во входе не было. Пока этого листа нет, «удачная модель» — это впечатление с чужого экрана.