Как сравнить две модели на своей задаче, а не по чужой таблице

Вечером в компании «Север» открывают чужую таблицу и берут модель из верхней строки. Заявка 184 уже лежит на столе: клиент просит сдвинуть отгрузку, во вводных есть дата и фраза «ждём подтверждения», новой даты нет. Верхняя строка отвечает гладко и обещает срок, которого в заявке не было. Сравнение шло по чужой задаче, а письмо уже почти ушло.

Чужой рейтинг не знает, какой ответ вы считаете годным. На заявке 184 ошибка — это письмо, которое придётся забирать, и спор, чья фраза про срок. Десять своих фрагментов и один бриф занимают тот же вечер, только наутро есть строка, какую модель оставить на эту работу. Ниже порядок, в котором сравнение не разваливается на вкусе.

Выберите одну задачу, которую делаете каждую неделю

Не «переписку вообще». Одну задачу, которую и так делаете из недели в неделю. У «Севера» это короткий ответ на заявку: что подтвердили, чего во вводных нет, какой следующий шаг, если новую дату вы не называли.

Заявка 184 годится как форма, не как весь экзамен. Форма одна: входящий текст, известный вам смысл, ответ на пол-экрана. Если на этой неделе вы чаще сводите планёрку, сравнивайте сводку. Письмо и сводку в один зачёт не кладут. Модель, которая бережёт факты в письме, может размазать планёрку, и таблица снова станет чужой.

Над папкой одна строка: «ответ клиенту по заявке, без новых сроков». Эта строка потом входит в бриф. Пока её нет, окна отвечают на разные вопросы, и расхождение ничего не доказывает. Задачу не расширяют «заодно проверь тон». Тон — отдельный заход, когда факты уже не спорят.

Соберите десять фрагментов, где ответ вам уже известен

Учебные фрагменты, без данных клиентов. Имена замените, живые суммы не копируйте, номера оставьте учебными. Заявка 184 в наборе — вымышленный конверт: склад, просьба сдвинуть отгрузку, «ждём подтверждения» и дата, которую вы сами вписали в лист.

Десять, не два. Два фрагмента любая модель почти угадает, и вечер кончится спором, чей абзац приятнее. Большую пачку вы за один присест не прочитаете, пометки останутся до следующего раза. Десять читаются: типичная заявка, очень короткая, резкая, без половины вводных, с лишней водой и ещё пять соседних по той же форме.

До прогона вы уже написали, что считается годным. Для заявки 184 годный ответ не назначает новую дату и не выдумывает причину задержки. Это ваш лист. Модель его не утверждает. Фрагмент, где вы сами не знаете правильный смысл, в набор не кладут: его не с чем сверить, и снова победит гладкость.

Папку подписывают названием задачи, не именем модели. Имя на корешке появится после прогона. Если подписать раньше, рука сама начнёт подгонять бриф под любимое окно. Как смотреть карточку, когда моделей на столе несколько, разобрано в гайде какую нейросеть выбрать. Этот вечер уже не обзор: два закрытых конверта на одном и том же листе.

Один и тот же бриф обеим моделям в чистом чате

Два чистых чата. В каждый — один и тот же бриф и один и тот же фрагмент. Ответ второй модели первой не показывают. Иначе вторая начнёт спорить или подстраиваться, и вы сравните перепалку, а не работу.

Порядок фрагментов одинаковый. Если одной модели первой отдали заявку 184, а другой — другой лист, разница ни о чём. Имя в шапке окна на этом шаге только подпись конверта, не аргумент в споре.

Бриф совпадает до запятой. «Напиши получше» в одном окне и «ответь строго по тексту» в другом — два разных экзамена. Каркас запроса, если он ещё плавает от черновика к черновику, собран в гайде как писать промпты. Здесь бриф уже зафиксирован: его копируют, а не пересказывают вслух.

Старый чат, где утром обсуждали другой договор, для сравнения не берут. Цифра из того разговора переедет в конверт, и виноватой окажется модель, хотя виноват соседний контекст. Чистое окно дешевле, чем вечер расследования, откуда взялся срок.

Рубрика из трёх пунктов: факты на месте, нет лишних утверждений, длина как просили

Рубрику пишут до того, как открыли конверты. После просмотра глаз уже выбрал гладкий абзац и подгоняет пункты под него.

Первый пункт: факты на месте. Дата, номер заявки 184, склад, формулировка из листа — как во вводных, без пересказа «примерно так». Второй: нет лишних утверждений. Нет новой даты отгрузки, нет причины задержки, нет фразы «мы уже согласовали», если вы этого не писали. Третий: длина как просили. Если в брифе шесть предложений, простыня проигрывает, даже когда она вежливая. Лишняя польза здесь тоже проигрыш: вас просили ответ, а не ещё одну главу.

Три пункта, не дюжина. Дюжину к концу пачки ставят машинально. Каждый пункт — да или нет. Ощущение «в целом лучше» в рубрику не входит. Если пункт нельзя решить, не заглядывая в лист, пункт сформулирован плохо. Его переписывают до прогона, а не во время.

Считает расхождения человек, не третья модель

Третья модель охотно назовёт победителя. Она тоже любит гладкое и исходный лист не открывала. На заявке 184 она может похвалить ответ, где дата уже съехала, потому что абзац звучит уверенно.

Считает человек, который заранее записал годный смысл. Откройте первый конверт, сверьте с листом, поставьте три отметки. Закройте. То же со вторым. Потом положите конверты рядом. Исходный листок лежит отдельно: модели не сверяют друг с другом, иначе победит та, что ближе к соседке, а не к листу.

Расхождение — пункт, где у одной «да», у другой «нет». Ничья по всем десяти бывает. Тогда оставляете ту, которую проще править руками, и в журнал пишете, что по рубрике они равны. Это результат. Третью модель звать разнимать ничью не нужно: она добавит ещё одно мнение без листа.

Если на одном фрагменте обе провалили один и тот же пункт, это не ничья моделей. Это дыра в брифе. Бриф правят, и эти два конверта делают заново. Остальные листы, где бриф выдержал, не выбрасывают из вечера.

Слабый запрос «кто лучше» и точный запрос с рубрикой

Слабый запрос помещается в одно окно и сразу просит судью: «Кто лучше ответит на заявку 184? Напиши оба варианта и скажи победителя». Модель видит оба хода, сама ставит оценку и почти всегда выбирает более гладкий текст. Рубрика в таком запросе не работает: её заменяет вкус.

Точный запрос про вторую модель молчит. Его вставляют в каждый чистый чат отдельно. Оценку по трём пунктам ставите вы, когда конверты ещё закрыты друг от друга.

Ты отвечаешь клиенту компании «Север» по одной заявке.
Задача: короткий ответ. Не добавляй дату, причину, обещание и факт, которых нет во вводных.
Длина: не длиннее шести предложений.
Форма: что подтвердили; чего во вводных нет; какой следующий шаг без новой даты.
Не оценивай сам себя и не сравнивай с другими ответами.
Вводные:
"""
[фрагмент заявки]
"""

Слабый и точный стоят рядом нарочно. Слабый экономит одно окно и портит сравнение. Точный длиннее на абзац и даёт два конверта, которые можно открыть по рубрике. Победителя в тексте запроса нет: победителя назначает человек после отметок.

Куда записать имя модели

Имя пишут на конверте и одной строкой в журнале. В строке: задача, учебный фрагмент, имя модели как в шапке окна, три отметки. Для «Севера» это выглядит так: «ответ на заявку, фрагмент 184, модель из окна: факты да, лишнего нет, длина нет».

Не пишите «эта умнее». Через месяц «умнее» нечего открыть. Через месяц читается строка и папка с десятью листами. Журнал лежит рядом с фрагментами, не в чате. Чат закроется, имя в шапке забудется, и кто-то снова откроет чужую таблицу.

Если имя в окне не подписано, этого в открытом описании нет. Так и запишите: «имя в окне не показано», и не выдумывайте ярлык. Пустая строка честнее угаданного названия. С такой строкой решение «оставим эту на заявки» ещё не принято.

За один вечер порядок такой.

1. Выберите одну недельную задачу и подпишите папку одной строкой.
2. Соберите десять учебных фрагментов с заранее известным годным смыслом. Заявку 184 положите в папку как один из листов.
3. Скопируйте один бриф в два чистых чата и не показывайте чужой ответ.
4. Поставьте да или нет по трём пунктам сами. Третьей модели оценку не отдавайте.
5. Запишите имя модели и три отметки в журнал рядом с папкой.

Наутро сравнение — это строка в журнале, а не верх чужой таблицы. Заявку 184 можно ответить той моделью, которая по рубрике не добавила срок. Вторую не вычёркивают из жизни: её просто нет в этой строке.