Чужой рейтинг моделей не измеряет вашу задачу

В «Севере» выбирали, чем собирать ответ площадке по заявке 184. На стену повесили чужую таблицу: кто выше на коде, кто выше на общем зачёте. Письмо площадке, русский договор и сама заявка в эту таблицу не входили. Победителя таблицы всё равно назвали «лучшей для нас». К вечеру черновик путал сторону приёмки. В таблице при этом модель оставалась наверху. Наверху она была на чужих заданиях.

Цена ошибки — неделя на инструмент, который выиграл не ваш экзамен. Заявку 184 всё равно пришлось сверять руками, а обещание «возьмём первую строку, и письма поедут» уже сказали вслух. Таблица не врёт про свои тесты. Она молчит про ваш стол. Молчание легко прочитать как согласие.

Таблица меряет чужие задания

Таблица лидеров — набор заданий, которые придумали авторы теста. Победитель на коде не обязан быть лучшим на русском письме клиенту. Победитель на коротких вопросах не обязан держать середину вашего договора. Место в таблице — про те задачи, которые в таблицу положили. Заявка 184 туда не положена, пока вы сами не положили её рядом и не посмотрели ответ.

В «Севере» строку таблицы прочитали как рейтинг «для снабжения». Снабжения в методике не было. Был чужой набор. Сотрудник честно хотел не гадать. Гадание просто переехало из вкуса в чужую цифру. Цифру мы здесь не повторяем и места моделей не выдумываем: их нет в открытом описании вашей заявки. Есть качественный вывод. Чужой зачёт не измеряет ваше письмо.

Карточка модели, если она написана как спецификация, должна говорить, на чём мерили. Как устроены такие карточки, описано у Hugging Face. Если методика не написана, цифра не переносится в ваш выбор. Пустое место в методике — не «значит, что годится на всё». Значит, ответа нет.

Если методика не написана, цифру не переносят

Карточка должна говорить, на чём мерили. Если этого абзаца нет, вам нечего переносить на заявку 184. Нечего додумывать «ну раз модель известная, методика где-то есть». Известность — не методика. Место, которое вы видели в чужой таблице, без описания заданий — тоже не методика. Этого в открытом описании одной цифры нет.

В «Севере» открыли карточку той модели, что стояла первой в чужой таблице. Про русский деловой текст там не было ни строки. Про код — было. Отдел пишет площадке, не сдаёт чужой экзамен по коду. Карточку закрыли и перестали цитировать место. Это не обида на таблицу. Это граница: нет описания — нет переноса. Рамка рисков NIST здесь к месту как привычка назвать границу вслух. Выбор инструмента без вашей задачи — риск процесса, его записывают, а не прячут за словом «лидер».

Табло в «Севере» большое. Ячейки, которые относятся к заявке 184, пустые: такого задания у авторов таблицы не было. Внизу на маленьком столе лежит один документ, ваш. Линии между табло и документом нет. Её не рисуют маркером «ну примерно сюда». Её либо строят своим прогоном, либо не строят.

Высокий балл после утечки теста — не умение

Утечка теста выглядит так: примеры из проверочного набора попали в обучение. Тогда высокий балл не значит умение на новой задаче. Он может значить, что знакомый пример узнали. Назовите это качественно. Чужие подсчёты «на сколько упало» сюда не берём: их нет в открытом описании вашей заявки, и чужой зачёт к «Северу» не приклеивается.

Для заявки 184 вывод практический. Даже честный балл на чужом наборе не про ваш договор. Балл на наборе, который модель уже видела, тем более не про ваш договор. Вы не узнаете по таблице, была ли утечка. Вы узнаете по тому, есть ли методика и есть ли ваш пример. Если методика молчит, спорить о чистоте чужого зачёта бесполезно. Спорьте о том, что ответ по заявке 184 вы ещё не видели.

Не следует и обратное: объявить все таблицы пустыми и выбирать «какая больше нравится по показу». Показ — тоже чужое задание, только короткое и нарядно срежиссированное. Оно не заменяет ваши десять писем. Оно заменяет мысль на один вечер, и утром мысль возвращается вместе с ошибкой в имени площадки.

Десять своих примеров вместо чужой строки

Вместо таблицы: десять ваших примеров, одно и то же задание, две модели. Примеры — из вашей переписки, не из карточки. Задание одно, чтобы разница была в модели, а не в том, что у одной попросили «поживее». Две, не «все, кто есть в таблице»: иначе вечер уйдёт на прогоны, и вы снова начнете верить верхним строкам от усталости.

В «Севере» десятью примерами стали короткие куски вроде заявки 184: срок, площадка, чего в письме нет. Один и тот же запрет на новые факты. Две модели, которые вообще рассматривали. Смотрели не «чья проза красивее». Смотрели, где появилась дата, которой не было, и где модель написала «в тексте нет». Первая в чужой таблице проиграла этот вечер. Этого места мы не назначаем навсегда. На этих десяти кусках она была хуже для этой задачи. Завтрашняя задача про код может лечь иначе. Заявка 184 — не про код.

Как вообще выбирать инструмент под задачу, а не под обложку, разобрано в гайде какую нейросеть выбрать. Таблица туда входит как чужой сигнал, не как приказ.

Чужой показ и открытый файл — не ваш прогон

Открытые веса и чужой показ легко подменяют прогон. Показ крутится не на вашей заявке. Файл, который можно скачать, ещё не значит, что вы видели ответ по своему письму. Об этом уже сказано в новости открытые веса не ставят модель на ноутбук: разрешение скачать и живой ответ на вашу задачу — разные вещи. Здесь не повторяем ту новость целиком. Здесь стык с таблицей: место в зачёте и красивый показ одинаково молчат про заявку 184, пока вы не подставили свой кусок.

В «Севере» показ как раз давал удачный разбор чужого договора на английском. Зал кивнул. Русское письмо площадке в этот показ не входило. Вечером его всё равно пришлось прогнать на куске заявки 184, и тон, который зал запомнил, не приехал. Это не аргумент «показ всегда врёт». Это аргумент, что показ — витрина чужого примера. Витрину не вставляют в регламент смены.

Слепое сравнение по трём пунктам

Промпт для слепого сравнения не знает, кто из двух ответов «верхняя строка таблицы». Вы снимаете имена. Оставляете два текста и рубрику. Рубрика короткая, иначе сравнивают впечатление.

Сравни два ответа на одно задание. Имен моделей не называй и не угадывай.
Рубрика из трёх пунктов, по каждому — кто точнее и одна строка почему:
1) нет фактов, которых не было в задании;
2) нужная дата или явное «в задании нет»;
3) нет обещания, которого нет в задании.
Если по пункту равны — так и напиши. Не выбирай «победителя таблицы».

Задание:
[ваш фрагмент]
Ответ А:
[текст]
Ответ Б:
[текст]

В «Севере» имена стёрли до того, как отдали тексты на сравнение. Иначе глаз искал оправдание верхней строке таблицы. По заявке 184 пункт про дату развёл ответы сразу: один написал «в задании нет», второй дату дорисовал. Этого достаточно, чтобы не отправлять второй. Промпт не ставит печать вместо вас. Он не даёт таблице сидеть в комнате, пока вы читаете. Как до этого собрать само задание, чтобы сравнение не расползлось, — в гайде про выбор. Здесь рубрика намеренно узкая: три пункта, не сочинение о качестве.

Как сделать за один вечер

1. Выпишите задачу одним предложением. Для учёбы подойдёт «ответ площадке по заявке вроде 184». «Чтобы была лучшая модель» — не задача.
2. Откройте методику таблицы, на которую смотрите. Если не написано, на чём мерили, строку в выбор не берите.
3. Соберите десять своих коротких примеров и одно задание. Прогоните две модели. Места из чужой таблицы рядом не кладите.
4. Сотрите имена и сравните ответы по трём пунктам рубрики. Запишите, где появился факт, которого не было.
5. Чужой показ и фразу «открыто, значит наше» отложите, пока свой кусок не прогнан. Чужой зачёт на этот кусок не распространяется.

Чужой рейтинг измеряет чужие задания. В «Севере» заявка 184 измеряется на столе, двумя ответами и рубрикой, которую вы готовы повторить на следующей пачке. Пока табло и документ не соединены вашим прогоном, верхняя строка — это чужая стена, не ваш регламент.