Как проверить ответ нейросети, прежде чем отправить его клиенту

Клиент получает письмо, в котором дата поставки на неделю раньше договора. Письмо писал не стажёр. Его собрала модель из заметок, а человек нажал «отправить», потому что абзац звучал гладко. Гладкость здесь и есть проблема: ошибка не выглядит как ошибка.

Проверка перед отправкой — не «перечитать по диагонали». Это короткий ритуал, который ловит выдуманный факт, чужую цифру и тон, который вы бы вслух не произнесли. Ритуал занимает меньше, чем разбирательство после ответа клиента. Ниже он собран так, чтобы его можно было отдать коллеге без устных дополнений.

Что именно вы проверяете

Не стиль в первую очередь. Стиль чинится быстро. Дорого чинится факт, которого не было в исходнике, и обещание, которое модель добавила «для вежливости»: срок, скидка, «мы это уже сделали».

Разложите ответ на три корзины.

1. Факты. Имена, даты, суммы, номера договоров, названия продуктов. Каждый должен находиться в материале, который вы сами дали модели, или в источнике, который вы открыли.
2. Обещания. Всё, что звучит как обязательство: «пришлём завтра», «это входит в тариф», «юристы подтвердили». Если этого не говорили вы, это не ваше обещание.
3. Дыры. Места, где модель написала гладко вместо того, чтобы сказать «в заметках этого нет». Гладкая дыра опаснее явного пропуска.

Пока корзина фактов не сверена, править запятые рано. Красивый текст с неверной суммой хуже шероховатого с верной.

Откуда берётся уверенная ошибка

Модель достраивает типичный документ. Типичное коммерческое письмо содержит срок и готовность помочь. Ваши заметки срок не содержали — письмо всё равно его завело, потому что «так пишут». Это не сбой кнопки. Это дырка в задании плюс привычка жанра.

Вторая причина — чужой контекст в том же чате. Вы обсуждали другой договор час назад, и цифра из него переехала в новый ответ. Новый чат на новую задачу дешевле, чем расследование, откуда взялась скидка.

Третья — вы попросили «сделай убедительно». Убедительность модель понимает как нажим и конкретику. Конкретику, которой нет, она изобретает. Просите точность и запрет на новые факты. Убедительность пусть останется вашей, после сверки.

Как ставить этот запрет в самом запросе, разобрано в гайде как писать промпты. Здесь — что делать с уже готовым ответом, когда запрос был так себе и переписывать его с нуля некогда.

Ритуал на четыре прохода

Не нужно четырёх человек. Нужны четыре прохода одного человека, и каждый проход смотрит в одну сторону.

Проход по цифрам. Выпишите из ответа все числа и даты в столбик. Напротив каждого — откуда оно. Нет источника в ваших заметках — число вычёркивается, даже если оно «похоже на правду». Похоже — не источник.

Проход по именам. Компании, люди, продукты, внутренние аббревиатуры. Модель любит нормализовать имя: сократить, перевести, заменить на более известное. Клиент с именем, которое вы не писали, — уже не ваш клиент.

Проход по обещаниям. Подчеркните глаголы будущего времени и слова «гарантируем», «входит», «бесплатно», «успеем». Каждое либо есть в вашем поручении, либо удаляется. Вежливое «обязательно исправим до пятницы» без вашего решения — это обязательство, которое вы не принимали.

Проход вслух. Прочитайте абзац так, как если бы вы говорили это клиенту по телефону. Где вы споткнулись или вам стало неловко — там либо тон, либо факт. Этот проход короткий. Он не заменяет первые три.

Промпт, который готовит сверку, а не «улучшает» текст. Его имеет смысл запускать на черновике до того, как вы сами начнёте править запятые.

Не переписывай текст. Разметь черновик ниже.
1) Список всех чисел, дат и имён. Напротив каждого напиши «есть во входных заметках» или «во входных заметках нет». Заметки я дам следом за черновиком.
2) Список фраз, которые звучат как обещание.
3) Места, где ты не уверен. Не заполняй их догадкой.
Ничего не добавляй в сам черновик.
"""
[черновик]
"""
Заметки:
"""
[исходник]
"""

Если модель в этом промпте пишет «есть во входных заметках» на цифру, которой в заметках нет, ей нельзя отдавать сверку. Сверяйте глазами. Промпт только подсвечивает, он не ставит печать.

Когда отправлять нельзя, даже если «уже нормально»

Нельзя, если в тексте есть сумма, срок или юридическая формулировка, а второй проход сделал тот же человек на бегу между встречами. На такие куски нужен кто-то, кто не видел, как черновик рождался. Автор черновика слепнет к своим вставкам. Модель здесь считается соавтором: вы оба не свидетели.

Нельзя отправлять ответ про живого человека — жалобу, рекомендацию, медицинскую или кадровую формулировку — если вы не сверили каждое прилагательное с фактом, который готовы повторить вслух. Модель усиливает оценку. «Скорее всего задерживает оплаты» в заметке превращается в «систематически не платит» в письме. Это уже другой текст и другой риск.

Нельзя вставлять кусок ответа в договор и считать, что раз модель «видела шаблон», формулировка безопасна. Шаблон она видела в общем виде. Ваш пункт она могла сгладить так, что обязательство перешло на другую сторону. Договор после модели читает человек, который умеет читать договоры. Нейросеть эту роль не закрывает.

Что нельзя было класть в запрос ещё до проверки ответа — паспортные данные, доступы, полные базы клиентов — в гайде что нельзя отправлять в нейросети. Проверка ответа не лечит то, что секрет уже уехал в чат.

Как встроить ритуал в команду, а не в героизм

Герой, который «всегда перечитывает», болеет один день, и письмо уходит без него. Ритуал должен быть скучной строкой в задаче.

• В шаблоне задачи есть пункт «сверка фактов» с галочкой. Нет галочки — нет отправки.
• Рядом с галочкой лежит тот самый промпт разметки и ссылка на исходные заметки, не пересказ.
• Для писем с деньгами и сроками галочку ставит второй человек. Для внутренних заметок хватает автора.
• Удачный запрет («не добавляй срок, если его нет в заметках») дописывают в общий бриф, а не хранят в чьей-то памяти. Память чата на новом окне пустая.

Если команда пишет код, тот же принцип: зелёный тест и прочитанный diff, а не «модель сказала, что починила». Как не путать черновик агента с готовым коммитом, есть в гайде Cursor с нуля. Для формулировок агенту в редакторе — НейроКурсор.

Отдельно договоритесь, где лежит исходник, с которым сверяют. Если исходник — сообщение в чате двухдневной давности, второй человек его не найдёт и галочку поставит на память. Рядом с черновиком должна быть ссылка на заметку или файл, а не фраза «ну ты помнишь, о чём речь». Память в этом ритуале не считается источником. Считается текст, который можно открыть.

Короткий лист перед кнопкой «отправить»

1. Все числа и имена нашлись в исходнике.
2. Обещаний, которых вы не делали, в тексте нет.
3. Нет фразы, которую вы не сказали бы вслух.
4. Секрет, которого не должно быть в чате, в этот ответ не попал из заметок.
5. На деньгах и сроках галочку поставил не тот, кто генерировал черновик.

Пять пунктов. Если хоть один пустой, письмо остаётся черновиком. Гладкость подождёт.