Тест диалога начинается не с вопроса «насколько умно ответит модель». Такой вопрос слишком широк: на него нельзя ответить, пока не определены задача, исходные данные и признак ошибки. Бытовой пример удобен именно своей ограниченностью. Можно попросить составить список покупок для двух ужинов из продуктов, которые уже названы: гречки, яиц и моркови. Нельзя добавлять цены, новые продукты и сведения о том, чего нет в условии. Такой запрос можно повторить, а ответы — сравнить не по впечатлению, а по конкретным нарушениям.
Перед первым сообщением запишите условие отдельно. Не держите его в голове и не дополняйте после ответа задним числом. Если в начале названы три продукта и два ужина, именно они образуют границу теста. Число ужинов здесь относится к учебному примеру, а не к универсальному плану питания. Цель — посмотреть, как диалог работает с заданными рамками.
Задача, которую можно повторить завтра
Хорошая бытовая задача имеет одинаковый вход при повторном запуске. Формулировка может звучать так: «Составь список покупок для двух ужинов, используя только гречку, яйца и морковь. Не добавляй цены и не предлагай новые ингредиенты. Раздели результат по ужинам». В ней есть исходные продукты, количество ситуаций, запрет и ожидаемый вид ответа. Она не требует медицинских, финансовых или иных выводов, которые меняют условия проверки.
Слово «используя» стоит понимать буквально. Если ответ предлагает масло, соль, сыр или специи, это не повод спорить о кулинарной разумности. Это отклонение от тестового условия. В реальной покупке дополнительные продукты могут быть уместны, но в этом упражнении они запрещены специально, чтобы наблюдение оставалось чистым.
Заранее решите, что будет считаться пригодным ответом. Например, в каждом из двух пунктов должны встречаться только названные продукты, а цены и ссылки на магазины должны отсутствовать. Не требуйте от модели рецепта, времени готовки и совета по питанию, если проверяете лишь работу с заданным списком. Лишние требования превращают короткий тест в несколько тестов одновременно.
Полезно сохранить исходный текст без исправлений. Если завтра вы замените «двух ужинов» на «несколько ужинов», сравнение перестанет быть повтором. Если измените список продуктов, это будет новая проверка. В журнале можно оставить дату выполнения, но не нужно объявлять её доказательством качества: она лишь помогает различать записи.
Первый ответ и что в нём лишнее
Читайте ответ построчно и отмечайте факты, а не настроение. Если модель распределила гречку, яйца и морковь между двумя ужинами, это соответствует части условия. Если она придумала мясо, масло или цену, запишите каждый такой элемент отдельно. Важно не спорить с тем, что «обычно так готовят», потому что тест спрашивает о соблюдении ограниченного входа.
Лишнее бывает разным. Новый ингредиент нарушает список продуктов. Число в рублях нарушает запрет на цены. Общий совет вроде «купите свежие овощи» может быть расплывчатым дополнением, даже если морковь уже есть в условии. Длинное вступление не является ошибкой само по себе, но оно занимает место, если результат просили разделить по ужинам.
Проверьте и структуру. Два ужина должны быть различимы, иначе ответ не выполняет формат. Если один продукт повторяется в обоих пунктах, это не автоматически нарушение: вопрос в том, добавлены ли запрещённые продукты и понятен ли список. Не придумывайте скрытые критерии после чтения ответа. Фиксируйте только то, что было оговорено до запуска.
Не называйте один запуск исследованием и не переносите его вывод на все возможные задачи. Один бытовой список показывает, как конкретный диалог обрабатывает конкретное условие. Он не сообщает точность модели в процентах и не доказывает превосходство над другой системой. Сила теста в воспроизводимости, а не в громком выводе.
Второй проход только с замечанием
Второе сообщение должно указывать на уже найденный дефект. Если появились цены, напишите: «Удали цены, оставь только список продуктов». Если появились новые ингредиенты, напишите: «Используй только гречку, яйца и морковь; убери все остальные продукты». Если пропало разделение по ужинам, попросите вернуть два отдельных пункта. Не объединяйте все замечания в расплывчатое «переделай лучше».
Один адресный проход помогает увидеть, что изменилось. После него снова сравните ответ с исходным условием. Возможно, цена исчезла, но вместо неё возникли новые ингредиенты. Возможно, структура стала понятнее, но число ужинов перестало быть тем же. Это не повод подгонять запись под желаемый результат; просто отметьте оставшийся дефект.
Не добавляйте в середине теста новые правила без пометки. Просьба «теперь составь ещё и рецепт» уже расширяет задачу. Её можно выполнить в отдельном диалоге, но нельзя выдавать за второй шаг той же проверки. Журнал должен показывать, какое условие было первоначальным и какие замечания появились после чтения ответа.
Иногда второй проход исправляет формальную ошибку, но оставляет непроверенный вопрос. Например, список становится коротким, однако неясно, как продукты распределены между ужинами. Запишите это как открытый пункт, а не как доказательство провала. Диалог — это рабочий инструмент, а журнал нужен, чтобы не спутать исправление одного свойства с полной проверкой ответа.
Повторяемый диалог ChatGPT для этой бытовой задачи
Для повторения откройте ChatGPT, отправьте тот же текст условия и сохраните первый ответ.
Скопируйте первоначальное условие без дополнительных комментариев. После ответа сначала сохраните его в журнал, затем напишите замечание. Не редактируйте первое сообщение задним числом: иначе исчезнет граница между первым и вторым проходом. Если интерфейс предлагает начать новый диалог, решите, нужен ли вам тот же контекст; в учебном тесте важно не менять способ сравнения по ходу работы.
О том, как вести такой диалог без оплаты, рассказывает статья «Бесплатный Чат GPT: Искусственный Интеллект на Вашем Сервисе без Платы». Про браузерный формат подробнее — в материале «Чат GPT Онлайн: Инновационное Решение для Мгновенного Общения». Главное — заранее понять, где вводится условие и как сохраняется результат.
Браузерное окно не отменяет обычную проверку. Если модель уверенно добавила цену, это всё ещё добавленная цена. Если ответ звучит гладко, это не делает его соответствующим условию автоматически. Сначала наблюдение, затем вывод — такой порядок защищает тест от впечатления, которое создаёт дружелюбный тон.
Перед повтором сохраните исходное условие в отдельной заметке, чтобы случайно не исправить его вместе с ответом. После второго прохода сравните обе версии рядом: отметьте удалённый дефект и проверьте, не появились ли новые продукты или числа. Такой простой порядок сохраняет границу теста и помогает понять, что именно изменил адресный запрос.
Журнал из четырёх строк
Для одного запуска достаточно четырёх коротких записей. Первая — исходное условие: два ужина, гречка, яйца, морковь, без цен и новых ингредиентов. Вторая — найденный дефект первого ответа: например, появилась стоимость или новый продукт. Третья — текст второго запроса с адресной правкой. Четвёртая — то, что осталось непроверенным после второго ответа.
Не превращайте журнал в пересказ каждого слова. Его назначение — восстановить ход проверки. Читателю должно быть видно, что было задано, что нарушилось, какая правка последовала и где наблюдение остановилось. Если первый ответ полностью совпал с условиями, во второй строке можно написать «явного дефекта по заданным признакам не найдено», но не добавлять несуществующие измерения.
В журнале полезно разделять ответ и собственную оценку. Фраза модели «купите масло» — наблюдаемый фрагмент. Фраза «модель не умеет планировать ужин» — широкая интерпретация, для которой одного примера мало. Записывайте сначала цитируемый дефект своими точными словами, а общий вывод оставляйте за пределами этого короткого теста.
Если повтор запускается в другой день, используйте тот же текст и те же критерии. Различия между ответами можно описать качественно: добавился новый ингредиент, изменился порядок, пропало разделение. Не переводите разницу в проценты без заранее выбранного способа подсчёта и достаточного числа сопоставимых наблюдений. В этом материале такого измерения нет и не требуется.
Не писать
Не приписывайте ответу числовую оценку точности. Один список не даёт основания для такого числа. Не сравнивайте модели по этому единственному бытовому примеру: разные системы могут получить разные инструкции, а сам тест слишком узок, чтобы объяснить причину различия.
Не приписывайте модели намерение. Если она добавила мясо, достаточно сказать, что мясо не было в исходном списке. Не нужно утверждать, что система «решила усложнить рецепт» или «поняла потребности семьи». Текстовый ответ не подтверждает такие психологические объяснения.
Не выдавайте бытовой тест за совет по питанию. В примере проверяется соблюдение списка и формы ответа, а не полезность меню. Не добавляйте медицинские выводы и не просите модель оценивать состояние человека. Чем уже задача, тем честнее итог.
Хорошее завершение звучит скромно: условие сохранено или нарушено в таком-то месте; адресная правка исправила такой-то фрагмент; такой-то вопрос остался без проверки. Этого достаточно, чтобы повторить диалог завтра и не потерять смысл наблюдения. Воспроизводимость здесь важнее эффектной оценки.
