Zero-shot и few-shot промптинг: когда нужны примеры
Сравниваем два способа постановки задачи: ясную инструкцию без демонстраций и тот же запрос с несколькими примерами. Внутри — учебный шаблон и последовательность проверки.
Zero-shot — это режим задания без демонстраций: вы описываете цель, исходные данные, ограничения и формат результата словами. Few-shot добавляет несколько примеров «вход → ожидаемый выход», чтобы показать не только правило, но и способ его применения. Выбор зависит не от модного термина, а от того, можно ли однозначно объяснить результат словами и насколько важны единообразные метки, порядок полей или стиль короткого ответа.
Начинайте с zero-shot, если задача проста, критерии видимы, а ошибку легко заметить. Переходите к few-shot, когда инструкция допускает разные трактовки или модель регулярно меняет формат. Примеры не заменяют исходные данные, проверку и ограничения: они только уточняют образец преобразования.
Когда достаточно zero-shot промпта
Zero-shot подходит для разовой, понятной операции: сократить вымышленную заметку до трёх пунктов, распределить несколько сообщений по заранее описанным категориям или вернуть поля в заданном порядке. Сначала сформулируйте действие, затем перечислите допустимые метки и правило для неоднозначного случая. Если входные сведения отделены от инструкции, а результат можно сверить построчно, демонстрации могут лишь удлинить запрос.
Базовую структуру удобно собрать по руководству «Промпт для нейросети: как составить понятное задание»: цель, данные, ограничения, формат и критерий приёмки. Zero-shot не означает «коротко и расплывчато». Это полноценное задание без пар примеров. Чем яснее границы категорий и поведение при нехватке данных, тем честнее такое сравнение с вариантом few-shot.
Когда нужны few-shot примеры
Few-shot полезен, когда нужный формат трудно описать одним правилом. Например, метки похожи по смыслу, ответ должен сохранять особую структуру, а пограничные случаи повторяются. Тогда демонстрации показывают, какие признаки важны, что игнорировать и как оформлять неизвестное. Хороший набор содержит разные случаи, а не несколько копий одного очевидного примера.
Примеры должны быть короткими, вымышленными и согласованными. Если в одном примере неизвестное отмечено как «не хватает данных», а в другом модель должна догадаться, вы обучаете противоречию внутри самого запроса. Не включайте в демонстрации реальные персональные данные и не подменяйте ими правила. Сначала сформулируйте правило словами, затем используйте примеры как проверку того, что правило можно применить.
Не смешивайте few-shot с более высоким слоем правил приложения. В материале о том, чем системный промпт отличается от пользовательского запроса, разобраны системная инструкция, текущая задача и данные. Few-shot-примеры обычно относятся к текущему заданию: они показывают форму ответа, но не дают пользователю права отменять ограничения приложения.
Учебный пример: классификация сообщений библиотеки
Возьмём вымышленную задачу. Нужно распределить обращения читателей по трём меткам: «продление», если человек хочет дольше оставить уже выданную книгу; «возврат», если он сообщает о возвращении; «не хватает данных», если намерение нельзя определить. Ответ должен содержать только метку и короткую причину. Это учебный пример, а не результат тестирования конкретной модели.
Вариант zero-shot: «Определи намерение сообщения. Допустимые метки: продление, возврат, не хватает данных. Не придумывай обстоятельства. Верни строку в формате: Метка — причина. Сообщение: [текст]». Такой запрос уже задаёт действие, границы и формат. Его разумно проверить на нескольких заранее подготовленных сообщениях.
Вариант few-shot сохраняет ту же инструкцию и добавляет демонстрации. «Сообщение: “Можно оставить книгу до пятницы?” Ответ: Продление — читатель просит увеличить срок. Сообщение: “Книгу положил в ящик у входа”. Ответ: Возврат — читатель сообщает о передаче книги. Сообщение: “У меня вопрос по книге”. Ответ: Не хватает данных — действие не указано». После примеров подставьте новый текст и попросите ответ в том же формате.
Как сравнить два варианта честно
Подготовьте небольшой набор новых вымышленных сообщений, которых нет среди демонстраций. Не меняйте одновременно категории, формат и набор входов. Сначала сохраните zero-shot-ответы, затем добавьте примеры и повторите тот же набор. Для каждой строки отметьте: совпала ли метка с заранее записанным ожидаемым решением, соблюдён ли формат, появились ли догадки, которых нет во входе.
Сравнивайте не красоту формулировок, а число понятных исправлений. Если zero-shot уже стабильно следует правилам, дополнительные примеры не нужны. Если few-shot исправил формат, но стал повторять случайные слова из демонстраций, примеры следует очистить. Если оба варианта ошибаются на одной границе, уточните правило категории, а не добавляйте всё больше похожих образцов.
Результат зависит и от того, как модель обрабатывает весь контекст. Общее объяснение есть в статье «Как работает языковая модель». Для практики важнее не приписывать примерам магическое действие, а считать их частью входа: противоречивые или лишние детали могут повлиять на продолжение так же, как неясная инструкция.
Сколько примеров добавлять
Универсального числа нет. Начните с минимального набора, который показывает различающиеся случаи: обычный, пограничный и вариант с нехваткой данных. Добавляйте новый пример только тогда, когда он демонстрирует правило, которого ещё не видно. Если примеры занимают больше места, чем сама задача, проверьте, не пытаетесь ли вы описать несколько разных намерений одним промптом.
Хорошая остановка — момент, когда новый пример перестаёт менять критерий и лишь повторяет старый. Сохраните две версии задания и короткую запись о найденной ошибке. Так можно понять, помогли ли демонстрации именно вашей задаче, не делая общего вывода о всех моделях и сервисах.
Типичные ошибки few-shot
Первая ошибка — показывать только идеальные случаи и не объяснять неизвестное. Вторая — менять метки между примерами. Третья — использовать демонстрации с фактическими деталями, которые модель начинает переносить в новый ответ. Четвёртая — оценивать few-shot на тех же примерах, которые уже встроены в запрос: это проверяет копирование, а не применение правила к новому входу.
Ещё одна ошибка — одновременно менять формулировку инструкции, формат и примеры. После такого сравнения нельзя понять, что помогло. Изменяйте один элемент, храните одинаковый тестовый набор и записывайте ожидаемый результат до запуска. Если задача связана с реальными решениями, одна аккуратная демонстрация не отменяет профессиональную или предметную проверку.
Как проверить готовый ответ
После выбора режима проверьте вывод отдельно от качества промпта. Полезный следующий шаг — проверить ответ ИИ по понятному списку: сверить его с исходными данными, найти добавленные сведения и отделить наблюдаемый результат от предположения. В нашем учебном примере достаточно сравнить метку с заранее записанным решением и убедиться, что причина опирается на текст сообщения.
Итоговый выбор прост: zero-shot — исходная точка для ясной задачи; few-shot — способ показать форму и границы на нескольких согласованных примерах. Если примеры не дают нового правила или не уменьшают конкретную ошибку, уберите их. Сценарий с библиотекой вымышлен и показывает форму запроса; он не содержит результатов испытаний конкретного продукта.