Температура и top-p в ИИ: как настроить вариативность ответа

Короткий ответ: меняйте один параметр и сравнивайте несколько ответов

Температура и top-p управляют выбором следующего токена во время генерации. Обычно более высокая температура расширяет вариативность, а более низкая делает выбор сосредоточеннее. Top-p действует иначе: модель оставляет минимальный набор наиболее вероятных токенов, суммарная вероятность которых достигает заданного порога, и выбирает внутри него. Эти настройки не добавляют модели знаний и не доказывают правильность ответа. Они меняют распределение вариантов, поэтому оценивать их нужно не по одному удачному тексту, а по серии одинаковых заданий.

Практическое правило — зафиксировать модель, промпт, формат, лимит вывода и остальные параметры, затем менять только temperature или только top-p. Документация OpenAI рекомендует настраивать один из этих регуляторов, а не оба одновременно. Это не универсальный закон для всех движков, но хороший способ сохранить причинную связь: если качество изменилось, будет понятно, какой параметр на него повлиял.

Температура меняет относительную вероятность вариантов

Языковая модель на каждом шаге оценивает вероятности возможных следующих токенов. Температура преобразует это распределение перед выбором. При меньшем значении самые вероятные варианты получают больший относительный вес; при большем различия сглаживаются, и менее вероятные продолжения чаще попадают в ответ. Поэтому повышение температуры обычно даёт больше формулировок и неожиданных ходов, но может увеличить долю неуместных или противоречивых продолжений.

Нельзя переносить одно числовое значение между любыми сервисами как готовый рецепт. Диапазоны, значения по умолчанию и даже поддержка параметра зависят от API и модели. Например, справочник OpenAI для совместимого endpoint описывает диапазон temperature от 0 до 2, а конкретные модели рассуждения могут не принимать temperature и top-p при включённом reasoning effort. Сначала откройте документацию выбранной модели и проверьте настройку именно в вашем режиме.

Top-p ограничивает набор кандидатов по суммарной вероятности

Top-p, или nucleus sampling, не задаёт фиксированное количество кандидатов. На каждом шаге токены сортируются по вероятности, после чего сохраняется минимальный набор, чья суммарная вероятность достигает порога. Если распределение уверенное, набор может быть небольшим; если вероятности размазаны, в него попадёт больше токенов. Поэтому одинаковый top-p не означает одинаковое число допустимых вариантов на каждом шаге.

В документации Hugging Face top-p меньше единицы описан как фильтр, который оставляет наименьший набор наиболее вероятных токенов с суммой вероятностей не ниже порога. Там же отдельно указано, что sampling случайно выбирает токен из распределения, тогда как greedy search каждый раз берёт самый вероятный. Top-p влияет на случайную выборку, но конкретная библиотека может использовать жадную генерацию, если sampling не включён.

Сначала определите, какое качество нужно задаче

Для извлечения реквизитов, классификации и других задач с узким ожидаемым результатом обычно важнее стабильность и соблюдение формата. Для мозгового штурма, вариантов заголовков или сюжетных идей полезна различимость ответов. Но «больше разнообразия» не равно «лучше»: двадцать вариантов, нарушающих ограничения, хуже трёх пригодных. До настройки запишите критерии: какие факты должны сохраниться, какие поля обязательны, сколько вариантов нужно и какие отклонения недопустимы.

Если задача требует машинного формата, сначала обеспечьте схему и программную проверку, а уже затем настраивайте вариативность. Руководство о структурированном JSON показывает, почему корректная форма не гарантирует правильные значения. Температура не заменяет валидатор: она лишь меняет выбор токенов внутри генерации.

Рабочий пример: три режима для одного задания

Возьмём вымышленную задачу: подготовить пять нейтральных заголовков к заметке о городском фестивале. Исходные факты фиксированы: дата 12 июня, место — парк «Северный», вход свободный. Промпт требует не добавлять артистов, расписание и обещания, которых нет во входе. Сначала запускают базовую конфигурацию сервиса. Затем делают второй режим с меньшей вариативностью и третий — с большей, меняя только один поддерживаемый параметр.

Для каждого режима выполните несколько запусков с тем же входом. Сохраните точное имя и версию модели, параметры запроса, время, полный ответ и причину завершения. Отметьте для каждого заголовка: сохранены ли три исходных факта, появился ли вымысел, соблюдён ли нейтральный тон, есть ли повторы и насколько варианты отличаются друг от друга. Не объявляйте режим победителем после единственного удачного ответа.

Как собрать небольшую проверочную таблицу

Строками таблицы сделайте контрольные задания, столбцами — режимы генерации. Для каждого ответа поставьте отдельные признаки: `facts_ok`, `format_ok`, `tone_ok`, `duplicate`, `invented_detail`. Добавьте текстовое поле для причины ошибки. Такой журнал полезнее общей оценки «понравилось», потому что показывает, где именно настройка помогает или мешает. Если формат является частью задачи, проверяйте его автоматически, а смысловые ошибки размечайте по заранее записанным критериям.

Сам промпт должен оставаться неизменным и содержать исходные данные, ограничения и критерий готовности. Если одновременно переписать инструкцию и повысить температуру, сравнение перестанет быть чистым. Материал о составлении промпта поможет сначала стабилизировать постановку задачи, а затем исследовать параметры декодирования.

Почему низкая температура не делает ответ истинным

Сосредоточенный выбор может сделать формулировки похожими друг на друга, но модель всё равно генерирует продолжение по вероятностям. Если во входе нет нужного факта, низкая температура не создаёт надёжный источник. И наоборот, высокая вариативность может дать полезную идею, но каждое конкретное утверждение остаётся кандидатом на проверку. Для фактических задач оценивайте наличие источника, точность цитирования и соответствие исходному материалу независимо от параметров sampling.

Проверка ответов ИИ должна отделять форму, факты и выводы. Сравнивая режимы, не ограничивайтесь длиной и стилем: откройте первоисточник для проверяемых утверждений, отметьте пропуски и убедитесь, что уверенный тон не подменяет доказательство. Общий порядок такой проверки ответов ИИ разобран в отдельном практическом списке.

Не полагайтесь на seed как на абсолютную гарантию

Некоторые API позволяют передать seed для приблизительной воспроизводимости. В справочнике OpenAI это обозначено как best effort, а детерминизм прямо не гарантируется; для отслеживания изменений серверной конфигурации предлагается учитывать system fingerprint. Даже при одинаковом seed результат может измениться после обновления модели или инфраструктуры. Поэтому сохраняйте не только seed, но и версию модели, все параметры и фактический ответ.

Проверка результата

Настройка готова, если вы можете повторить эксперимент, объяснить различия между режимами и выбрать режим по измеримым критериям задачи. У вас должны быть неизменный контрольный набор, журнал параметров и ответов, отдельные оценки фактов, формата и разнообразия, а также правило повторной проверки после смены модели. Если API не поддерживает temperature или top-p, не имитируйте управление: используйте доступные настройки и зафиксируйте ограничение.