Последние
Разработка

ИИ для работы с кодом: как получить патч и проверить его

Практический цикл для кода: дать минимальный контекст, запросить небольшой diff, воспроизвести ошибку, добавить тесты и принять изменение по проверкам.

В этом материале7 разделов
Патч готов после проверки поведения. Проверяйте конкретное изменение и его влияние на остальной код.
Редакционная схема PENROUZ NEWS. Проверяйте конкретное изменение и его влияние на остальной код.

Сообщить об ошибке или предложить уточнение

ИИ для работы с кодом лучше использовать как участника короткого проверяемого цикла: понять контекст, предложить небольшой патч, показать изменения, запустить подходящие проверки и объяснить остаточный риск. Модель может написать, отредактировать и разобрать программу, но текст ответа сам по себе не доказывает, что код собирается, проходит тесты, совместим с проектом и безопасен. Поэтому задача разработчика — заранее ограничить область изменений и определить способ приёмки.

Контекст важнее размера репозитория

Дайте модели не весь репозиторий подряд, а минимальный набор: формулировку ошибки, команду воспроизведения, стек вызовов, релевантный файл, интерфейсы соседних функций, версии языка и зависимостей, а также правила проекта. Укажите, какие файлы нельзя менять. Секреты, ключи, токены, данные пользователей и производственные конфигурации замените вымышленными значениями. Если контекста не хватает, правильный ответ модели — запросить конкретный файл или тест, а не достроить архитектуру по догадке.

Формат задания удобнее строить из цели, входов, ограничений и проверки. Такой каркас подробно разобран в материале «Промпт для нейросети: как составить понятное задание». Для кода добавьте требование вернуть краткий план, diff, список затронутых предположений и команды проверки, но не сообщать, что тесты пройдены, если они фактически не запускались.

Маленький diff легче проверить и откатить

Начинайте с одной наблюдаемой функции, ошибки или теста. Просьба «перепиши проект лучше» создаёт слишком большую область проверки. Практичнее запросить изменение вроде: «Функция parse_amount принимает строку; добавь поддержку пробелов вокруг числа, не меняй обработку запятой, сохрани публичную сигнатуру и добавь тесты для пустой строки, отрицательного значения и неверного формата». Маленький diff легче прочитать, откатить и сопоставить с требованием.

Официальное руководство OpenAI относит написание, ревью, редактирование и объяснение кода к основным сценариям моделей для программирования. Это описание возможностей инструмента, а не гарантия правильности конкретного патча: результат всё равно нужно сопоставить с требованиями, прочитать как обычное изменение и проверить в среде проекта.

Сначала воспроизведите ошибку

Сначала зафиксируйте минимальный падающий пример и ожидаемое поведение. Затем попросите модель назвать вероятную причину, указать строку или ветку выполнения и предложить несколько вариантов исправления с компромиссами. После выбора применяйте только один вариант. Если ошибка исчезла без объяснимой причины, это не подтверждение исправления: тест мог перестать достигать проблемной ветки или исключение могло быть скрыто.

Полезный запрос содержит команду запуска и точный вывод: «При input='' тест test_empty падает с ValueError на строке 18; ожидается None. Не меняй другие исключения. Предложи минимальный патч и новый регрессионный тест». После правки снова запустите исходный сценарий, новый тест и ближайший набор тестов модуля. Отдельно посмотрите, не изменилось ли поведение соседних входов.

Тесты должны проверять поведение

Попросите перечислить нормальные, граничные и ошибочные входы до генерации тестового кода. Тест должен фиксировать наблюдаемое требование: возвращаемое значение, исключение, изменение состояния или вызов внешнего интерфейса. Не стоит утверждать внутреннюю последовательность вызовов, если она не является контрактом. В задании полезно описать проверяемое поведение и учитывать существующие шаблоны тестов проекта; модель может предложить пропущенные границы, но решение о достаточности набора остаётся за человеком.

Для вымышленной функции parse_amount минимальный набор включает '10', ' 10 ', '-3', пустую строку, буквы и слишком большое значение, если у системы есть предел. Модель должна объяснить, какое правило защищает каждый тест. Если она добавляет фикстуры, заглушки или зависимости, проверьте, действительно ли они нужны и не делают ли тест зелёным независимо от результата.

Проверяйте патч в четыре независимых слоя

Первый слой — чтение diff: нет ли незапрошенных файлов, скрытых сетевых вызовов, отключённых проверок и широких обработчиков исключений. Второй — автоматические проверки проекта: форматтер, статический анализ, типы, модульные и интеграционные тесты. Третий — ручной запуск исходного сценария и граничных входов. Четвёртый — проверка безопасности и зависимостей. NIST SSDF рекомендует включать практики безопасной разработки в жизненный цикл, чтобы снижать число уязвимостей и последствия пропущенных дефектов.

Если результат содержит фактические утверждения о библиотеке, версии или уязвимости, откройте первичную документацию и не полагайтесь на уверенный тон. Общий порядок такой проверки описан в материале «Как проверять ответы ИИ». Для критичного изменения нужен обычный рецензент проекта: модель не заменяет владельца архитектуры и ответственного за выпуск.

ИИ для работы с кодом: когда нужен агент, а когда чат

Для объяснения функции или подготовки одного теста достаточно диалога. Агент уместен, когда нужно читать несколько файлов, менять рабочее дерево и запускать команды, но это расширяет права и область возможной ошибки. Сначала разберите различие в материале «ИИ-агент и чат-бот: в чём разница». Выдавайте минимальные разрешения, работайте в отдельной ветке и требуйте итоговый список изменённых файлов и выполненных команд.

Код может содержать недоверенный текст: комментарии, README, содержимое issue или данные из внешнего файла. Агент не должен воспринимать такие фрагменты как управляющие инструкции. Запретите доступ к секретам и публикации, разделите чтение и изменение, а перед командой с внешним эффектом оставьте ручное подтверждение.

Недоверенные инструкции не должны управлять агентом

Косвенная промпт-инъекция возникает, когда найденный агентом текст пытается изменить его поведение. Практические границы инструментов и проверочный сценарий разобраны в материале «Промпт-инъекция в ИИ-агенте». Даже для локального проекта полезно считать незнакомые файлы недоверенными: сначала показать содержание и предполагаемое действие, потом отдельно разрешить изменение.

Остановитесь, если непонятна лицензия фрагмента, модель предлагает отключить защиту, просит секреты, меняет зависимости без причины или не может объяснить тест. Для учебного и низкорискового кода ИИ ускоряет поиск контекста, черновой патч и подготовку тестов. Для аутентификации, платежей, криптографии, миграций данных и производственной инфраструктуры нужны профильный специалист, углублённое ревью и проверка в изолированной среде.

Примеры показывают порядок работы, а не результаты тестирования конкретного инструмента или патча. Команды, код и ожидаемое поведение проверьте в собственной изолированной среде до использования.

Прозрачность

Источники и примечания

  1. Code generation | OpenAI API
  2. Secure Software Development Framework (SSDF) Version 1.1 | NIST CSRC

В этом материале

На этом устройстве

Сохранённые материалы