Как проверять ответы ИИ: практический список для читателя

Сначала определите цену ошибки

NIST описывает AI RMF как добровольную основу для учёта рисков и доверия при разработке, использовании и оценке систем ИИ. UNESCO в руководстве для образования и исследований уделяет внимание защите данных и роли человека. Ниже — наш практический способ организовать проверку текста. Это редакционный список действий, а не официальная методика этих организаций и не гарантия безошибочности.

Разделите ответ на утверждения

Возьмём вымышленный ответ: «Занятия в кружке начинаются 20 ноября, проходят по четвергам, участие бесплатное, а запись открыта до конца месяца». В этой фразе как минимум четыре проверяемых условия. Не отмечайте весь абзац как верный только потому, что нашли подтверждение дате начала. Создайте четыре строки: дата, расписание, стоимость и срок записи. Для каждой укажите источник или напишите «подтверждение не найдено».

Откройте исходный документ

• Проверьте, действительно ли ссылка открывается и относится к нужной организации или событию.
• Найдите точное место, которое подтверждает конкретное утверждение: абзац, таблицу или раздел документа.
• Сверьте дату документа, территорию действия, версию продукта и условия применения.
• Посмотрите, не изменился ли смысл из-за пропущенного исключения, оговорки или подписи к таблице.

В учебном примере страница кружка может подтверждать дату начала, но описывать прошлогодний набор. Или бесплатным окажется только первое занятие. Тогда корректный результат проверки — не «источник есть», а короткая запись о том, какая именно часть ответа подтверждена и при каких условиях. Если документ недоступен, оставьте утверждение неподтверждённым: не заменяйте чтение догадкой по заголовку ссылки.

Отделите вывод от факта

Фраза «занятия проходят вечером» может следовать из указанного времени. Фраза «кружок подходит всем работающим людям» уже добавляет оценку: графики и обстоятельства у людей разные. При проверке помечайте такие переходы. Просите инструмент показать исходные сведения отдельно от интерпретации, но затем всё равно проверяйте оба блока самостоятельно. Повторный уверенный ответ той же системы не заменяет внешний источник.

Зафиксируйте результат проверки

Удобный формат заметки: утверждение, ссылка, подтверждающий фрагмент своими словами, дата проверки, статус. Статусов достаточно трёх: подтверждено, требует уточнения, не подтверждено. Если текст предназначен для других людей, удалите неподтверждённые детали или явно обозначьте неопределённость. Не превращайте отсутствие доказательств в доказательство обратного.

Для обычного черновика такая проверка помогает увидеть слабые места до отправки. Если ошибка способна повлиять на здоровье, деньги, права или репутацию, остановитесь на подготовке вопросов и передайте их профильному специалисту. Этот материал посвящён проверке информации и не заменяет профессиональную оценку конкретной ситуации.