Как проверять ИИ: своя выборка вместо рейтинга моделей
Проверяем промпты, модели и RAG на повторяемом наборе рабочих задач.
Рейтинг не знает вашу задачу
Лидер публичного теста может ошибаться на терминологии конкретного производства. Начните с набора реальных обезличенных примеров: нормальные запросы, неполные данные, противоречия и вопросы без ответа. Разделите задачи разработки и независимой проверки, чтобы не подгонять всё под один набор.
Источник: GitHub: promptfoo/promptfoo
Определите критерии до запуска
Хорошая оценка описывает ожидаемое поведение, а не желаемое впечатление.
| Факты | Подтверждены исходным документом. |
| Полнота | Указаны обязательные поля и ограничения. |
| Формат | Структура пригодна для следующего шага. |
| Отказ | Нет выдуманного ответа при недостатке данных. |
| Цена / время | Расходы и задержка измерены одинаково. |
Соберите паспорт эксперимента
Зафиксируйте дату, провайдера, точный идентификатор модели, системную инструкцию и параметры. Для RAG сохраните корпус, найденные фрагменты и настройки поиска. Без этого изменение ответа трудно связать с конкретной причиной. Длинный контекст не должен незаметно отличаться между вариантами.
Автоматические проверки и человек
promptfoo позволяет описывать тесты и сравнивать варианты. Проверку структуры JSON, наличия поля или запрещённой строки можно автоматизировать. Смысловую точность и полезность ответа проверяйте человеком на части выборки. Модель-судья тоже может ошибаться и нуждается в калибровке.
Проверяйте устойчивость
Запустите спорные случаи несколько раз в одинаковых условиях. Сравните не только средний балл, но и опасные ошибки, отказы и повторные попытки. Если улучшение одного сценария ухудшило другой, сохраните это как результат, а не скрывайте за общей оценкой.
Отчёт, который помогает выбрать
Покажите примеры до и после, число заданий, долю успешных решений, затраты и ограничения. Отдельно отметьте, где ответ исправлял человек. Хорошее решение — то, которое надёжно проходит ваш набор задач при приемлемой цене, а не просто звучит увереннее.
Отметка поможет найти непрочитанное.