Инфраструктура ИИ / Evals / Качество

Как проверять ИИ: своя выборка вместо рейтинга моделей

Проверяем промпты, модели и RAG на повторяемом наборе рабочих задач.

Рейтинг не знает вашу задачу

Лидер публичного теста может ошибаться на терминологии конкретного производства. Начните с набора реальных обезличенных примеров: нормальные запросы, неполные данные, противоречия и вопросы без ответа. Разделите задачи разработки и независимой проверки, чтобы не подгонять всё под один набор.

Источник: GitHub: promptfoo/promptfoo

Определите критерии до запуска

Хорошая оценка описывает ожидаемое поведение, а не желаемое впечатление.

Справочная таблица
ФактыПодтверждены исходным документом.
ПолнотаУказаны обязательные поля и ограничения.
ФорматСтруктура пригодна для следующего шага.
ОтказНет выдуманного ответа при недостатке данных.
Цена / времяРасходы и задержка измерены одинаково.

Соберите паспорт эксперимента

Зафиксируйте дату, провайдера, точный идентификатор модели, системную инструкцию и параметры. Для RAG сохраните корпус, найденные фрагменты и настройки поиска. Без этого изменение ответа трудно связать с конкретной причиной. Длинный контекст не должен незаметно отличаться между вариантами.

Автоматические проверки и человек

promptfoo позволяет описывать тесты и сравнивать варианты. Проверку структуры JSON, наличия поля или запрещённой строки можно автоматизировать. Смысловую точность и полезность ответа проверяйте человеком на части выборки. Модель-судья тоже может ошибаться и нуждается в калибровке.

Проверяйте устойчивость

Запустите спорные случаи несколько раз в одинаковых условиях. Сравните не только средний балл, но и опасные ошибки, отказы и повторные попытки. Если улучшение одного сценария ухудшило другой, сохраните это как результат, а не скрывайте за общей оценкой.

Отчёт, который помогает выбрать

Покажите примеры до и после, число заданий, долю успешных решений, затраты и ограничения. Отдельно отметьте, где ответ исправлял человек. Хорошее решение — то, которое надёжно проходит ваш набор задач при приемлемой цене, а не просто звучит увереннее.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Инфраструктура ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть