Инфраструктура ИИ / Поиск / Embeddings

RAG по своим документам: от PDF до проверяемого ответа

Оригиналы, фрагменты, эмбеддинги и ссылки на источники: собираем понятную базу знаний.

RAG начинается с источника

Система сначала находит подходящие материалы, затем добавляет их к запросу модели. Это помогает отвечать по своей базе, но не гарантирует правильность. Для инженерного архива важны редакция инструкции, модель оборудования и точная страница. Без этих метаданных даже хороший поиск может вернуть неподходящий документ.

Источник: Open WebUI: RAG и индексация

Подготовьте документы

Сохраните оригинал и проверьте извлечённый текст. У сканов нужен OCR; у сложной таблицы важно соответствие колонок. Отберите учебный корпус без дублей и устаревших редакций. Ошибку разбора лучше исправить до векторизации, иначе индекс закрепит испорченное представление.

Разбивайте по смыслу

Сохраняйте заголовок, контекст раздела и ссылку на страницу. Слишком короткий фрагмент теряет смысл, слишком длинный приносит лишнее. Универсального размера нет: сравните несколько вариантов на своих вопросах. Замена модели эмбеддингов требует переиндексации совместимым способом.

Храните происхождение каждого фрагмента

pgvector добавляет векторный поиск в PostgreSQL; это один из вариантов хранения индекса. Рядом с вектором полезны обычные фильтры.

Справочная таблица
document_id / revisionКакой документ и какая редакция.
page / sectionГде читатель проверит утверждение.
access_groupКому разрешено видеть фрагмент.
embedding_modelЧем построено представление.

Разделите ошибку поиска и генерации

На контрольном вопросе посмотрите найденные фрагменты до вызова модели. Если нужного текста нет, изменение промпта вряд ли исправит retrieval. Если фрагмент найден, проверьте, не потерян ли он в длинном контексте и соблюдает ли модель требование ссылаться на источник.

Проверяйте отсутствие ответа

Добавьте вопросы, на которые база не отвечает, и конфликтующие редакции. Полезная система явно сообщает о недостатке сведений и показывает использованную версию. Для первого пилота хватит двадцати размеченных вопросов, если они представляют реальные рабочие ситуации.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Инфраструктура ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть