RAG по своим документам: от PDF до проверяемого ответа
Оригиналы, фрагменты, эмбеддинги и ссылки на источники: собираем понятную базу знаний.
RAG начинается с источника
Система сначала находит подходящие материалы, затем добавляет их к запросу модели. Это помогает отвечать по своей базе, но не гарантирует правильность. Для инженерного архива важны редакция инструкции, модель оборудования и точная страница. Без этих метаданных даже хороший поиск может вернуть неподходящий документ.
Источник: Open WebUI: RAG и индексация
Подготовьте документы
Сохраните оригинал и проверьте извлечённый текст. У сканов нужен OCR; у сложной таблицы важно соответствие колонок. Отберите учебный корпус без дублей и устаревших редакций. Ошибку разбора лучше исправить до векторизации, иначе индекс закрепит испорченное представление.
Разбивайте по смыслу
Сохраняйте заголовок, контекст раздела и ссылку на страницу. Слишком короткий фрагмент теряет смысл, слишком длинный приносит лишнее. Универсального размера нет: сравните несколько вариантов на своих вопросах. Замена модели эмбеддингов требует переиндексации совместимым способом.
Храните происхождение каждого фрагмента
pgvector добавляет векторный поиск в PostgreSQL; это один из вариантов хранения индекса. Рядом с вектором полезны обычные фильтры.
| document_id / revision | Какой документ и какая редакция. |
| page / section | Где читатель проверит утверждение. |
| access_group | Кому разрешено видеть фрагмент. |
| embedding_model | Чем построено представление. |
Разделите ошибку поиска и генерации
На контрольном вопросе посмотрите найденные фрагменты до вызова модели. Если нужного текста нет, изменение промпта вряд ли исправит retrieval. Если фрагмент найден, проверьте, не потерян ли он в длинном контексте и соблюдает ли модель требование ссылаться на источник.
Проверяйте отсутствие ответа
Добавьте вопросы, на которые база не отвечает, и конфликтующие редакции. Полезная система явно сообщает о недостатке сведений и показывает использованную версию. Для первого пилота хватит двадцати размеченных вопросов, если они представляют реальные рабочие ситуации.
Отметка поможет найти непрочитанное.