Инфраструктура ИИ / Устройство RAG

Чат с собственными инструкциями и PDF: как устроен поиск по документам

Понятное объяснение RAG, ссылки на исходные страницы и примеры ошибок поиска.

Почему нельзя просто «дообучить» модель на своих PDF

Частый вопрос при внедрении ИИ: «Как обучить нейросеть на наших должностных инструкциях и паспортах оборудования?». Дообучение весов (Fine-Tuning) не предназначено для запоминания справочников — модель перескажет цифры с искажениями, а при выходе новой редакции приказа придётся переобучать всё заново. Поэтому для работы с документами используется архитектура RAG (Retrieval-Augmented Generation — генерация, дополненная поиском).

Четыре шага внутри чата с документами

1. **Парсинг и очистка**: PDF или DOCX превращается в структурированный текст с сохранением заголовков и таблиц. 2. **Нарезка на фрагменты (Chunking)**: документ делится на смысловые блоки по 300–600 слов с небольшим перекрытием, чтобы предложение не оборвалось посередине. 3. **Поиск релевантных кусков**: когда вы задаёте вопрос, система ищет 5–8 наиболее подходящих фрагментов по векторному смыслу (Embeddings) и точным ключевым словам (BM25). 4. **Ответ строго по найденным цитатам**: выбранные абзацы вместе с номерами страниц подставляются в промпт языковой модели с инструкцией ответить только на их основе.

Как добиться проверяемых ссылок на исходные страницы

Главное отличие инженерного RAG от игрушки — каждый фрагмент в базе знаний обязан хранить метаданные: имя исходного файла, раздел, дату редакции и номер страницы. В системном промпте закрепите требование указывать после каждого факта точный источник в квадратных скобках, например: `[Регламент_РК_v3.pdf, стр. 14, п. 4.2]`.

Типичные ошибки поиска и почему бот говорит «в документе этого нет»

Первая ошибка — **разрушенная таблица**: обычный текстовый парсер читает колонки PDF вперемешку, превращая прайс-лист или матрицу доступов в бессмысленный набор слов (решается структурным парсингом через Docling или Marker). Вторая ошибка — **потеря точного артикула**: чистый векторный поиск понимает синонимы, но плохо ищет точные коды ошибок вроде `ERR_SSL_VERSION_OR_CIPHER_MISMATCH` или модели ремней `T5550` (решается включением гибридного поиска Vector + полнотекстовый индекс).

Простой тест качества перед запуском базы знаний в работу

Составьте контрольный список из 15 вопросов: 10 вопросов с точными ответами из разных таблиц и примечаний, и 5 вопросов по темам, которых в документах заведомо нет. Хорошо настроенная система должна точно процитировать первые 10 и честно ответить «В загруженных документах нет информации по этому вопросу» на остальные 5.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Инфраструктура ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть