Локальные эмбеддинги и реранкеры для русского языка: BGE-M3, E5 и гибридный поиск
Почему хороший локальный RAG начинается не с генеративной LLM, а с правильного выбора мультиязычной модели эмбеддингов и двухэтапного реранкинга.
Почему англоязычные эмбеддинги плохо ищут по русским регламентам
Стандартные легковесные модели векторизации, обученные преимущественно на английском корпусе, теряют смысловую близость при работе с русскоязычной технической терминологией, склонениями и аббревиатурами.
Лидеры для локального запуска: BGE-M3 и Multilingual-E5
Модель BAAI/bge-m3 поддерживает более 100 языков (включая отличный русский), окно до 8192 токенов и одновременно выдаёт плотные (Dense) и разреженные лексические (Sparse) векторы. Альтернатива — семейство multilingual-e5-large-instruct.
ollama pull bge-m3
curl http://127.0.0.1:11434/api/embed -d '{
"model": "bge-m3",
"input": ["Регламент резервного копирования СУБД PostgreSQL"]
}'Критическое правило: никогда не меняйте модель эмбеддингов без полной переиндексации векторной базы знаний.
Зачем нужен гибридный поиск (Vector + BM25)
Векторный поиск отлично улавливает общий смысл, но часто ошибается на точных артикулах оборудования, IP-адресах, кодах ошибок и номерах приказов. Комбинация векторного поиска с классическим полнотекстовым индексом BM25 устраняет эту слепую зону.
Второй каскад: Cross-Encoder Reranker
Первичный поиск быстро отбирает 20–30 кандидатов, после чего локальный реранкер (например, BAAI/bge-reranker-v2-m3) попарно сравнивает вопрос с каждым фрагментом и оставляет топ-5 самых точных цитат для подачи в LLM.
Экономия контекста и повышение точности
Добавление реранкера требует всего 1.5–2 ГБ памяти, но позволяет подавать в генеративную модель меньше шума и радикально снижает процент галлюцинаций.
Отметка поможет найти непрочитанное.