Локальные LLM / Embeddings & Rerank

Локальные эмбеддинги и реранкеры для русского языка: BGE-M3, E5 и гибридный поиск

Почему хороший локальный RAG начинается не с генеративной LLM, а с правильного выбора мультиязычной модели эмбеддингов и двухэтапного реранкинга.

Почему англоязычные эмбеддинги плохо ищут по русским регламентам

Стандартные легковесные модели векторизации, обученные преимущественно на английском корпусе, теряют смысловую близость при работе с русскоязычной технической терминологией, склонениями и аббревиатурами.

Лидеры для локального запуска: BGE-M3 и Multilingual-E5

Модель BAAI/bge-m3 поддерживает более 100 языков (включая отличный русский), окно до 8192 токенов и одновременно выдаёт плотные (Dense) и разреженные лексические (Sparse) векторы. Альтернатива — семейство multilingual-e5-large-instruct.

КОМАНДНАЯ СТРОКА / КОНФИГУРАЦИЯ
ollama pull bge-m3
curl http://127.0.0.1:11434/api/embed -d '{
  "model": "bge-m3",
  "input": ["Регламент резервного копирования СУБД PostgreSQL"]
}'

Критическое правило: никогда не меняйте модель эмбеддингов без полной переиндексации векторной базы знаний.

Зачем нужен гибридный поиск (Vector + BM25)

Векторный поиск отлично улавливает общий смысл, но часто ошибается на точных артикулах оборудования, IP-адресах, кодах ошибок и номерах приказов. Комбинация векторного поиска с классическим полнотекстовым индексом BM25 устраняет эту слепую зону.

Второй каскад: Cross-Encoder Reranker

Первичный поиск быстро отбирает 20–30 кандидатов, после чего локальный реранкер (например, BAAI/bge-reranker-v2-m3) попарно сравнивает вопрос с каждым фрагментом и оставляет топ-5 самых точных цитат для подачи в LLM.

Экономия контекста и повышение точности

Добавление реранкера требует всего 1.5–2 ГБ памяти, но позволяет подавать в генеративную модель меньше шума и радикально снижает процент галлюцинаций.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Локальные LLM
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть