Открытия ИИ / WHISPER / АУДИО

Faster-Whisper и WhisperX: локальная расшифровка совещаний и звонков с таймкодами и спикерами

Как развернуть быструю транскрибацию русской речи с разделением по голосам (диаризацией) на собственном сервере за минуты.

Чем Faster-Whisper и WhisperX отличаются от базового Whisper

Перенос модели на движок CTranslate2 (Faster-Whisper) ускоряет распознавание речи в 4 раза при вдвое меньшем расходе видеопамяти в режиме INT8/FP16. А надстройка WhisperX добавляет точные пословные таймкоды и связку с диаризацией pyannote для разметки реплик по участникам встречи.

Защита от галлюцинаций на тишине: фильтр VAD

Обязательно включайте предварительный фильтр голосовой активности (Silero VAD): без него на паузах и фоновом шуме кондиционера нейросеть склонна вставлять повторяющиеся фразы из субтитров.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Открытия ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть