Faster-Whisper и WhisperX: локальная расшифровка совещаний и звонков с таймкодами и спикерами
Как развернуть быструю транскрибацию русской речи с разделением по голосам (диаризацией) на собственном сервере за минуты.
Чем Faster-Whisper и WhisperX отличаются от базового Whisper
Перенос модели на движок CTranslate2 (Faster-Whisper) ускоряет распознавание речи в 4 раза при вдвое меньшем расходе видеопамяти в режиме INT8/FP16. А надстройка WhisperX добавляет точные пословные таймкоды и связку с диаризацией pyannote для разметки реплик по участникам встречи.
Защита от галлюцинаций на тишине: фильтр VAD
Обязательно включайте предварительный фильтр голосовой активности (Silero VAD): без него на паузах и фоновом шуме кондиционера нейросеть склонна вставлять повторяющиеся фразы из субтитров.
Отметка поможет найти непрочитанное.