TOPZNANIE

Цифровая практика без сложностей

Выберите город
MET Norway · CC BY 4.0
← На главную

· Общий обзор

Расшифровка голосовых для CRM на двух ядрах без видеокарты: faster-whisper, ffmpeg и cron

Мы делаем CRM для продаж в переписке. Клиенты наших магазинов любят голосовые: «Здравствуйте, а вот этот набор ещё есть, и сколько доставка до Самары?» Менеджеру такое сообщение нужно прослушать, а в шумном цеху или на созвоне это неудобно. Плюс по списку диалогов не понять, о чём голосовое, пока его не откроешь.

Решение очевидное — показывать под плеером текст. Расскажу, как мы это сделали без облачных API распознавания, на маленьком сервере в России, и на какие грабли наступили.

Почему не взять расшифровку из мессенджера

ВКонтакте умеет расшифровывать голосовые сам: у вложения audio_message в ответе API есть поле с текстом. Но для сообщений сообщества оно у нас оставалось пустым даже спустя несколько дней. У MAX, Telegram и WhatsApp, которые приходят через сервис-посредник, расшифровки нет совсем.

Облачные сервисы распознавания отпали по другой причине: голосовое клиента — это персональные данные. Отправлять их на чужие серверы за границу мы не хотели, поэтому всё должно работать на наших серверах в России, а файлы — не сохраняться.

Модель и железо

Взяли faster-whisper — реализацию Whisper на CTranslate2, которая заметно быстрее оригинала на CPU. Модель small с квантованием int8: на русской разговорной речи она ошибается в отдельных словах, но смысл передаёт уверенно, а большего менеджеру и не надо.

Сервер — облачный, 2 ядра, без видеокарты. Распознавание вынесли на отдельную машину, чтобы не отнимать процессор у самой CRM. На ней голосовое длиной 35 секунд расшифровывается примерно за 9 секунд.

Настройки, которые дали этот результат:

  • compute_type=»int8″ — квантование весов, главный выигрыш по скорости на CPU;

  • beam_size=1 — жадное декодирование вместо поиска по лучу, на коротких фразах качество почти не меняется;

  • vad_filter=True — детектор голоса вырезает тишину и паузы, которых в голосовых много;

  • language=»ru» — без автоопределения языка, это и быстрее, и меньше ошибок на коротких записях.

Грабли: декодирование звука

faster-whisper умеет сам открывать файл через PyAV. На голосовых из мессенджеров это ломалось: на части файлов PyAV падал с ошибкой чтения метаданных, а голосовые приходят в разных форматах: ogg, m4a, mp3.

Проще оказалось отдать декодирование ffmpeg и передать модели уже готовый массив: моно, 16 кГц, float32 от −1 до 1. Тогда формат исходного файла перестаёт иметь значение.

Скрипт распознавания

Вот весь скрипт целиком. Звук приходит на stdin, текст уходит в stdout:

#!/opt/stt/bin/python import subprocess, sys import numpy as np from faster_whisper import WhisperModel # ffmpeg переводит любой формат в сырой PCM: 16 бит, моно, 16 кГц raw = subprocess.run( [«ffmpeg», «-v», «quiet», «-i», «pipe:0», «-f», «s16le», «-ac», «1», «-ar», «16000», «-«], input=sys.stdin.buffer.read(), capture_output=True, ).stdout if not raw: sys.exit(2) audio = np.frombuffer(raw, np.int16).astype(np.float32) / 32768 model = WhisperModel(«small», device=»cpu», compute_type=»int8″, download_root=»/opt/stt/models», cpu_threads=2) segs, _ = model.transcribe(audio, language=»ru», beam_size=1, vad_filter=True) sys.stdout.write(» «.join(s.text.strip() for s in segs).strip()))

Интерфейс «stdin → stdout» удобен тем, что скрипт не знает ничего ни про CRM, ни про мессенджеры, а файл нигде не ложится на диск. Основной сервер вызывает его так:

curl -s «$VOICE_URL» | ssh stt-server /opt/stt/stt.py

Модель загружается при каждом вызове. Для нашего потока голосовых это приемлемо; при большой нагрузке скрипт стоит превратить в постоянно работающую службу с очередью.

Как это встроено в CRM

На основном сервере раз в минуту запускается задача:

* * * * * flock -n /tmp/stt_fill.lock timeout 600 python3 /opt/kohorta/stt_fill.py —limit 5

  • flock -n — если предыдущий запуск ещё работает, новый просто не стартует, и задачи не копятся;

  • timeout 600 — страховка от зависшего ssh или ffmpeg;

  • —limit 5 — не больше пяти голосовых за проход, чтобы всплеск сообщений не забил сервер распознавания.

Сам stt_fill.py делает простую вещь: находит входящие голосовые за последние 2 дня, у которых ещё нет текста, по очереди скачивает звук по ссылке мессенджера, отдаёт его на распознавание и записывает текст во вложение сообщения. Интерфейс CRM показывает текст под плеером, а в списке диалогов вместо «Голосовое сообщение» появляется «🎤 Здравствуйте, а вот этот набор…».

Для каждого сообщения ведётся счётчик попыток: если файл битый или ссылка протухла, после трёх неудач сообщение больше не трогаем. Окно в 2 дня ограничивает выборку: задача не перебирает всю историю переписки на каждом запуске.

Что получилось

  • Голосовое появляется текстом примерно через минуту после того, как пришло: до ближайшего запуска задачи плюс несколько секунд на распознавание.

  • Менеджер видит суть голосового прямо в списке диалогов, не открывая его.

  • Никаких внешних API и оплаты за минуты: модель, звук и текст не покидают наших серверов в России.

Если будете повторять: начните с small int8 и beam_size=1 на CPU, декодируйте звук через ffmpeg, а не через PyAV, и не храните файлы — для расшифровки они не нужны.

Теги:

  • faster-whisper
  • whisper
  • распознавание речи
  • голосовые сообщения
  • speech-to-text
  • ffmpeg
  • python
  • CRM
  • cron
  • CPU

Хабы:

  • Python
  • Машинное обучение
  • Natural Language Processing
  • CRM-системы