Созвон закончился - и через пару минут в задаче лежит готовый протокол: кто что решил, что кому поручили, к какому сроку. Голос в текст переводит локальный Whisper, протокол собирает своя языковая модель, и ни одна секунда записи не уходит во внешнее облако. Мы собрали эту цепочку в контуре крупной инженерной компании - на том же сервере с видеокартой, где уже работает бот техподдержки в Битрикс24.
Речь на инженерных встречах - это аббревиатуры, названия объектов, номера кабинетов, ERP и десяток внутренних сокращений. Облачные сервисы расшифровки такое коверкают: слышат незнакомый термин и подставляют похоже звучащее слово. Плюс сама запись переговоров про производство и релейную защиту в чужом облаке - тема, которую в компании с собственными разработками закрывают сразу.
Почему запись встреч держим внутри периметра
Для этого клиента мы осознанно отказались от штатного облачного ИИ Битрикса: он отправляет данные во внешнее облако, а для внутренних переговоров это неприемлемо. Вместо облака - локальная нейросеть на сервере клиента с видеокартой. Данные не покидают периметр компании.
Модель зарегистрирована официальным методом Битрикса как провайдер ИИ и работает во всех ИИ-функциях портала. Тонкий адаптер в контуре переводит запросы Битрикса в формат модели и обратно. Лишние возможности встроенного ИИ Битрикса при этом отключены - чтобы данные не утекали окольным путём через функцию, которую никто не планировал использовать.
Как из записи получается протокол
Путь от голоса до готового текста собран из трёх звеньев, и каждое стоит внутри контура.
Голос в текст - локальный Whisper
Запись созвона расшифровывает Whisper, развёрнутый на сервере клиента. Аудио не уходит наружу - файл обрабатывается там же, где лежит. На выходе - сырой текст разговора со всеми оговорками, повторами и паузами живой речи.
Чистильщик убирает мусор до того, как начнётся протокол
Сырую расшифровку нельзя сразу отдавать под протокол: в ней повторы, обрывки фраз и артефакты распознавания. Поэтому текст сначала прогоняем через отдельную модель-чистильщик, которая вычищает повторы и мусор, и только очищенный текст идёт дальше. Без этого шага галлюцинации распознавания протекают в итоговый документ и портят его.
Протокол собирает модель, обученная на языке компании
Итоговый протокол готовит своя локальная языковая модель, дообученная на документации клиента - с внутренними терминами и аббревиатурами. Поэтому ERP, названия систем и профессиональные сокращения модель распознаёт верно и не заменяет созвучными словами. Готовый протокол ложится туда, где им пользуются: в задачу или в чат портала.
Куда это расширяется дальше
Тот же контур с локальными моделями снимает не только протоколы встреч.
- →Расшифровка телефонных звонков - через подключение телефонии: разговор с записи превращается в текст, его разбирает локальная модель, наружу ничего не уходит.
- →Распознавание рукописных и голосовых заявок - вплоть до подготовки расчёта и коммерческого предложения: сотрудник надиктовал или написал от руки, а на выходе получается структурированная заявка.
Это тот же принцип, что и в основном сценарии бота: понять человека, сказавшего обычными словами, и собрать из этого рабочий документ. Разница только во входе - вместо чата запись или диктовка.
Что это даёт компании
Протоколы созвонов, расшифровка звонков и техподдержка у этого клиента уже боевые - не пилот. Вся цепочка работает на локальных моделях, поэтому переговоры, звонки и внутренние документы остаются внутри периметра, а расшифровка не теряет инженерную терминологию. Внедрение всего решения заняло три месяца.
Если у вас похожая задача - протоколы встреч, расшифровка звонков или разбор диктовок, но запись нельзя отдавать в чужое облако, - расскажите, что происходит сейчас и где данные не должны выходить за периметр. Посмотрим, как собрать это в вашем контуре.
