Бот техподдержки - не самый очевидный источник утечки, пока не посмотреть, что через него проходит. Сотрудник пишет боту в чат обычными словами, тот ищет ответ в корпоративной базе знаний, заводит заявку, разбирает вложенные файлы. В переписке всплывает всё: внутренние регламенты, номера кабинетов, а через базу знаний - зарплаты и маржа сделок. Отдать такой поток во внешнее облако для крупной инженерной компании из промышленной автоматизации и энергетики означало бы вынести внутреннюю кухню за периметр. Мы этого делать не стали.
Почему отказались от штатного облачного ИИ Битрикса
В Битрикс24 есть встроенный ИИ. Он удобен ровно до момента, когда начинаешь читать, куда уходят данные: запрос уходит во внешнее облако провайдера, там его обрабатывают, ответ приходит обратно. Для маркетингового текста или картинки это нормально. Для внутренних обращений сотрудников - нет.
У клиента коробочная версия Битрикс24 стоит в собственном контуре, на своих серверах. Портал не общается с внешним миром. Ставить поверх него ИИ, который при каждом вопросе ходит в чужое облако, - значит проделать дыру в том самом периметре, который компания годами держит закрытым. Поэтому облачный ИИ портала мы осознанно отключили и заменили своей моделью, которая живёт внутри.
Локальная нейросеть на сервере клиента
Языковую модель развернули на сервере клиента с видеокартой. Не в арендованном облаке, не на нашей стороне - на железе внутри компании. Каждый запрос бота к нейросети остаётся в локальной сети: вопрос сотрудника, фрагмент базы знаний, черновик ответа никуда за периметр не уходят.
Модель - Gemma. Она мультимодальная, то есть понимает и текст, и картинки, и с русским языком работает нормально. Крутится на vLLM - это движок, который держит высокую нагрузку большого портала без очередей. Сотрудник задаёт вопрос и получает ответ сразу, хотя обрабатывает его нейросеть, а не человек.
База знаний, которая уважает права доступа
Сорок процентов обращений бот закрывает ответом из базы знаний, не заводя заявку. Он ищет по смыслу: режет документы на фрагменты, векторизует их, поверх работает языковая модель, которая находит нужное и по заголовку статьи, и по её телу, разбирает вложенные файлы. База обновилась - бот подтянул новое сам.
Здесь возникает второй риск безопасности, который легко упустить. Если бот бодро цитирует всю базу знаний подряд, любой сотрудник через безобидный вопрос вытащит то, что ему видеть не положено. Поэтому бот учитывает права доступа: человек без допуска к финансам не получит через бота ни цифр по зарплатам, ни маржи сделок, даже если статья с ними формально лежит в базе. Модель видит фрагмент - сотрудник видит ровно то, к чему у него есть доступ на портале.
Что это дало на практике
До бота обращения шли почтой, звонками и устно. Около 10% терялось по дороге, а первого ответа сотрудник иногда ждал до 10 часов - инженер техподдержки был занят своей основной работой. Сейчас первый ответ приходит мгновенно, тысячи обращений в месяц идут через один канал, средняя оценка сотрудников - 4,5 из 5.
Всё это работает без единого запроса во внешнее облако. Внедрение заняло 3 месяца, и сегодня внутри периметра работают техподдержка, адаптация новичков и расшифровка созвонов - тоже на локальных моделях.
Локальная нейросеть кажется дороже и сложнее облачной кнопки. Но после запуска данные компании остаются её данными. Для инженерной компании с собственным производством и разработкой это условие, при котором ИИ вообще можно пускать к внутренней переписке.
