Давайте несколько слов теперь скажем про то, как это непосредственно работает в продакшене, когда у нас уже есть обученная модель. Смотрите, у вас на слайде показано, как аудио поступает чанками к нам в облачную модель. Дальше, соответственно, эти чанки аудио обрабатываются последовательно в комбинации сначала нашей R&D моделькой, потом языковой моделькой, и последовательно формируются частичные гипотезы. Вот видите, тут chunk 0. В данном случае при chunk1 привет и так далее. Как только, соответственно, мы сформировали какую-то языковую конструкцию, которая похожа на запрос пользователя, мы отправляем ее в диалоговый движок Marusi, и она начинает на этот запрос отвечать.
Работает у нас все это следующим образом. То есть для inference мы используем движок, который называется ONX Runtime. Все работает в динамической квантизации vent8. Основное устройство для inference это CPU у нас. И при декодировании мы, соответственно, ответы нашей RNNT модельки и LM модельки смешиваем при помощи Shell of Fusion. Shell of Fusion это просто линейная комбинация, не пугайте. Работает это все со скоростью где-то 100 секунд аудио за одну секунду компьютер.
Вообще в целом кажется странный вопрос, зачем нам при распознавании речи еще какая-то дополнительная языковая моделька. Оказывается, что в общем случае модель может генерировать вполне себе разумные гипотезы, но при этом они будут малоосмысленные. В частности, тут у вас на слайде есть пример. Пользователь пытался включить песню из слова «Пацана». Исполнитель IGEL, песня называется, видимо, «Паяла» или «Паяла», я не знаю. Суть в чем? Правильная гипотеза тут вторая. Но как сказать модели о том, что на самом деле надо выбрать слово «пыяла», а не слово «поняла». И для этого нам как раз нужна внешняя языковая моделька, которая является внешним источником информации.
Какие у нас есть варианты? Бывают либо нейроязыковые модельки, либо энграмные модельки. Мы на самом деле у себя применяем при распознавании и то, и другое. Сейчас расскажу как. И применять тоже можем по-разному. Можем либо при формировании beam up в beam search, либо уже на этапе финального rescoring гипотез, когда уже все гипотезы сформированы.
Теперь как бы где у нас применяется n-граммная модель. N-граммная модель у нас применяется в облачном ISA-ре, в оффлайновом ISA-ре. Потому что она считается в 10 раз быстрее и качество дает сопоставимое, собственно, с нейроязыковой моделькой. В потоковом ISA-ре, в онлайн ISA-ре мы используем LSTM модельку и как раз применяем ее в процессе формирования гипотез beam search.
Ну и в целом, каких мы результатов добились от внедрения этой модельки? Главный результат – это то, что мы снизили latency времени закрытия микрофона в два раза. То есть что хотели сделать, то сделали. Команда молодцы. Большое им спасибо за то, что такой прекрасный результат заделивили в прошлом году.
Ну и в целом, подводя итоги по нашему кейсу, мы смогли улучшить качество потокового распознавания, снизить тот самый пресловутый латенс, про который я сказал. Ну и смогли как бы унифицировать модель, избавиться от необходимости саппортировать две.
Ну и давайте просто пару слов скажу из своего опыта, из рекомендаций, которые хотелось бы поделиться. Во-первых, хочу всем пожелать, чтобы при работе над своими проектами вы выходили за свои пределы и не выдумывали каких-то преград. Часто тот кейс, который я рассказал с переписыванием Куда Кернелла в библиотеке, он как раз является яркой иллюстрацией такого примера, когда мы немножко вышли, скажем так, за рамки привычного. То есть мы не сказали, что мы дата-сайентологи, которые пишут в питон-ноутбуках, а все остальное нас не очень волнует. То есть мы смогли как бы залезть в кишки библиотеки, там в ней разобраться, ее переписать и добились как бы целевого результата.
Поэтому в общем не строите себе каких-то искусственных преград. И в целом глубокое закапывание в какую-то тему часто дает и больше понимания темы, и открывает новые возможности для улучшения.
Дальше на самом деле достаточно банальное пожелание. Это про эффективную инфраструктуру. Не поленитесь, постройте время, организуйте ее у себя, если вы над чем-то таким же подобным работаете. Потому что это позволяет увеличить время, точнее ускорить проверки гипотезы. Ну и соответственно помогает быстрее что-то шипить в продакшн.