1. Введение и обзор голосового ассистента Маруся
Друзья, всем привет! Меня действительно зовут Вова. Я в компании работаю уже больше 12 лет. Исторически долго и упорно занимался поисковыми рекомендательными сервисами. С 2018 года еще руковожу таким проектом, как «Голосовой ассистент Маруся». И, собственно, наш сегодняшний рассказ как раз пойдет про этот самый голосовой ассистент. Давайте, соответственно, начнем с короткого интро.
Что такое голосовой ассистент Маруся? Маруся — это наш дружелюбный голосовой ассистент. Она может управлять умным домом, может совершать звонки. Она у нас живет в умных устройствах, которые производит наша компания, живет в приложении социальной сети ВКонтакте и живет в приложении почты. Также есть ряд партнерских устройств.
Собственно, что она умеет делать? Она умеет рассказывать вам погоду, она может включить вашу любимую музыку и, соответственно, отвечать на достаточно сложные вопросы, которые вы задаете. Как же она устроена под капотом? В общем случае, это работает так. Пользователь, находясь в комнате у себя дома, обращается к колонке, которая стоит где-то тоже в этой комнате, и просит выполнить какую-то задачу или сценарий. Колонка как-то, значит, речь пользователя процессит, понимает, в какой момент ей нужно активироваться. Дальше аудиосигнал от пользователя передает в облако. Облако там, значит, эту речь пользователя транскрибирует. В итоге это все передается вот в этот самый модуль, который обозначен большим красивым мозгом, который называется диалоговый движок. Этот диалоговый движок там, типа, готовит какой-то нетривиальный ответ, и дальше этот ответ передается в систему синтеза речи TTS и воспроизводится голосом Маруси-пользователя.
Но наш сегодняшний фокус будет сосредоточен на том, как же устроена система распознавания речи в ассистенте. И что же мы, соответственно, какой кейс в прошлом году реализовали и смогли как бы улучшить значительно пользовательские опыты продуктовой метрики. Давайте немножко погрузимся в то, как в целом устроен пайплайн распознавания речи в ассистенте.