Новогоднее шоу ВК Образование — Marusia: как общаться и развивать скиллы

9:433 speakers
9:22
duration
6
chapters
3
speakers
8
Ideas
голосовой ассистентраспознавание речиязыковые моделисоздание скилловMarussia Skill Lab

Speakers

3
Speaker A9%3 turns
Speaker B14%12 turns
Speaker C77%12 turns

Key ideas

8
  • Чтобы ассистент корректно исполнял команды, пользователь должен формулировать их полно и чётко.
  • Ассистент — алгоритм, он не видит весь контекст, поэтому важна точность фраз.
  • Качество ответа зависит от ISR (Automatic Speech Recognition) и языковых моделей с их словарём.
  • Языковые модели расширяют словарь, включая редкие и англоязычные названия, что уменьшает ошибки распознавания.
  • В настоящее время оценка ответов строится по метрике уместно/неуместно; планируется добавить специфические метрики качества и релевантности.

Key highlights

5
  • Роль ISR в корректном понимании речи и влияние словаря языковых моделей на ответы.
  • План на следующий год: ввести более тонкие метрики оценки качества ответов, а не только «уместно/неуместно».
  • Пример неудачного ответа об «самой большой акуле» показывает необходимость более человекопонятных формулировок.
  • Существование платформы Marussia Skill Lab с визуальным редактором для внешних авторов.
  • Проведение чемпионатов по созданию скиллов (Marussia Skill Up), из которых родились рабочие скиллы для Маруси.

Decisions

2
  • Расширять состав и качество языковых моделей для лучшего распознавания редких и сложных слов.
  • Пересмотреть методику оценки ответов: перейти от простой метрики уместно/неуместно к набору специфических метрик качества и релевантности.

Terms

4
ISR — Automatic Speech Recognition — блок, отвечающий за распознавание речи; влияет на то, как корректно ассистент понимает сказанные слова.
Языковая модель — модель внутри ISR, задающая словарь и вероятности слов/фраз для корректного распознавания и интерпретации речи.
Скилл — программный навык/функция ассистента (например, чтение сказок или выдача прогноза погоды).
Marussia Skill Lab — платформа для создания внешних скиллов с визуальным редактором, позволяющим не-программистам создавать навыки.

Main content

6 chapters · 9:22
0:00

1. Вступление: новогоднее шоу и представление экспертов

Speaker A0:00

ВК Образование представляет новогоднее шоу, в котором эксперты экосистемы ВК подводят итоги года и говорят о технологиях.

Speaker B0:13

Привет, это Костя Сидорков, и прямо сейчас вы будете смотреть новогоднее шоу от ВК Образований. Тут вы узнаете не только все самые последние новости от компании ВК, но также увидите крутых экспертов и узнаете, как же можно попасть в IT. Маруся, Маша Мацкевич.

Speaker A0:34

Мария Мацкевич, продуктовый руководитель «Умных колонок» с голосовым помощником Марусей, учит меня, как не ошибаться в ответах на ваши вопросы.

0:44

2. Как правильно общаться с голосовым помощником Марусей

Speaker B0:44

Маша, скажи, пожалуйста, как нужно правильно общаться с капсулой, чтобы все задачи, все мои желания и хотелки были удовлетворены?

Speaker C0:53

Мне кажется, нет какого-то единого рецепта или единого правила, как нужно так или иначе формулировать команды.

Мне кажется, важно помнить о том, что, сколько бы ты не ожидал умности от того ассистента, с которым ты общаешься, важно помнить, что это пока еще все-таки робот, алгоритм. Это не человек. Он не видит всего контекста, который тебя окружает.

Поэтому нужно максимально полно и четко формулировать свою команду. Если, например, хочешь послушать какую-то определенную музыку, лучше так и говорить, а не просто слово «включи», и дальше мы пытаемся сориентироваться. Включи что? Свет, музыку.

Speaker B1:29

И начинаешь напевать.

Speaker C1:30

Да, и начинаешь напевать. Это действительно важно, и это помогает лучше отвечать.

1:34

3. Распознавание речи и языковые модели (ISR)

Speaker C1:34

И еще такой важный момент и интересный момент, который на самом деле находится под капотом и не виден всем остальным пользователям. Мы можем дать какую-то команду и услышать очень странный ответ. И создается впечатление, что всё вроде было понятно, команда принята, но почему же такую ерунду сейчас я слышу? На самом деле нет, это не ерунда. Всё дело в том, что для того, чтобы правильно понимать команду, есть специально обученный блок. Называется он ISR — Automatic Speech Recognition.

И, в общем-то, этот блок отвечает за то, насколько правильно и корректно распознаётся речь человека. И вот в этом блоке есть модель, которая отвечает за то, насколько полон словарь нашего ассистента. Это языковая модель. Обычно с чего все начинают? Они берут некую general область, это такой общий домен, то, что мы максимально часто используем в речи.

И, например, если представить, что мы бы обучили нашего помощника только на основе вот этой вот генерал-области, что бы тогда было? Ты бы попросил, например, сказку... Не знаю.

Speaker B2:48

О царе Салтане.

Speaker C2:49

Слушай, царь Салтан — это довольно популярная штука, потому что где-то в каких-то источниках, на основе которых мы учили, собственно, эту модельку и царь, и салтан, скорее всего, проскакивал, по крайней мере, в русскоязычном поле.

А вот, например, такое слово, как нюкле, ну, наверное, нет. Поэтому, если мы спросим, что это такое, мы рискуем получить ответ про, не знаю, допустим, мюсли или что-то подобное. Это забавно, и, с одной стороны, мы отвечаем правильно, потому что мы под своим внутренним весом, с учетом этой модельки, поняли, что да, это мюсли.

А с точки зрения пользователя мы, естественно, допускаем ошибку и, в общем, уходим в какие-то непонятности.

Speaker B3:29

Короче, сложно выговариваемые слова мы лучше доверим, это все-таки поисковику?

Speaker C3:34

Нет, не совсем так. На самом деле, чтобы становиться более умными, мы расширяем состав языковой модели, поэтому мы начинаем понимать и нюклю, и какие-то сложные англоязычные названия песен. То есть мы постоянно занимаемся обогащением языковых моделей, более того.

Вот эти языковые модели, они для каждого домена, то есть условно для тематики, могут создаваться специально. И тем самым мы имеем много-много языковых моделей внутри вот этого блока ISA. И за счет этого понимаем лучше.

И еще такой важный момент про умность. Мы на деперсонизированном объеме данных регулярно, вообще постоянно проводим оценку, насколько ок или не ок наши ответы. И сейчас мы эту оценку проводим на основе такой общей генеральной метрики уместно-неуместно.

И вот в следующем году один из основных наших планов — это подкрутить методику оценки в сторону не просто уместно-неуместно, а добавив специфических метрик. И вот эти специфические метрики будут, по сути, таким классным редактором. Если мы говорим «много», «пространно», мы сейчас можем сказать, окей, это уместный ответ. Но на самом-то деле пользователь уже уснул, ушёл в сторону, и это не ок.

4:46

4. Качество ответов: примеры и метрики оценки

Speaker C4:46

Давай попробую продемонстрировать, как это может выглядеть. Есть забавная штука с акулой. Маруся, какая самая большая акула?

Speaker A4:56

Гигантская акула-молот получила своё название за впечатляющие размеры тела и входит в число самых крупных акул, существующих в мире.

Почётное пятое место в рейтинге самых больших акул в мире занимает пелагическая большеротая акула.

Гренландская полярная акула принадлежит к самым крупным акулам в мире, обитающим в северных водах.

Speaker C5:21

И вот после такого ответа я, как пользователь, нифига не понимаю, какая самая большая акула. То есть то, что было посерединке, да, оно что-то там на пятом месте. А вот эти первые две, а какая из них самая большая?

А я на самом деле видела еще референс, что самая большая — это китовая акула. И если мы сейчас оценим этот ответ, мы скажем, да, он уместен, потому что мы дали релевантную информацию. Но с точки зрения того человека, который эту информацию себе поправил, у него остаются вопросы.

Speaker B5:46

У меня немножко каши осталось.

Speaker C5:48

Поэтому мы, собственно, с этой кашей будем бороться. За счет этого мы с большой долей вероятности достигнем успеха.

То есть мы будем отвечать не просто «ок» или «не ок», а то, как ожидают услышать. То есть приближаемся к более такому человечному ответу, я бы сказала, с точки зрения восприятия.

6:07

5. Как стать разработчиком Маруси: Marussia Skill Lab и скиллы

Speaker B6:07

Клёво. Скажи по итогу, вот если всё-таки у нас сегодня тематика — это образование, задаться вопросом, как стать разработчиком Marusi? В какую дверь нужно постучать, чтобы это случилось?

Speaker C6:19

Первая дверь, в которую надо стучаться, наверное, это математика. Нужно учить математику, важно... Дверь к своему.

Speaker B6:25

Классному руководителю и к преподавателю по математике. Тук-тук.

Speaker C6:29

Но на самом деле, если у кого-то всё достаточно грустно с математикой, или пока не хватает силы и терпения этим заняться, можно попробовать прийти к нам на платформу для разработки скиллов.

И, на самом деле, на этой платформе — это Marussia Skill Lab — можно, не обладая никакими специфическими математическими навыками программирования, создать свой скилл.

Ну, на самом деле, кроме математики нужен еще и Python.

Speaker B6:56

У кого его нет?

Speaker C6:56

Скиллы разрабатывать очень интересно, и у нас сейчас, в нашем багаже внешних, мы их называем еще иногда внешне, вот эти вот скиллы порядка 130. Мне кажется, что это только начало пути.

Поэтому все, у кого есть вдохновение и желание, я призываю приходить на Marussia's Skill Lab и пробовать свои силы. Это, как минимум, действительно очень-очень интересно.

Speaker B7:21

Маша, ответьте, пожалуйста, на вопрос: что такое скиллы?

Speaker C7:24

Скилл — это умение выполнять ту или иную функцию, ту или иную команду. Например, мы можем сделать навык чтения сказок, или можно спросить, какая погода. И это тоже скилл, потому что он запрограммирован, и мы отвечаем, что такое погода, то есть какая она, какое давление и так далее.

Speaker B7:42

Где тогда взять эти скиллы?

Speaker C7:43

Смотри, скиллы создаются внутри нас. Этим занимается наша внутренняя разработка. Но скиллы могут создавать не только наши внутренние разработчики, но и все, кто находится вовне нашей команды. Для этого у нас создана специальная платформа для создания внешних скиллов.

На эту платформу могут прийти все желающие, и с математическим образованием, и без него. На платформе есть некий визуальный редактор, который позволяет тем, кто не обладает навыками программирования, создать свой скилл. То есть, если я хочу закрыть свою потребность, то я могу зайти на эту платформу и создать какой-то свой скил.

Например, мне очень хочется, чтобы со мной каждое утро играли в какую-то определённую игру. Я захожу на эту внешнюю платформу и создаю эту игру. То есть, я задаю некое последовательное действие, некий алгоритм, который по совокупности составляет с собой эту игру.

На самом деле, у нас довольно много людей, которые заходят на эту платформу, создают свои скиллы, и мы даже проводим чемпионаты среди таких умельцев. Один из самых известных — это Marussia Skill Up. И, на самом деле, в рамках этого чемпионата был создан не один скилл, который сейчас живёт внутри Маруси и, собственно, расширяет её возможности для того, чтобы можно было закрывать потребности на любой вкус и цвет.

9:02

6. Заключение и пожелания

Speaker B9:02

Круто, Маш. Я желаю, чтобы Маруся стала так же прогрессивной, как роботы из фильма «Я, робот», но более дружелюбно, скажем так.

Поэтому спасибо. Будем следить за развитием вас, и всех призываю обзавестись или, может, кому-то подарить на Новый год новые капсулы мини вместе с Фаруси. Спасибо.

Speaker C9:22

Спасибо большое.