Кейс: потоковое ASR в голосовом ассистенте «Маруся» — переход на RNN‑Transducer

42:006 speakers
41:52
duration
16
chapters
6
speakers
10
Terms
потоковый ASRRNN‑Transducerendpoint detectionобучение моделейинженерные оптимизацииязыковые моделиприватность данных

Speakers

6
Speaker A93%12 turns
Speaker B3%8 turns
Speaker C1%3 turns
Speaker D1%3 turns
Speaker E1%1 turn
Speaker F1%3 turns

Key ideas

8
  • Потоковое распознавание в ассистенте критично для UX: надо снижать latency определения конца речи и ошибку транскрибации.
  • Каскадная Kaldi‑система показала ограниченное качество и не решала endpoint detection end‑to‑end.
  • RNN‑Transducer (RNN‑T) — выбранная архитектура для потокового ASR, объединяющая энкодер, предиктор и joiner.
  • Latency Controlled BLSTM даёт улучшение качества за счёт «заглядывания в будущее» с небольшим приростом задержки.
  • Регуляризации Run‑and‑Tell и FastEmit ускоряют эмиссию токенов, но требуют аккуратности (FastEmit повышает риск преждевременного закрытия микрофона).

Key highlights

8
  • Переход на RNN‑Transducer позволил унифицировать пайплайн и избавиться от поддержки двух отдельных моделей.
  • FastEmit регуляризация уменьшила медианную latency EPD в 3 раза (при этом повышая риск раннего закрытия микрофона).
  • Fine‑tune со специальным MVR‑loss снизил долю преждевременных закрытий микрофона примерно на 20%.
  • Бакетинг и meta‑batches сократили время обучения на ~30% и уменьшили потребление видеопамяти.
  • Инференс: ONNX Runtime с динамической квантизацией int8, скорость ~100 секунд аудио на 1 секунду CPU.

Decisions

6
  • Отказ от каскадной Kaldi‑системы в продакшене в пользу унифицированной RNN‑Transducer архитектуры.
  • Применение LC‑BLSTM в энкодере для улучшения качества распознавания при допустимом увеличении latency.
  • Использование двухэтапного обучения: pre‑training с Run‑and‑Tell и FastEmit, затем fine‑tuning с MVR Loss.
  • Внедрение инженерных оптимизаций: бакетинг батчей, meta‑batches, mixed‑precision (fp16/fp32) и распределённое обучение DDP.
  • Динамическая квантизация int8 и ONNX Runtime для CPU‑инференса в продакшене.

Terms

10
RNN‑Transducer (RNN‑T) — архитектура потокового ASR с аудио‑энкодером, предиктором (контекст распознанных токенов) и joiner, выдающая вероятности следующих токенов.
Latency Controlled BLSTM (LC‑BLSTM) — двунаправленная LSTM, организованная окнами с перекрытием и частичным «заглядыванием в будущее», компромисс качество/латентность.
Endpoint detection (EPD) — задача определения момента завершения речевого запроса пользователя (критична для latency и точности ответа).
FastEmit — регуляризация, стимулирующая модель быстрее эмитить токены (уменьшает latency, но может увеличить ложные закрытия).
Run‑and‑Tell — штраф на отклонение времени предсказания end‑of‑sequence от ground‑truth (регулирующая регуляризация на EOS).

Main content

16 chapters · 41:52
0:06

1. Введение и обзор голосового ассистента Маруся

Speaker A0:06

Друзья, всем привет! Меня действительно зовут Вова. Я в компании работаю уже больше 12 лет. Исторически долго и упорно занимался поисковыми рекомендательными сервисами. С 2018 года еще руковожу таким проектом, как «Голосовой ассистент Маруся». И, собственно, наш сегодняшний рассказ как раз пойдет про этот самый голосовой ассистент. Давайте, соответственно, начнем с короткого интро.

Что такое голосовой ассистент Маруся? Маруся — это наш дружелюбный голосовой ассистент. Она может управлять умным домом, может совершать звонки. Она у нас живет в умных устройствах, которые производит наша компания, живет в приложении социальной сети ВКонтакте и живет в приложении почты. Также есть ряд партнерских устройств.

Собственно, что она умеет делать? Она умеет рассказывать вам погоду, она может включить вашу любимую музыку и, соответственно, отвечать на достаточно сложные вопросы, которые вы задаете. Как же она устроена под капотом? В общем случае, это работает так. Пользователь, находясь в комнате у себя дома, обращается к колонке, которая стоит где-то тоже в этой комнате, и просит выполнить какую-то задачу или сценарий. Колонка как-то, значит, речь пользователя процессит, понимает, в какой момент ей нужно активироваться. Дальше аудиосигнал от пользователя передает в облако. Облако там, значит, эту речь пользователя транскрибирует. В итоге это все передается вот в этот самый модуль, который обозначен большим красивым мозгом, который называется диалоговый движок. Этот диалоговый движок там, типа, готовит какой-то нетривиальный ответ, и дальше этот ответ передается в систему синтеза речи TTS и воспроизводится голосом Маруси-пользователя.

2:14

2. Пайплайн распознавания и обработка сигнала на устройстве

Speaker A2:14

Но наш сегодняшний фокус будет сосредоточен на том, как же устроена система распознавания речи в ассистенте. И что же мы, соответственно, какой кейс в прошлом году реализовали и смогли как бы улучшить значительно пользовательские опыты продуктовой метрики. Давайте немножко погрузимся в то, как в целом устроен пайплайн распознавания речи в ассистенте.

Значит, все начинается на устройстве. Первое, что, как правило, нужно сделать, это очистить звуковой сигнал от внешнего шума. Очистить его от эхо, от реверберации. Для того, чтобы понимать, что это такое, наверное, наше сегодняшнее пространство — это идеальная иллюстрация того, какие могут быть спецэффекты со звуком. То есть то эхо, которое вы слышите, и различные шумы на фоне — это те сложности, которые на самом деле приходится решать на практике и каким-то образом чистить сигнал.

Дальше, соответственно, работает первая подсистема распознавания речи, которая работает непосредственно на устройстве. Она называется Keyword Spotter, сокращенно КВС. Ее главная задача — просто распознать ключевое слово, в нашем случае это ключевое слово «Маруся», и после этого, соответственно, уже начать отправлять аудио в облако на сервер для того, чтобы как-то транскрибировать речь.

Предвосхищаю вопросы на тему того, что вот ваш голосовой ассистент все время слушает все, что происходит у меня дома. Нет, это не так. В общем случае голосовой ассистент слушает вас только тогда, когда вы обратились к нему. Считайте, как бы вот это произнесли ключевое слово.

4:06

3. Потоковое и облачное распознавание: задачи и метрики

Speaker A4:06

Следующий кусок как раз то, что будет представлять для нас основной интерес сегодня — подсистемы потокового распознавания речи и подсистемой облачного распознавания речи. В нашем случае они работают в комбинации. Давайте поговорим немножко про эту задачу. Задача с точки зрения формального определения звучит достаточно просто. Нам надо транскрибировать человеческую речь в текст. Вроде человечество такое решать умеет. Однако в нашей ситуации, помимо основной задачи, есть пачка вспомогательных задач.

Эти задачи, во-первых, как бы определение конца речевого запроса пользователя. То есть для того, чтобы начать что-то пользователю отвечать, надо понять, что пользователь на самом деле у нас уже как бы все спросил, что хотел. И поэтому надо найти то место, когда мы закрываем микрофоны, больше пользователя не слушаем, и дальше начинаем отвечать на его вопрос. Вторая важная задача — это подготовка префлайт-ответа. То есть это частичная гипотеза транскрибированной речи пользователя, которая используется в нашем пайплайне построения ответа на вопрос. Про нее мы поговорим чуть дальше.

оговый движок начинает обрабатывать эти гипотезы, чтобы понять, как лучше ответить пользователю.

Когда пользователь завершает свою фразу, наш потоковый эсэр фиксирует конец речи и отправляет все данные в облачный ASR для финальной транскрибации. Это позволяет нам получить более точный ответ, так как облачная модель работает с более сложными алгоритмами и имеет доступ к большему объему данных.

Важно отметить, что в процессе распознавания речи мы сталкиваемся с различными вызовами, такими как шум в окружении, акценты и новые слова в лексиконе. Эти факторы могут значительно усложнить задачу распознавания, и поэтому мы используем разные метрики для оценки качества работы нашей системы.

Объективные метрики, такие как word error rate и character error rate, помогают нам понять, насколько точно система распознает речь. Кроме того, мы также учитываем метрики, связанные с закрытием микрофона и временем ответа, чтобы оптимизировать взаимодействие с пользователем.

В конечном итоге, наша цель — создать систему, которая будет эффективно распознавать речь в сложных условиях и предоставлять пользователю релевантные ответы. Мы продолжаем работать над улучшением наших моделей и алгоритмов, чтобы справляться с новыми вызовами в области распознавания речи.

12:25

4. Endpoint detection и предвосхищение ответов (preflight)

Speaker A12:25

Огловый движок заранее на них готовит ответ. В общем случае это позволяет нам 500 миллисекунд в среднем на потоке экономить. Это как бы отлично улучшает пользовательский опыт.

Вторая задача, про которую я уже упоминал, это задача endpoint detection, задача определения конца речевого запроса пользователя. И тут все чуть-чуть сложнее. То есть у нас есть ground truth chunk с концом речи пользователя. И, соответственно, в каждый момент времени на каждом чанке аудио наша модель вынуждена предсказывать вероятность того, а не является ли данный чанк уже концом речевого запроса. При этом важно понять не просто, когда пользователь замолчал, а когда запрос — это завершенная речевая конструкция.

Какие тут есть крайности? Первая крайность — это мы слишком рано закрываем микрофон, тогда мы пользователя не дослушиваем и, значит, отвечаем ему что-то не в попад, какой-то бред. Вторая крайность — это тогда, когда мы пытаемся дождаться, когда, значит, на фоне все шумы пропадут, никаких голосов нету, и вот когда мы имеем несколько чамков тишины, мы такие: «О, ну все, значит, точно все закончилось».

Недостаток этой крайности в том, что очень высокий латенс. Поэтому, соответственно, нам нужна какая-то золотая середина, и как раз наличие внешнего шума, эхари и реверберации не дает нам это решать эффективно на практике.

13:51

5. Базовый стек и проблемы: Kaldi и отдельная модель EPD

Speaker A13:51

С чего мы начинали? В 2023 году, вот на начало 2023 года, у нас в продакшене работал следующий бейзлайн. Мы использовали open-source модельку Kaldi, которая представляет из себя просто застеканный каскад из трех независимых моделей. Первая моделька — это, соответственно, нейросетка, которая берет спектрограмму на вход, значит, и превращает ее в некоторый набор аудиоклассов.

С этими аудиоклассами дальше работает скрытая марковская модель, которая перегоняет их в фонемное представление слов. И на выходе конечный автомат, который берет это фонемное предоставление, значит, ты сначала по нему генерируешь слова, а потом генерирует все продолжение целиком.

Какие тут недостатки? Недостатки в целом очевидны. Поскольку все кусочки независимые, то есть они не обучаются end-to-end, они просто как бы застеканы в каскад, то тут проблема, во-первых, с качеством, а во-вторых, то, что из коробки на самом деле у этой штуки нет возможности детектировать конец речи.

Поэтому у нас была как бы отдельная моделька четырехслойного транспормера с сишенной башкой, которая, значит, как раз решала исключительно задачу предсказания как раз endpoint. Но тут была другая сложность, что latency у этой модельки был достаточно высокий, потому что она была склонна накапливать внутри себя чанки аудио и имитить вероятность endpoint слишком поздно.

И в целом у нас была следующая проблема. То есть у нас были как бы две независимые модельки, работу которых нам нужно было постоянно синхронизировать. У нас был высокий latency EPD модуля. И в целом качество, конечно, этой open-source модельки Kaldi для распознавания нас в целом не устраивало.

Поэтому мы себе придумали цели в 2023 году. Во-первых, драматически снизить латенсии, снизить ошибку распознавания транскрибации речи и, соответственно, устранить косты на саппорт двух моделей.

15:58

6. Выбор архитектуры: RNN-Transducer (RNN-T) — устройство и принципы

Speaker A15:58

Давайте поговорим про то, как мы это достигли. В качестве целевой архитектуры мы выбрали сото-архитектуру потокового распознавания речи, которая называется RNN Transducer. Смысл ее следующий. На вход аудио-энкодеру подается аудио-спектрограмма. Аудио-экодер обрабатывает очередной фрейм аудио и, соответственно, это является текущим аудио-контекстом.

При этом всем параллельно с ней живет правая часть сетки, которая называется предиктор, которая работает с распознанным уже контекстом, который был транскрибирован на предыдущих шагах, собственно, распознавания. Дальше эти все имбединги объединяются в джойнере, и на выходе у нас, соответственно, есть вероятность предсказания следующего словарного токена.

Обратите внимание, что на самом деле на выходе этой модельки стоит четырехмерный тензор. И он на самом деле нам в целом потом больно выстрелит в ногу, когда мы будем эту модельку учить. Но про это я расскажу чуть дальше.

Из интересных особенностей, которые мы применили при реализации данной модели, это, конечно, аудио-энкодер. Аудио-экодер у нас устроен следующим образом. Мы окнами обрабатываем аудио поток, причем эти окна имеют место с перекрытием. И обрабатываем специальным видом двунаправленной LSTM, которая называется Latency Controlled LSTM.

Значит, устроена так, что типа форвардная часть BLSTM передается с предыдущего окна. А backward-ная часть, она инициализируется на самом деле будущим аудиоконтекстом. То есть смотрите, мы немножко заглядываем в будущее с точки зрения аудио, захватываем немножко аудио со следующего чанка для того, чтобы инициализировать hidden state backward-ной части LSTM.

Это нам дает незначительное увеличение latency модели, но при этом это повышает нам значительно качество распознавания. Да, ну здесь как бы немножко иллюстрация параметров. Предиктор у нас устроен просто. Это обычная однонаправленная LSTM, которая фактически имбедит предыдущий распознанный контекст.

И joiner — это на самом деле full connected слой с softmax, на выходе предсказывающий следующий словарный токен. И модель работает по такому принципу, что если на выходе модель предсказывает blank символ, то мы делаем просто переход по аудио фрейму. Если же соответственно имитит какой-то текстовый токен, то мы делаем переход по предиктору. То есть фактически просто два указателя бегают как бы в правого времени.

Оптимизирует эта вся конструкция алгоритм правдоподобия всевозможных путей в Trellis матрицы. Вот эта матрица, которая тут обозначена, которую вы видите, это матрица всевозможных выравниваний аудио фреймов на ground truth текст. Как мы теперь этого франкенштейна учили? Давайте про это поговорим.

19:30

7. Данные, предобучение, fine-tuning и аугментации

Speaker A19:30

В качестве аудио данных мы использовали следующее. Мы брали звуковой сигнал речи пользователя, пробегались по нему оконным преобразованием Fourier с окном 25 миллисекунд и перекрытием 10 миллисекунд. Потом к нему применяли 80 мел фильтр банков и конкатенировали каждые три фрейма. В качестве словаря мы использовали синтенспис модель. В нем была соответственно русский и английский язык. Там порядка 10k токенов и два вспомогательных управляющих символа.

Учили мы это все дело на запросах в Маруси с различных поверхностей. Плюс дополнительно использовали внешние данные, такие как книги, видеоролики из ВКонтакте и различные еще open-source данные, у которых не было проблем с лицензией. Наше обучение разделено на две стадии. Это pre-training и fine-tuning. У них у всех есть особенности, про это мы сейчас поговорим.

И, соответственно, некоторый ряд специфики самого обучения. То, как мы это учим, какие аугментации к данным применяем и что мы от этого выигрываем. Давайте поговорим про стадию pre-training. Значит, на стадии притренинга мы применяем две специальные регулиризации, которые важны нам в потоковом распознавании. Первое — это run-and-tell, короче, штраф на end-of-sequence символ.

Смысл такой, что если наша модель пытается end-of-sequence подсказать сильно позже, чем ground-truth, то мы, соответственно, начинаем ее штрафовать за это, и наш регулирующий Loss начинает драматически расти. Вторая регулиризация — это fast emit регулиризация. Смысл ее заключается в том, чтобы стимулировать модель как можно быстрее имитить речевые токены. Делается это за счет просто перехода, увеличения градиентов, переходов по речевым токенам в Trellis Matrix.

На этапе fine tuning мы используем специальный дополнительный Loss, который называется MVR Loss, который по большому счету просто минимизирует ожидаемый вер на выходе. Поскольку вер является функцией недифференцируемой, напрямую градиент мы по нему взять не можем, поэтому нам приходится работать с мат-ожиданием этой конструкции. Соответственно, мат-ожидание мы берем по всем сгенерированным гипотезам в PrebimSearch.

Какие типы аугментации мы применяем в данных? Вообще смысл аугментации при распознавании речи заключается в том, что мы, как правило, хотим смоделировать, скажем так, похожие голоса на то, что у нас есть в датасете, но немного с какими-то отличиями. Первые отличия мы можем моделировать за счет повышения или понижения тона в нашей речи пользователей.

Вторая аугментация — это ускорение и замедление темпа речи. То есть таким образом мы пытаемся моделировать различные типы голосов. Плюс применяем специальный тип аугментации, специфический для спектрограмм. Это маскирование по частотам и по времени. Это дает нам на самом деле возможность у модели лучше генерализоваться и не затачиваться на какие-то определенные фичи спектрограмма при распознавании.

Теперь про особенности и проблемы. С чем мы столкнулись на практике при обучении? Вот помните тот страшный четырехмерный тензор, про который я вам говорил на выходе нашей RNNT модельки? Он нам начал достаточно больно стрелять, потому что он требовал слишком много видеопамяти на картах. Как мы с этим поборолись? Мы применили технологию бакетинга.

Посмотрите, что мы сделали. Поскольку, как правило, длинные аудиозаписи неравномерные, в общем случае, вот этот четырехмерный тензор, он на самом деле, как правило, больше чем на 50% пустой. Вот для того, чтобы как бы от этого избавиться, мы применили технологию бакетинга. Смысл ее заключается в том, что мы сгруппировали все аудиозаписи по длинам в бакеты и, собственно, бочи формировали по принципу берем там типа из одного бакета.

Но очевидно, что если мы так будем поступать в общем случае, то мы как-то искалечим оригинальное распределение наших аудио-данных. Поэтому мы использовали еще мета-бочи, и в них аккумулировали итоговый градиент. Это в целом нам позволило на 30% сократить время обучения и при этом всем не потерять в качестве.

24:11

8. Проблемы обучения и инфраструктура: оптимизация, баги и распределённое обучение

Speaker A24:11

Вторая проблема, с которой мы столкнулись при обучении, это то, что fast emit регуляризация на end of sequence приводила к увеличению ошибок первого рода к закрытию микрофона. То есть мы закрывали микрофон слишком рано. Как мы с ним поборолись? С точки зрения математики решение очевидно. Мы просто не использовали эту регуляризацию. Регуляризацию на его символ. Но с точки зрения техники возникли сложности, потому что для обучения мы использовали библиотеку Warper-Arnante. И для того, чтобы решить задачу, нам пришлось как бы закопаться в кишки этой библиотеки и переписать куда kernel, чтобы избавиться от этого штрафа при оптимизации.

Соответственно, вот тут несколько картинок, иллюстрирующих то, как у нас на практике обучение идет. Первая фаза, левая верхняя картинка, это фаза предрейна send of sequence регуляризации. Дальше, как бы правая верхняя картинка – это уже этап, когда мы добавляем fast emit регуляризацию и уменьшаем шаг обучения. И зеленая, как бы в самом конце, вот этот кусочек, который вы видите – это уже этап fine-tune с envelope. Оптимизируем это все при помощи оптимизатора Adam.

Из интересного, что как бы стоит тут отметить, то что добавление FastEmit регуляризации уменьшает медианную латенсию EPD в три раза. То есть это как бы прикольный результат. А добавление FineTune где-то на 20% собственно снижает преждевременные закрытые микрофоны. Учим мы все это на кластере в парадигме Distributed Data Parallel. То есть у нас на каждой машинке кластера по 8 карт. На каждой карте своя копия текущего состояния модельки. И при этом в каждый момент времени при обучении нам прилетает очередной батч данных. Значит, карта выполняет свою часть данных, расчетов, и полученные градиенты синхронизируются при помощи wrinkle reducer для эффективности.

Учим мы все в MixPrecision, то есть все расчеты, все матричные операции мы выполняем в fp16, а дальше, соответственно, это назад перегоняем в fp32. И для того, чтобы не было всяких артефактов с переполнениями, мы наш Loss домножаем на большую константу для того, чтобы как раз в Backprop градиенты вписались как раз в диапазоны в P16.

26:46

9. Продакшн: архитектура и inference потокового распознавания

Speaker A26:46

Давайте несколько слов теперь скажем про то, как это непосредственно работает в продакшене, когда у нас уже есть обученная модель. Смотрите, у вас на слайде показано, как аудио поступает чанками к нам в облачную модель. Дальше, соответственно, эти чанки аудио обрабатываются последовательно в комбинации сначала нашей R&D моделькой, потом языковой моделькой, и последовательно формируются частичные гипотезы. Вот видите, тут chunk 0. В данном случае при chunk1 привет и так далее. Как только, соответственно, мы сформировали какую-то языковую конструкцию, которая похожа на запрос пользователя, мы отправляем ее в диалоговый движок Marusi, и она начинает на этот запрос отвечать.

Работает у нас все это следующим образом. То есть для inference мы используем движок, который называется ONX Runtime. Все работает в динамической квантизации vent8. Основное устройство для inference это CPU у нас. И при декодировании мы, соответственно, ответы нашей RNNT модельки и LM модельки смешиваем при помощи Shell of Fusion. Shell of Fusion это просто линейная комбинация, не пугайте. Работает это все со скоростью где-то 100 секунд аудио за одну секунду компьютер.

Вообще в целом кажется странный вопрос, зачем нам при распознавании речи еще какая-то дополнительная языковая моделька. Оказывается, что в общем случае модель может генерировать вполне себе разумные гипотезы, но при этом они будут малоосмысленные. В частности, тут у вас на слайде есть пример. Пользователь пытался включить песню из слова «Пацана». Исполнитель IGEL, песня называется, видимо, «Паяла» или «Паяла», я не знаю. Суть в чем? Правильная гипотеза тут вторая. Но как сказать модели о том, что на самом деле надо выбрать слово «пыяла», а не слово «поняла». И для этого нам как раз нужна внешняя языковая моделька, которая является внешним источником информации.

Какие у нас есть варианты? Бывают либо нейроязыковые модельки, либо энграмные модельки. Мы на самом деле у себя применяем при распознавании и то, и другое. Сейчас расскажу как. И применять тоже можем по-разному. Можем либо при формировании beam up в beam search, либо уже на этапе финального rescoring гипотез, когда уже все гипотезы сформированы.

Теперь как бы где у нас применяется n-граммная модель. N-граммная модель у нас применяется в облачном ISA-ре, в оффлайновом ISA-ре. Потому что она считается в 10 раз быстрее и качество дает сопоставимое, собственно, с нейроязыковой моделькой. В потоковом ISA-ре, в онлайн ISA-ре мы используем LSTM модельку и как раз применяем ее в процессе формирования гипотез beam search.

Ну и в целом, каких мы результатов добились от внедрения этой модельки? Главный результат – это то, что мы снизили latency времени закрытия микрофона в два раза. То есть что хотели сделать, то сделали. Команда молодцы. Большое им спасибо за то, что такой прекрасный результат заделивили в прошлом году.

Ну и в целом, подводя итоги по нашему кейсу, мы смогли улучшить качество потокового распознавания, снизить тот самый пресловутый латенс, про который я сказал. Ну и смогли как бы унифицировать модель, избавиться от необходимости саппортировать две.

Ну и давайте просто пару слов скажу из своего опыта, из рекомендаций, которые хотелось бы поделиться. Во-первых, хочу всем пожелать, чтобы при работе над своими проектами вы выходили за свои пределы и не выдумывали каких-то преград. Часто тот кейс, который я рассказал с переписыванием Куда Кернелла в библиотеке, он как раз является яркой иллюстрацией такого примера, когда мы немножко вышли, скажем так, за рамки привычного. То есть мы не сказали, что мы дата-сайентологи, которые пишут в питон-ноутбуках, а все остальное нас не очень волнует. То есть мы смогли как бы залезть в кишки библиотеки, там в ней разобраться, ее переписать и добились как бы целевого результата.

Поэтому в общем не строите себе каких-то искусственных преград. И в целом глубокое закапывание в какую-то тему часто дает и больше понимания темы, и открывает новые возможности для улучшения.

Дальше на самом деле достаточно банальное пожелание. Это про эффективную инфраструктуру. Не поленитесь, постройте время, организуйте ее у себя, если вы над чем-то таким же подобным работаете. Потому что это позволяет увеличить время, точнее ускорить проверки гипотезы. Ну и соответственно помогает быстрее что-то шипить в продакшн.

32:14

10. Итоги, рекомендации и подготовка к вопросам

Speaker A32:14

Следующий важный пункт, он про разметку. Смотрите, я на самом деле в своей презентации про это почти ничего не сказал, но, наверное, любой маломальский опытный ML-щик понимает, что именно качество разметки определяет качество вашей ML подсистемы в долгосроке. Ну и в целом, как следствие, качество продукта, на котором вы работаете. Поэтому чем больше времени вы проинвестируете в эту область, тем лучше результаты вы получите.

Ну и последний пункт — это читайте статьи, скачивайте новых версий библиотек, пробуйте новое. Даже если вы в моменте никуда это не можете применить, то я уверен, что настанет момент, когда ваш опыт и знания окажутся востребованными, и, соответственно, вы сможете это заиспользовать у себя.

Все, спасибо.

Speaker B33:12

Вова, спасибо большое за потрясающий, очень наполненный деталями доклад. Было очень интересно. Теперь время вопросов. Задавайте, пожалуйста, оффлайн и онлайн.

Добрый день. Есть ли, допустим, в аудио несколько голосов? Вы с этим боретесь при помощи разметки или какими-то дополнительными модулями?

Speaker A33:36

Дополнительными, да. Тут такая история, что в целом задача разделения спикеров, она на практике сложная. У нас есть там несколько проседаний в этом направлении различных.

Мы пытаемся в первую очередь, конечно, формировать направленный луч и фокусировать микрофон и колонки на спикере. Но в целом, часто из-за особенностей помещения или действительно из-за того, что очень громкие голоса на фоне, это сделать сложно.

Поэтому я не могу сказать, что у нас эта задача решена в общем случае. Есть какие-то наработки в этой теме, но, к сожалению, похвастаться этим пока не могу.

Speaker B34:20

Спасибо. Следующий вопрос на втором ряду девушек о молодых человеках.

Speaker C34:31

Ну, во-первых, спасибо большое за технические подробности. Тут редкий случай, когда можно как бы внутреннюю пощупать. Обычно все ограничиваются поверхностным рассказыванием.

34:40

11. Первые вопросы: метрики и организация оценки в продакшне

Speaker A34:40

Пожалуйста.

Speaker C34:41

Мы старались. Спасибо.

Касательно метрик. Вот вы говорите: метрики, метрики. Понятно, как их померить на размеченных данных, а как вы меряете там версеры или еще какие-то метрики вот уже в real-time, когда у вас модель работает? Вы говорите, вы там повысили вот это вот все. Вот как вы это замеряете?

Speaker A34:59

Да, смотрите, тут даже главная фишка как раз в том, что мы… Как вообще любая метрика с production строится? Вы, соответственно, берете свой поток запросов, который вам пролетает в ассистент.

И дальше из этого потока, согласно какой-то методологии, она может либо просто там типа равномерное сэмплирование из потока, либо какое-то стратифицированное сэмплирование. Если вы хотите какие-то corner case лучше посмотреть, вы набираете какой-то sample примеров.

Дальше вы этот sample отдаете разметчикам. В нашем случае у нас есть собственная ассессорская служба в компании, которая согласно гайдлайдам, согласно инструкции сидит, эти чанки аудио размечает, транскрибирует, говорит, где пользователь закончил что-то говорить, который пользователь хотел сформулировать в ассистент.

Поэтому метрики мы считаем относительно как раз того, что нам транскрибировали люди. Никакой автоматики тут нет.

Speaker C36:05

Спасибо большое.

Speaker B36:07

Да, спасибо. Вот вопрос у молодого человека.

Speaker D36:11

Спасибо за доклад, во-первых. У меня было два вопроса, но один уже задали, поэтому я остался один.

36:16

12. Модерация контента: нецензурная и токсичная лексика

Speaker D36:16

Я не услышал про то, как вы работаете с нецензурной лексикой и токсичной лексикой. Как вы выбрали вообще этот подход? Потому что у разных вендоров есть разные подходы. Кто-то никак не обращает на это внимание, делает замечания и так далее.

Speaker A36:36

Да-да, смотрите, тут вопрос такой. Есть ли какая-то логика по тому, чтобы как-то реагировать именно на то, как пользователь обращается к ассистенту, или как-то контролировать то, что ассистент не ответит в такой же манере пользователю?

Speaker D36:54

И то, и другое.

Speaker A36:55

И то, и другое. Смотрите, значит, отвечая как бы на первый вопрос, ну, то есть, никак. Значит, история про то, что, типа, ну, если пользователь, значит, такой эмоциональный и никакого другого, как бы, словарного запаса у него нету, кроме, там, типа, инициативной лектики, ну, значит, как бы, в общем, ассистент будет молчать, слушать, как бы, и, в целом, пытаться что-то там в попат или не в попат отвечать.

Но контролировать, что отвечает ассистент, мы, конечно, можем. И вот есть специальная система, которая фильтрует, безусловно, ответы ассистента, чтобы ассистент матом или еще более трехэтажно не сказал пользователю, что он про него думает.

Speaker D37:40

Спасибо.

Speaker B37:42

Давайте еще вопросы из оффлайна, и обратимся потом к онлайну. Молодой человек, вам давно рук тянет.

Speaker E37:50

Да, здравствуйте. Такой вопрос. Наряду с ESR обычно ставят еще какую-то биометрию, например, отслеживание возраста пользователей: дети, не дети, или, например, полупользователи, чтобы мозги как бы лучше работали. Используете ли вы это? Если да, то в рамках какого-то NDA как используете?

Speaker A38:07

Смотрите, вот есть точно детские сценарии. То есть вот прямо для детей есть отдельный классификатор, значит, то, что голос детский. И там, конечно, в общем, диапазон ответов ассистента начинает быть ограниченным. И функциональность, которая есть в ассистенте, тоже начинает быть ограничена вот как раз под ребенка. Чтобы он там, типа, не нашел в себе, значит, какой-нибудь контент 18+, как бы, или еще что-нибудь подобное. Вот. Но каких-то других специальных, как бы, историй, там, значит, про мальчика или девочку пока нет на текущий момент.

Speaker B38:47

Спасибо. Давайте тогда парочку вопросов из онлайн-чата.

38:52

13. Вопросы и ответы: безопасность, конфиденциальность и особенности распознавания речи

Speaker B38:52

Первый вопрос. Как обеспечивается безопасность и конфиденциальность данных при использовании системы распознавания речи в Марусе?

Speaker A39:00

Прекрасный вопрос. Значит, есть нетривиальное количество приседаний в этом направлении. Вообще, вот где-то тут, я не знаю, в этом помещении, в этом здании, должна быть также секция по безопасности.

Вот у нас в компании есть департамент безопасности, который следит за тем, чтобы никакие персональные данные пользователя никуда не протекли. В общем случае, конечно, вся sensitive пользовательская инфа перед тем, как стать доступной разработчикам в том или ином виде, она пропускается через опускатор. То есть оттуда как бы вырезаются, как правило, все sensitive данные, и только после этого разработчики могут что-то с этими данными делать.

То есть смысл такой, что да, этот pipeline есть, он работает, есть целый большой департамент в компании, который за этим следит.

Speaker B39:58

Спасибо. Давайте ещё вопрос из онлайна. Каким образом система Маруси учитывает различные диалекты, акценты и особенности произношения при распознавании речи?

Speaker A40:09

Смотрите. Вот специальных, что называется, каких-то механизмов для этого нет. То есть основной механизм такой: вы просто кормите такие примеры в обучении для того, чтобы ваша моделька умела с такими кейсами работать.

А дальше как бы все остается на то, насколько вы хорошо эту модельку натренируете и каких результатов вы сможете вокруг этого добиться. Но какого-то там, знаете, 3FA в коде, если акцент такой, то значит логика какая-то другая. Ничего такого нет. Мы работаем с тем потоком, который у нас есть, и под него оптимизируемся.

Speaker B40:51

А добавляете ли специально в данные какие-то corner-кейсы с диалектами, акцентами и так далее?

Speaker A40:58

Смотрите, мы точно специально добавляем corner-кейсы, но не с акцентами и диалектами. То есть какой-то специальной работы именно в этой области нет.

Speaker B41:10

Окей, спасибо.

41:11

14. Вступление и напоминание вопросов

Speaker F41:11

Ну что же, давай я, Вов, тебе напомню, какие были вопросы, чтобы ты выбрал лучшие. Не зря же я это конспектировал. Или ты уже знаешь?

Speaker A41:17

Не-не, давай, я забыл про это.

41:20

15. Шум, фоновые голоса и мониторинг метрик

Speaker F41:20

Ура, ура. Итак, громкие голоса на фоне. Что с этим делать?

Мониторинг метрик в онлайне. Как вы реагируете на мат? Определяете ли пол и возраст спикера? И используете ли это?

Конфиденциальность и безопасность. Как? Как быть с диалектами и акцентами?

41:42

16. Выделение ключевого вопроса и объявление приза

Speaker A41:42

Слушайте, на самом деле вот из интересного, что прямо запомнилось, это, наверное, первый вопрос. Давайте его выделим тогда.

Speaker F41:52

Опаньки! Громкие голоса на фоне. Ура! Вы получаете ценный приз.