Ученые из СПбГУ разработали метод, который обучит голосовых и аудиовизуальных помощников распознавать иронию в разговорной речи.
Лингвисты университета провели исследование, в результате которого были выявлены особенности жестов, интонации и мимики у людей, использующих ироничные выражения в своей речи.
Для разработки этой методики специалисты проанализировали фрагменты разговоров из российских фильмов и сериалов, а также записи речи 60 дикторов. Это первый такой сборник на русском языке. Полученные данные, основанные на звучании и жестах, помогут улучшить системы автоматического распознавания речи и аудиовизуального синтеза с использованием искусственного интеллекта.
На сегодняшний день голосовые и аудиовизуальные помощники стали неотъемлемой частью повседневной жизни, но для устройств с ИИ человеческая речь не всегда понятна. Ироничные высказывания сильно зависят от контекста и интонации. Это не просто добавление шутливого оттенка, а также способ подвергнуть сомнению сказанное или изменить его смысл на противоположный. Поэтому важно обучить голосовых помощников распознавать этот тип речи, чтобы ИИ понимаю сказанное и, например, ироничное «Конечно!» не воспринималось как согласие.
Ученые провели анализ жестов и мимики говорящих, а также обработали звуковые сигналы при помощи специального программного обеспечения. После этого были осуществлены эксперименты по восприятию. В одном из них участники прослушивали короткий аудиофрагмент и выбирали соответствующий ему отрывок текста с иронией или без нее. В другом зрители выполняли аналогичную задачу, просматривая кадры без звукового сопровождения. В третьем случае сигнал предъявлялся в полной мере. Это позволило выявить ту интонацию, а также те жесты и мимику, которые говорящие используют для выражения иронии, даже не учитывая контекст.
В ироничных высказываниях у человека наблюдаются изменения в темпе речи, громкости, регистре и диапазоне голоса. Характер этих изменений зависит от типа высказывания; например, вопросы с иронией отличаются от восклицательных предложений более выраженным увеличением громкости и более заметным растягиванием слов и звуков. В жестах и мимике для выражения иронии выделяются определенные движения губ и бровей.
Фото: CoWomen / Unsplash.com
