Чижик Пыжик

Ученые из Культурной столицы создали интеллектуальную систему для общения врачей с глухими пациентами.

Известно, что данная программа сможет распознавать жестовый язык людей и переводить его в текст. По словам разработчиков, ее точность составляет более 90%.

Так, ученые обучили нейросеть и создали уникальную базу данных жестов – 85 жестовых высказываний про здоровье и медицину, записанных дикторами в пяти вариантах.

Новое приложение оснащено видеокамерой, которая фиксирует жесты пациентов, после этого программа автоматически преобразует язык жестов в текст в режиме реального времени.

При этом важно знать, что русский жестовый язык (РЖЯ) может отличаться в разговорах людей разного возраста, пола, региона происхождения. Кроме того, в России кроме "литературного" РЖЯ существует живая "калькирующая жестовая речь", которая отличается от базового языка жестов. Этот фактор также учтен в созданной системе.

К слову, в 2021 году в мире, по данным ВОЗ, насчитывалось примерно 466 миллионов человек (более 5 % от общего количества населения земного шара, из них 34 миллиона – дети), страдающие полной глухотой или испытывающие проблемы со слухом. Эксперты считают, что к 2050 году число людей с такими проблемами достигнет двух миллиардов.

“Мы надеемся, что в перспективе наше приложение позволит упростить оказание медицинских услуг и для врачей, и для людей с ограниченными возможностями. Сейчас мы работаем над созданием удобного интерфейса для программы”, – отметил старший научный сотрудник Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин.