Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
Обучение с подкреплением позволило лучше работать генеративным потоковым нейросетям
Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ применили классические алгоритмы обучения с подкреплением для настройки генеративных потоковых сетей (GFlowNets). Это позволило улучшить работу GFlowNets, которые применяются уже три года для решения сложнейших научных задач на этапах моделирования, генерации гипотез и экспериментального проектирования. Результаты работы вошли в 5% лучших публикаций на Международной конференции по искусственному интеллекту и статистике AISTATS, которая состоялась 2–4 мая 2024 года в Валенсии.
НИУ ВШЭ и Сбер провели форсайт искусственного интеллекта
Высшая школа экономики совместно со Сбером провела форсайт искусственного интеллекта (ИИ). Его первые итоги обсудили участники стратегической форсайт-сессии по поисковым исследованиям в сфере ИИ, которая прошла в Координационном центре Правительства РФ под руководством вице-премьера Дмитрия Чернышенко. Результаты форсайта лягут в основу Единой программы исследований и разработок в сфере ИИ.
Искусственный интеллект: «поход в качалку для мозга»
На днях в Вышке состоялось очередное заседание дискуссионного клуба «Самовар», главной темой которого на этот раз стал искусственный интеллект. Вместе с руководителем департамента больших данных и информационного поиска, доцентом факультета компьютерных наук ВШЭ Евгением Соколовым и директором по связям с общественностью НИУ ВШЭ, модератором встречи Романом Левковичем участники разбирались в том, что такое ИИ, что он умеет, чему и как быстро учится и зачем нам всем нужно об этом знать.
На выставке-форуме «Россия» представили систему сертификации технологий ИИ «Интеллометрика» НИУ ВШЭ
В рамках дней Росстандарта на выставке-форуме «Россия» прошла дискуссия о том, как обеспечить доверие к технологиям искусственного интеллекта. Участники рассказали о подходах к испытаниям систем ИИ в промышленности, управлении городом, образовании, в области контроля вредных выбросов. На сессии также была представлена система добровольной сертификации технологий ИИ «Интеллометрика», разработанная в Вышке.
На Академическом форуме БРИКС обсудили возможности и угрозы искусственного интеллекта
В рамках Академического форума БРИКС, который на днях завершил свою работу в Москве, ученые, эксперты и представители бизнеса обсудили вопросы развития технологий искусственного интеллекта (ИИ), в том числе разработку стандартов и этических норм в этой области, а также совместные исследовательские проекты стран объединения.
ФКН ВШЭ и МТС открывают магистратуру по искусственному интеллекту
В ходе конференции True Tech Day МТС объявила об открытии в сентябре 2024 года магистратуры по направлению «Исследования и предпринимательство в искусственном интеллекте» на факультете компьютерных наук Высшей школы экономики. Цель программы — применение новых технологий в бизнесе и обучение специалистов, которые будут заниматься созданием инновационных продуктов, используя передовые методы машинного и глубинного обучения.
НИУ ВШЭ — лидер среди вузов по вкладу в развитие ИИ
15 мая состоялось вручение премии «AI Awards: создатели будущего 2024». Команда по искусственному интеллекту и цифровым продуктам «Билайна» Big Data & AI* совместно с Brand Analytics объявили победителей рейтинга искусственного интеллекта, который составила нейросеть. Вышка стала победителем в индустриальной номинации «Вузы. Вклад в развитие ИИ».
Ученые Вышки ускоряют разработку беспроводных систем связи 5G и 6G с помощью ИИ-технологий
В Центре искусственного интеллекта НИУ ВШЭ разработали программное обеспечение для моделирования радиоканала в беспроводной связи 5G и 6G, основанное на использовании трассировки лучей и машинного обучения. Программы позволяют узнать, как радиоволны распространяются между передатчиком и приемником, а также могут преобразовывать данные трассировки лучей в формат последовательности кадров, конфигурировать и обучать нейросеть на их основе с последующим сохранением.
«Новый стратегический проект усилит наши компетенции в области искусственного интеллекта»
Высшая школа экономики в рамках программы «Приоритет-2030» запускает новый стратегический проект «ИИ-технологии для человека». О том, какие задачи он решает, какие проекты войдут в его состав, зачем нужны конкурсы молодых ученых и компетенций и что будут делать ИИ-помощники для человека, в интервью «Вышке.Главное» рассказал научный руководитель стратпроекта, директор Института искусственного интеллекта и цифровых наук НИУ ВШЭ Алексей Масютин.
На площадке НИУ ВШЭ опубликована «Белая книга» оценки соответствия искусственного интеллекта
Технический комитет по стандартизации №164 «Искусственный интеллект», действующий на площадке НИУ ВШЭ, совместно с Палатой индо-российского технологического сотрудничества (CIRTC) и ассоциацией «РУССОФТ» опубликовали «Белую книгу» оценки соответствия искусственного интеллекта. В ней отражены подходы к стандартизации и этическому регулированию технологий ИИ в двух пилотных отраслях — здравоохранении и сельском хозяйстве.