Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
В НИУ ВШЭ изучили, как в России готовят высококвалифицированные кадры в области ИИ
Институт статистических исследований и экономики знаний НИУ ВШЭ представил новую серию регулярных информационно-аналитических материалов на основе специализированных обследований по изучению трендов, направлений и факторов развития и распространения технологий искусственного интеллекта в России и мире. Первый выпуск основан на результатах сплошного обследования 1100 вузов и их филиалов, проведенного в 2023 году. Его целью стало выявление масштабов и условий обучения технологиям ИИ в рамках образовательных программ высшего образования и дополнительных профессиональных программ в вузовском секторе.
Эксперты ВШЭ рассказали слушателям Таврической духовной семинарии об ИИ-технологиях
Делегация Вышки в июне побывала с визитом в Таврической духовной семинарии Симферопольской и Крымской епархии. Стороны обсудили развитие партнерских проектов и совместных инициатив, в частности студенческие экспедиции в рамках проекта «Открываем Россию заново». Кроме того, директор Института искусственного интеллекта и цифровых наук ВШЭ Алексей Масютин прочел лекцию об ИИ-технологиях.
В НИУ ВШЭ состоялась первая конференция «Искусственный интеллект в медиа»
В работе форума приняли участие представители бизнеса, коммуникационных агентств, медиа, а также эксперты Вышки. Они обсудили то, как ИИ изменит креативные индустрии и повлияет на личный бренд и может ли искусственный интеллект помочь бизнесу лучше понять своего клиента. Стоит отметить, что прошедшая конференция — первая из серии запланированных мероприятий для профессионалов медиарынка и коммуникаций.
ВШЭ открывает программу подготовки элитных ИИ-специалистов в сфере прорывных технологий
Высшая школа экономики запускает программу «ИИ 360: Инженерия искусственного интеллекта» в формате трека на флагманской бакалаврской программе «Прикладная математика и информатика» факультета компьютерных наук. Партнерами станут «Яндекс» и Сбер, а также сильнейшие технические вузы — ИТМО, МФТИ и Университет Иннополис.
Обучение с подкреплением позволило лучше работать генеративным потоковым нейросетям
Ученые Центра ИИ и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ применили классические алгоритмы обучения с подкреплением для настройки генеративных потоковых сетей (GFlowNets). Это позволило улучшить работу GFlowNets, которые применяются уже три года для решения сложнейших научных задач на этапах моделирования, генерации гипотез и экспериментального проектирования. Результаты работы вошли в 5% лучших публикаций на Международной конференции по искусственному интеллекту и статистике AISTATS, которая состоялась 2–4 мая 2024 года в Валенсии.
НИУ ВШЭ и Сбер провели форсайт искусственного интеллекта
Высшая школа экономики совместно со Сбером провела форсайт искусственного интеллекта (ИИ). Его первые итоги обсудили участники стратегической форсайт-сессии по поисковым исследованиям в сфере ИИ, которая прошла в Координационном центре Правительства РФ под руководством вице-премьера Дмитрия Чернышенко. Результаты форсайта лягут в основу Единой программы исследований и разработок в сфере ИИ.
Искусственный интеллект: «поход в качалку для мозга»
На днях в Вышке состоялось очередное заседание дискуссионного клуба «Самовар», главной темой которого на этот раз стал искусственный интеллект. Вместе с руководителем департамента больших данных и информационного поиска, доцентом факультета компьютерных наук ВШЭ Евгением Соколовым и директором по связям с общественностью НИУ ВШЭ, модератором встречи Романом Левковичем участники разбирались в том, что такое ИИ, что он умеет, чему и как быстро учится и зачем нам всем нужно об этом знать.
На выставке-форуме «Россия» представили систему сертификации технологий ИИ «Интеллометрика» НИУ ВШЭ
В рамках дней Росстандарта на выставке-форуме «Россия» прошла дискуссия о том, как обеспечить доверие к технологиям искусственного интеллекта. Участники рассказали о подходах к испытаниям систем ИИ в промышленности, управлении городом, образовании, в области контроля вредных выбросов. На сессии также была представлена система добровольной сертификации технологий ИИ «Интеллометрика», разработанная в Вышке.
На Академическом форуме БРИКС обсудили возможности и угрозы искусственного интеллекта
В рамках Академического форума БРИКС, который на днях завершил свою работу в Москве, ученые, эксперты и представители бизнеса обсудили вопросы развития технологий искусственного интеллекта (ИИ), в том числе разработку стандартов и этических норм в этой области, а также совместные исследовательские проекты стран объединения.
ФКН ВШЭ и МТС открывают магистратуру по искусственному интеллекту
В ходе конференции True Tech Day МТС объявила об открытии в сентябре 2024 года магистратуры по направлению «Исследования и предпринимательство в искусственном интеллекте» на факультете компьютерных наук Высшей школы экономики. Цель программы — применение новых технологий в бизнесе и обучение специалистов, которые будут заниматься созданием инновационных продуктов, используя передовые методы машинного и глубинного обучения.