Кафедра анализа данных и машинного обучения Факультета информационных технологий и анализа больших данных

Петросов Давид Арегович

Ведущий научный сотрудник

Интеллектуальная система мониторинга вовлеченности студентов на основе анализа видеопотоков из аудиторий​

Развитие информационных технологий позволяет существенно повысить качество образования. Давно уже идут дискуссии о преимуществах, недостатках и возможностях трансформации традиционных аудиторных занятий. Сегодняшние студенты «с рождения» пользуются смартфонами и планшетами, и в интернете по большинству теоретических и практических дисциплин часто можно найти более полную, точную и актуальную информацию, чем может рассказать на лекции преподаватель. Бывает так, что ​информация в интернете и подается более эффектно и эффективно, чем на занятиях.

Интересно ли студентам? Успевают ли они за преподавателем? Доступно ли излагается материал? Насколько студенты вовлечены в образовательный процесс на аудиторных занятиях? Эти вопросы в эру цифрового образования выходят на первый план. Однако еще недавно контролировать уровень вовлеченности студентов было практически нереально – например, только в московских учебных корпусах Финансового университета занятия идут ежедневно с 8.30 до 22.00 более чем в 500 аудиториях.

Распознавание уровня вовлеченности студентов 

Существующие информационные системы​, разработанные в США, Франции и Сингапуре, ориентированы на анализ индивидуальной вовлеченности студентов и школьников. Мы решили построить систему, которая постоянно анализирует поток данных с видеокамер, установленных в аудиториях, с помощью моделей машинного обучения идентифицирует лица студентов, распознает их эмоции и определяет уровень вовлеченности, а затем агрегирует данные по студенческим группам, факультетам, курсам и т. ​п. и визуализирует итоговые результаты в виде системы интерактивных панелей.

Интерактивная панель визуализации уровня вовлеченности студентов в масштабе университета 
Интерактивная панель визуализации уровня вовлеченности студентов в масштабе университета 

Разрабатываемая нами система представляет собой эластично масштабируемый облачный сервис, автоматически собирающий видеопотоки с камер, установленных в аудиториях, и формирующий итоговые метрики вовлеченности студенческих групп в облаке Microsoft Azure.

​До завершения проекта осталось реализовать три этапа. Во-первых, нужно разработать систему интерактивных панелей визуализации уровня вовлеченности студентов в различных разрезах. Во-вторых, необходимо реализовать систему мониторинга, обеспечивающую поддержание уровня предоставления услуги анализа вовлеченности.​ В-третьих, модель машинного обучения, распознающая уровень вовлеченности студентов, требует дальнейшего обучения на фотографиях, сделанных в различных типах аудиторий - поточных, групповых, компьютерных. ​

Архитектура системы анализа вовлеченности студентов