Современное образование сталкивается с вызовами цифровой эпохи: необходимость гибкости, адаптивности и объективности. Российские вузы активно используют системы управления обучением (LMS - learning management system), которые помогают организовать образовательный процесс в цифровом формате. Архитектура такой системы состоит из платформы, с которой интегрируют базы данных, сервисы и учебные материалы. Уровень использования LMS варьируется от простых решений вроде прикрепления текстовых или презентационных файлов до AI помощников и элементов геймификации. Основными проблемами, связанными с LMS, являются разработка качественного контента, обеспечение стабильной работы и создание дополнительных сервисов.
В процессе обучения при прохождении контрольных и домашних работ по ряду дисциплин пользователи платформы формируют индивидуальный цифровой профиль, включающий оценки, время выполнения заданий и количество попыток. Уровень оценок зависит от сложности тестов и качества подготовки студента. Они выставляются автоматически, минимизируя человеческий фактор. Поэтому цифровой профиль даёт возможность оценить реальную картину успеваемости отдельных студентов, групп и потоков.
Команда исследователей провела анализ оценок студентов по математическим дисциплинам, по которым реализован еженедельный контроль в виде домашних и самостоятельных работ, а также контрольных и тренингов. Этому набору оценок соответствует экзаменационный результат и такой набор данных принято называть размеченным. Для выявления скрытых знаний LMS предложен ряд дополнительных признаков: коэффициент участия, максимально возможный балл студента, нормированный общий балл, а также протестированы статистические гипотезы равенства средних и разброса оценок относительно средних. На большом количестве оценок студентов сформированы веса факторов предиктивных моделей.
Мы - инсайдеры, - говорит профессор кафедры математики и анализа данных, д-р техн. наук Финансового университета Владова Алла Юрьевна, поскольку участники команды - преподаватели факультета информационных технологий и анализа больших данных ведут, а участники команды - студенты факультета международных экономических отношений и факультета налогов, аудита и бизнес-анализа изучают математические дисциплины. Вуз сегодня — это уже не только аудитории, расписания и экзамены, но и огромная «фабрика данных», где каждый клик студента и преподавателя в LMS дополняет их цифровой профиль. Исследователи фактически заглянули «под капот» учебного процесса: собрали информацию, обезличили персональные данные, сформировали облака тегов по названиям работ и тем дисциплин, составили словари-классификаторы.
Результаты статистического анализа цифровых профилей студентов по математическим дисциплинам вступают в противоречие с устоявшимися университетскими мифами. Например, студенты англоязычной программы ошибаются, считая себя сильнее и в математике: их средние баллы статистически не отличаются от средних баллов студентов русскоязычной программы. И преподаватели, и студенты придают повышенное значение зачётным или экзаменационным баллам. Но гораздо информативнее динамика: как меняются результаты студента от попытки к попытке и от темы к теме. Исследование показало, что одних лишь зачётных баллов по математике и анализу данных в первом семестре недостаточно для предсказания успеха на экзамене за годовой курс. И наконец, общая положительная динамика успеваемости в течение семестра по математическим дисциплинам маскирует серьёзную проблему — растущий разрыв между мотивированными и немотивированными студентами. На основе статистического анализа и методов машинного обучения построены модели прогноза итоговых баллов и оценки академического риска, а также выполнена кластеризация студентов по траекториям успеваемости. Выделены группы с высокими, средними и низкими результатами, а также студенты с неравномерной динамикой, для которых особенно важны своевременные консультации. В этих непростых условиях разработка сервисов предиктивной аналитики позволяет заранее выявлять студентов с риском академической неуспеваемости, группировать сложные для них темы, позволяя дать адресную консультацию.
