Интеллектуальная система управления образовательной программой

Введение

Система профессионального образования России на протяжении последних 3-х десятилетий находится в состоянии ограниченного реформирования, которое затрагивает как внутренние процессы образовательных организаций, так и взаимодействие образовательных организаций, государственных регуляторов и субъектов предпринимательства. В процессах реформирования можно выделить два уровня: мезоуровень и микроуровень. Первый уровень представляет собой трансформационные процессы на уровне регулятора и учредителя, вызванные попыткой снятия основного противоречия – разрывом между качеством профессиональной подготовки выпускников, фиксируемым бизнесом, и инерцией образовательных организаций. Второй уровень представляет собой трансформационные процессы внутри самих образовательных организаций. Эти процессы охватывают несколько сфер деятельности образовательных организаций: развитие цифровой среды, развитие механизмов взаимодействия с бизнесом, развитие сотрудников и др.

Описываемые процессы протекают в условиях принудительной интеграции образовательных организаций, основными механизмами которых выступают: грантовые механизмы финансирования, стимулирующие интеграционную деятельность вузов, а также контрольно-надзорная деятельность регулятора. В результате чего возникли некие тьюторские, дислокационно распределённые, иерархические организационные обособления, представляющие собой нечто промежуточное между холдингами и предприятиями с развитой филиальной организационной структурой, причём со слабой связью между организационными компонентами. Однако качество как образования, так и «прогрессорской деятельности» вузов от этого не только не изменилось в лучшую сторону, но и порой породило феномены мощной сепаратизации и изоляционизма. Принудительно объединенные структуры продолжают существовать как самостоятельные, в академическом и научном плане, части.

Формальная трансформация и интеграция университетов никоим образом не развила среду внутреннего управления, а сами вузы остались в некотором роде школами, в которых преподают всего лишь более высокие материи и новые предметы, нежели чем в средней школе. Преподаватели опираются на устаревшие материалы, а преподавание во многом осуществляется по схеме вещательного озвучивания материалов учебной литературы и их запоминания. По ряду причин наблюдается достаточно мощная деградация высшей школы, активно подпитываемая деградацией среднего и среднего специального образования. Во многом это связано с геронтологическим истощением преподавательского состава и непрестижностью преподавательской занятости. В отдельных случаях наблюдается девальвация званий и должностей высшей школы. Приток новых лиц в научно-педагогические коллективы резко ослабел, равно как и обратное диффундирование, ибо известные специалисты оперируют в вузах в основном в качестве преподавателей, следуя имиджевым стереотипам, а не призванию или востребованности.

На этом фоне активное внедрение сквозных цифровых технологий, эффективных в других секторах экономики (финансовый сектор, промышленность, транспорт, торговля и др.), тормозится в сфере профессионального образования. Редкое исключение представляют собой технологии, используемые в качестве инструмента подачи материала, как то: виртуальная и дополненная реальность, а также цифровые технологии, обеспечивающие синхронное и асинхронное взаимодействие участников образовательного процесса. Между тем перспективы экономики в современных условиях в определяющей степени определяются инновационной активностью, которая не может существовать в условиях стагнации образовательного потенциала. Поэтому объективно востребована его адаптационная трансформация, превращающая вуз в комплексную цифровую образовательную среду, в которой параллельно происходит обучение студентов и создаются инновационные продукты.

Цель, задачи и методы исследования

Целью исследования является совершенствование процесса реализации образовательных программ на основе интеллектуальной системы управления, использующей цифровые следы обучающихся и данных, накопленных за период реализации образовательных программ. Для достижения этой цели поставлены и решены следующие основные задачи: анализ современных электронных образовательных систем и структура формируемых ими данных и цифровых следов; анализ возможностей управления образовательной программой на основе технологии Big Data. Объектом исследования являются профессиональные образовательные программы. Предметом исследования является система управления образовательными программами на основе интеллектуальных систем, формируемых на базе сквозных цифровых технологий.

Настоящее исследование является частью комплексного научного исследования, посвященного совершенствованию системы профессионального образования, проводимого на базе Самарского государственного университета путей сообщения [11 – 17]. Методологической основой исследования являются: теория развития экономики на основе воспроизводства знаний и рынка труда; институциональная, эволюционная теории, основные направления ресурсной концепции. В исследовании использовались результаты научных исследований отечественных ученых, а также анализ экспертных мнений в области образования [1 – 10]. В ходе решения поставленных задач были использованы общенаучные методы: аналитический метод, сравнительно-аналитический метод и частнонаучные: методы системного анализа, метод экспертных оценок.

1 Анализ современных электронных образовательных систем

На рубеже XX – XXI веков образовательные организации России начали внедрять технические средства обучения, основанные на развитии информационных систем. Новые средства обучения представляли собой информационные системы, аккумулирующие образовательный контент и предоставляющие возможность дистанционного изучения материала. Глубина и охват обучающихся новыми технологиями, равно как и качество их реализации, при этом сильно различались. Как правило, большая степень внедрения новых технологий наблюдалась в негосударственных образовательных организациях, реализующих программы высшего образования. Такие организации первыми почувствовали возможности новых технологий, позволяющих захватить новые рынки и сократить издержки. Следующая ступень развития информационных систем в сфере образования наблюдается в период вынужденных ограничений, вызванных пандемией Covid-19. Новые цифровые технологии, а также технологии связи дали дополнительный импульс развитию таких систем.

Анализ современных электронных образовательных систем, используемых в образовательных организациях, позволил выделить четыре уровня, описание которых представлено ниже.

Нулевой уровень – образовательная организация не имеет или имеет отдельные, несвязанные между собой элементы (электронная библиотечная система, электронная база данных, тесты, методические материалы и др.). Указанные элементы не используются для взаимодействия между участниками образовательного процесса.

Первый уровень – образовательная организация использует информационную образовательную систему, как дублирующую или дополняющую процесс реализации образовательных программ. Обучающиеся могут получить доступ к отдельным сервисам (электронная библиотечная система, образовательный контент, методические материалы, система самостоятельной оценки уровня сформированности компетенций и др.). Взаимодействие между участниками образовательного процесса отсутствует или носит асинхронный формат.

Второй уровень – образовательная организация использует информационную образовательную систему, которая может полностью обеспечить процесс реализации образовательных программ (контактные виды занятий, синхронное взаимодействие между участниками образовательного процесса, текущая, промежуточная и итоговая аттестация и др.). Часть услуг для обучающихся и преподавателей предоставляется с использованием цифровых сервисов (предоставление справок, запись на контактные виды учебной и внеучебной деятельности, предоставление учебно-методических материалов и др.).

Третий уровень – образовательная организация использует цифровую образовательную платформу, как полноценную самостоятельную среду для реализации образовательных программ. Услуги для обучающихся и преподавателей предоставляются с использованием цифровых сервисов. Роль администрации образовательной организации сведена к минимуму и заключается в поддержке цифровых сервисов и развитии цифровой образовательной платформы. Управление процессом реализации образовательных программ осуществляется на основе сквозных цифровых технологий: технология «Big Data» и искусственный интеллект. Цифровая среда самостоятельно оценивает риски неосвоения образовательной программы и предлагает мероприятия для их купирования.

Описанные выше уровни определены путем анализа информационных образовательных системы вузов России и являются условными, т.е. могут быть дифференцированы на основе различных факторов: цифровая зрелость, степень вовлечения обучающихся, отзывы обучающихся и работодателей и пр.

2 Анализ инструментов совершенствования процесса

Использование современных цифровых информационных образовательных систем при реализации образовательных программ сопряжено с продуцированием значительного количества данных: цифровых следов обучающихся и преподавателей, цифровых транзакций, цифрового контента, результатов оценки и мн. др. Использование этих накопленных данных в форме их математической обработки таит огромный потенциал совершенствования процесса реализации образовательных программ.

В рамках исследования проведен анализ возможностей использования различных элементов совершенствования процесса реализации профессиональных образовательных программ на основе математических методов обработки данных (табл. 1). Анализ включает следующие группы инструментов: анализ результатов освоения образовательной программы, анализ цифровых следов обучающихся, анализ графического и текстового контента обучающихся, анализ результатов внеучебной деятельности, анкетирование обучающихся и преподавателей.

Таблица 1 – Инструменты оценки процесса реализации образовательных программ

Математический аппарат, соответствующий каждой из указанных выше группе инструментов, позволяет получить следующие результаты (табл. 1): выявление отклонений – маскировки некачественной работы преподавателей хорошими результатами аттестации, прогнозирование рисков неосвоения образовательной программы, прогнозирование результатов освоения образовательной программы, выявление лидеров, определение склонности обучающихся к видам профессиональной деятельности, прогнозирование социальной девиации, прогнозирование результатов внеучебной деятельности, распознавание склонности к коммерческой, научной, инновационной, предпринимательской деятельности, прогнозирование склонности к рисковому поведению в профессиональной деятельности. Как видим результаты охватывают внеучебную деятельность обучающихся.

3 Анализ возможностей управления образовательной программой на основе технологии Big Data

Big Data (большие данные) – это структурированные или неструктурированные массивы данных большого объема, которые обрабатываются при помощи специальных автоматизированных инструментов с целью дальнейшего использования: принятия решения, выявления закономерностей, получения информации, обеспечивающей конкурентные преимущества и пр. В общем виде Big Data – часть науки о данных (Data Science), включающей машинное обучение, статистику и связанные с ней разделы математики, математические алгоритмы обработки информации.

Алгоритмы обработки информации позволяют обнаружить скрытые тенденции в больших наборах данных и использовать эти тенденции для прогнозирования. Ниже приведены основные методы обработки набора данных при управлении образовательной программой.

1. Кластерный анализ. Универсальный метод позволяет на основании накопленного массива данных (цифровые следы обучающихся, результаты работы обучающихся с электронной образовательной средой и пр.) определить степень близости участников образовательного процесса (обучающихся, преподавателей).

2. Кластеризация методом k-средних (k-means clustering). Метод позволяет дифференцировать участников образовательного процесса в рамках отдельных профилей (кластеров). Метод позволяет определить количество кластеров и их измерить (определить, что включают в себя кластеры). Участниками образовательного процесса могут быть как обучающиеся, так и преподаватели. Метод позволяет выявить различные закономерности, например, влияние различных факторов на качество реализации образовательных программ.

3. Метод главных компонент (principal component analysis). Метод позволяет определить точные формулы, при помощи которых можно дифференцировать участников образовательного процесса. Метод можно применять в проектном обучении, задачах научной и инновационной деятельности, внеучебной деятельности.

4. Ассоциативные правила. Могут быть использованы при формировании персональных карьерных траекторий обучающихся, а также совершенствовании внеучебной деятельности обучающихся. Метод позволяет определить близкие элементы (элементы, связанные друг с другом): дисциплины, учебные и практические задания, элементы внеучебной деятельности и пр.

5. Анализ социальных сетей (social network). Метод позволяет анализировать отношения между участниками образовательного процесса. В отличии от предыдущих метод не дает однозначного ответа о близости членов группы и количестве таких групп. Метод позволяет представить результаты анализа в виде сети.

6. Регрессионный анализ. Позволяет идентифицировать закономерность. Если существует предположение о зависимости факторов, метод позволяет определить степень этого влияния, а также определить характер зависимости – описать влияния с помощью уравнения регрессии. Функцией зависимости может быть линия (в двухмерной среде) и плоскость (в трехмерной среде). Полученные зависимости можно использовать для прогнозирования процессов.

7. Метод k-ближайших соседей (k-nearest neighbors). Метод позволяет выявить скрытые предрасположенности обучающихся к различным видам деятельности, выявить талантливых обучающихся, определить на ранних стадиях негативные факторы. Метод также позволяет обнаружить подлог и попытку замаскировать некачественные результаты освоения образовательной программы положительной аттестацией обучающихся.

8. Метод опорных векторов (support vector machine). Метод позволяет определить оптимальные границы, отделяющие одну группу от другой, и может быть использован, например, для выявления зоны риска при проведении промежуточной аттестации обучающихся.

9. Дерево решений. Метод может быть использован при построении карьерограммы выпускника университета, а также при его обучении в университете. Метод позволяет показать обучающемуся путь дальнейшего обучения и возможные перспективы в зависимости от принимаемых решений.

10. Нейронные сети (neural networks). Используются для прогнозирования процесса обучения, а также для классификации участников образовательного процесса. Для обучения нейронной сети используются значительные наборы данных.

11. Теория множеств. Может быть использована для анализа динамики показателей процесса обучения. Накопленные данные (успеваемость, продолжительность обучения, обратная связь и пр.) формируют множества, для которых определяются барицентры. Устойчивое положение барицентра при флуктуации данных свидетельствует о равновесии процесса. Движение барицентра свидетельствует о потере равновесия. Причиной может быть: выгорание работника, усталость обучающегося, ослабление здоровья, другие скрываемые обучающимся или преподавателем причины.

Ниже на рис. 1 – 3 приведены примеры анализа данных. Отклонение результатов успеваемости группы от средней успеваемости группы носит линейный характер (рис. 1). Эта зависимость может быть аппроксимирована линейным уравнением. При этом наблюдаются существенные отклонения результатов отдельных преподавателей от средних значений (более чем на 30 %) как в верхнюю, так и в нижнюю сторону.

Рис. 1 – Анализ данных, полученных при проведении аттестации обучающихся

Составлено авторами

Сопоставление результатов текущей и промежуточной аттестации (рис. 1) показывает более значительный разброс значений. Могут быть выделены, как минимум три кластера: 1 кластер – схожий характер промежуточной и текущей аттестации, 2 кластер – успешная промежуточная аттестация при низких результатах текущей, 3 кластер – низкие результаты промежуточной аттестации при успешной текущей аттестации. Кластеры 2 и 3 могут носить признаки конфликта интересов педагогического работника, или попытки замаскировать некачественную работу.

Рис. 2 – Дендрограммы, построенные при анализе данных, полученных при проведении аттестации обучающихся

Составлено авторами

На рис. 2 показаны примеры дендрограммы на основе результатов промежуточной аттестации обучающихся за несколько лет. Слева – дендрограмма, построенная по обучающимся, справа – по преподавателям. В верхней части графиков показаны близкие группы, в нижней – сильно отличающиеся от них элементы. Так, среди студентов выделяются как минимум три группы: близкая группа студентов 1, 5, 8, 16, 12, 24, 26, 4, 10, 14, 25, 15, 20, 22, 7, 19; отделенные группы студентов 11, 13, 21, а также 2, 18, 23, 3, 27. Трое оставшихся студентов 9, 6 и 17 имеют существенно отличающие их от других факторы (успеваемость, профиль обучения, портфолио и др.).

По преподавателям значительных отличий не обнаружено, за исключением преподавателя 3, существенно отстоящего (расположенного в удалении) от других преподавателей.

Рис. 3 демонстрирует пример анализа транзакций между участниками образовательного процесса в электронной информационной образовательной среде. Такими транзакциями являются обмены информацией (сообщениями, результатами работы, синхронное и асинхронное взаимодействие через среду и пр.). По легенде, заложенной в проводимом эксперименте, группа обучающихся имеет риск низкого уровня формируемых компетенций. Наблюдаемые данные не позволяют выявить эти тенденции. В процессе анализа (рис. 3) такая группа выявляется.

а б в

Рис. 3 – Этапы анализа транзакций в электронной информационной образовательной среде:

а – определение общего центра; б – определение паттернов;

в – выявление группы риска

Составлено авторами

Указанный анализ можно использовать для определения близких групп, выявления лидеров, определения склонности обучающихся к видам деятельности, прогнозирования социальной девиации, прогнозирование конфликта интересов педагогических работников, а также прогнозирование склонности к рисковому поведению в профессиональной деятельности.

4 Семантический анализ текста

Под анализом текста подразумевается автоматическое определение тональности текста и выявление паттернов, позволяющих идентифицировать интересы обучающегося. К текстам относятся письменные работы обучающегося, а также текстовые материалы электронной информационной образовательной среды. Семантический анализ – это математическая обработка текста, осуществляемая на основе различных алгоритмов.

За последние десятилетия такие алгоритмы претерпели существенное изменение. Самый простой способ анализа – присвоить вес каждому слову текста с последующей интегральной оценкой (среднее или средневзвешенное значение). Сегодня алгоритмы анализа текста используют технологии на основе искусственного интеллекта. Любые современные алгоритмы анализа тональности текста состоят их трех последовательных этапов: очистка текста и его предварительная обработка, векторизация, моделирование. На первом этапе происходит очистка текста от знаков препинания, табуляции, предлогов и других элементов текста, не несущих информации о тональности, но мешающих его анализировать. На втором этапе происходит оцифровка текста – математическая обработка текста. Содержание третьего этапа (моделирование) определяется целями анализа. Ими могут быть: анализ отношения к вопросу или проблеме, определение интереса обучающегося (определение склонности к различным видам деятельности), прогнозирование рисков, включая девиантное поведение и пр.

Ключевым элементом второго этапа (векторизации) является расчет значений вектора для каждого слова (A) и определение косинусной меры – отношения полученного вектора к анализируемому вектору (B), располагаемому по положительной части шкалы X. Так, например, по шкале X может быть отношение слова к какому-либо вопросу или проблеме, а по шкале Y – тональность слова. Косинусная мера определится по выражению:

Все методы анализа тональности могут быть условно разбиты на три группы: методы на основе правил, методы на основе машинного обучения и гибридные методы [18-22].

Методы на основе правил. Чаще всего в них используются вручную заданные правила классификации и эмоционально размеченные словари. Эти правила обычно на основе эмоциональных ключевых слов и их совместного использования с другими ключевыми словами рассчитывают класс текста. Несмотря на прекрасную эффективность в текстах из какой-то определенной тематики, методы на основе правил плохо способны обобщать. Кроме того, они крайне трудоёмки в создании, особенно когда нет доступа к подходящему словарю настроений [18].

Методы на основе машинного обучения. Они используют автоматическое извлечение признаков из текста и применение алгоритмов машинного обучения. Классическими алгоритмами классификации полярности являются наивный байесовский классификатор (Naive Bayes Classifier), дерево решений (Decision Tree), логистическая регрессия (Logistic Regression) и метод опорных векторов (Support Vector Machine). Одним из их главных недостатков с точки зрения генерирования эмбеддингов является потребность в больших массивах текстов для обучения. Впрочем, это справедливо для всех методов машинного обучения, потому что всем алгоритмам обучения с учителем нужны для обучения размеченные наборы данных [18].

Гибридные методы объединяют в себе подходы двух предыдущих видов. Например, гибридный фреймворк для анализа тональности персидского языка, в котором сочетаются лингвистические правила, а также модули свёрточных нейросетей и LSTM для классификации настроений, или гибридная модель аспектного анализа ALDONAr, в которой сочетаются онтология настроений для захвата информации о настроениях, BERT для получения эмбеддингов слов и два слоя CNN для расширенной классификации тональности. Языковые модели часто применяются в гибридных алгоритмах, как и решения на основе правил. С одной стороны, комбинация методов на основе правил и машинного обучения обычно позволяет добиться более точных результатов. А с другой — гибридные подходы наследуют трудности и ограничения составляющих их алгоритмов [18].

Заключение

Основным результатом представленного исследования является совершенствование процесса реализации образовательных программ на основе интеллектуальной системы управления, использующей цифровые следы обучающихся и данных, накопленных за период реализации образовательных программ. Перспективы использования цифровых технологий показаны через призму возможных эффектов, включающих: экономию ресурсов на реализацию образовательных программ, повышение качества образовательных программ, возникновения новых продуктов и решений, а также социальный эффект. Наиболее значительным результатом исследования является карта инструментов оценки процесса реализации образовательных программ, позволяющая существенно расширить функционал электронных информационных образовательных систем.

В рамках проведенного исследования представлены результаты анализа современных электронных образовательных систем и структура формируемых ими данных и цифровых следов; представлены результаты анализа возможностей управления образовательной программой на основе технологии Big Data.

Практическая значимость исследования заключается в значительном расширении функционала электронных информационных образовательных систем, накапливающих данные, извлекаемые из процесса реализации образовательных программ и взаимодействия участников образовательного процесса. По мере развития цифровых технологий объем таких данных, их структура и разнообразие увеличиваются, целью исследования является поиск возможностей их использования.

Результаты исследования могут представлять интерес: для команд управления образовательных организаций, осуществляющих массовую подготовку обучающихся, в части развития цифровых платформ; для инженерно-технических работников и организаций, осуществляющих разработку цифровых решений в сфере образования, в части разработки новых продуктов и совершенствования существующих.