Моделирование и автоматизация управления фондом оценочных средств в высшей школе
Цоков З.В.1 
, Аручиди Н.А.1 , Калугян К.Х.1 , Щербаков С.М.1
1 Ростовский государственный экономический университет (РИНХ), Ростов-на-Дону, Россия
Скачать PDF | Загрузок: 3
Статья в журнале
Информатизация в цифровой экономике (РИНЦ, ВАК)
опубликовать статью | оформить подписку
Том 7, Номер 3 (Июль-сентябрь 2026)
Аннотация:
В работе рассматривается проблема автоматизированного управления фондом оценочных средств вуза в современных условиях. Показана актуальность задачи автоматизации формирования, экспертизы, пробного применения, анализа и мониторинга фондов оценочных средств для обеспечения адекватного покрытия осваиваемых компетенций и обеспечения качества оценочных средств и выполнения требований адекватности, технической применимости, соответствия уровню образования и др. Разработана расширенная классификация фондов оценочных средств, включающая такие признаки, как уровень таксономии Блума, ступень образования, способ реализации, возможность автоматизированной проверки и т.д. Сформированы требования к фонду оценочных средств и инструментам управления им. Предложена концептуальная модель, выполненная с использованием языка UML, и прототип информационно-аналитической системы для управления фондом оценочных средств в вузе.
Ключевые слова: вуз, фонд оценочных средств, управление, моделирование, автоматизация, информационно-аналитическая система
JEL-классификация: I23, C63, O33, M15, D83
Система высшего образования Российской Федерации сегодня стоит на пороге масштабных изменений, связанных с выходом из Болонского процесса. Новый учебно-методический взгляд на построение и организацию учебного процесса в высшей школе находится в процессе формирования. Тем не менее очевидно, что многие наработки и идеи, созданные и внедренные в последние десятилетия, тотально отброшены не будут. Новая высшая школа станет симбиозом традиций и имеющегося лучшего опыта последних лет.
Фонды оценочных средств (ФОС) являются одной из тех практик, которая обеспечивает прозрачность и объективность учебного процесса в условиях компетентностного подхода. В новых условиях фонды оценочных средств станут важным инструментом реформирования учебно-методического обеспечения и при этом облегчат переход на новые образовательные стандарты [13].
Применение фондов оценочных средств дает возможность обеспечить следующие преимущества:
- объективность и независимость оценки освоения студентами компетенций в ходе учебного процесса;
- возможность анализа требований к результатам обучения;
- возможность проведения аттестаций и контрольных мероприятий без привлечения конкретных преподавателей;
- возможность автоматизации процессов аттестации и контроля.
При этом нужно понимать, что фонд оценочных средств, это сложный диагностический инструмент, к которому предъявляется ряд требований:
- возможность (в большинстве случаев) автоматизированной проверки освоения компетенций;
- адекватность оценочных средств проверяемым компетенциям;
- соответствие уровню освоения компетенций по сложности;
- равномерность покрытия компетенции;
- отсутствие привязки к одному инструменту автоматизации проверки освоения;
- возможность прохождения и оценки освоения компетенций за обозримое время.
Создание фонда оценочных средств – это не просто разработка тестов, а достаточно сложный и трудоемкий процесс, включающий планирование, разработку, экспертизу, оценку и калибровку, а также последующее управление этим фондом.
Таким образом, задача моделирования и автоматизации процессов управления фондами оценочных средств в высшей школе представляется актуальной.
Учитывая это, обозначенная тематика формирования фондов оценочных средств в вузе привлекла значительное внимание ученых и специалистов-практиков как в России, так и за рубежом. Проблемы применения компетентностного подхода в вузе нашли отражения в работах [8, 17, 18–19] (Shevchenko et al., 2023; Shcherbakov et al., 2021). Вопросы формирования и применения фондов оценочных средств в учебном процессе вуза нашли отражение в работах [3–4, 6–7, 10, 12] (Danilova et al., 2016; Kirillova et al., 2023). Задачи учебной аналитики (learning analytics) представляются крайне актуальными и рассмотрены во множестве работ теоретического и прикладного характера [20–21] (Pan et al., 2024). Применение методов BI (бизнес-аналитики) в вузе также рассматривалась в некотором числе публикаций [9]. В том числе описаны предлагаемые программные решения.
Тем не менее задачам моделирования и автоматизации разработки и применения в учебном процессе фондов оценочных средств пока достаточного внимания в научной литературе не уделено.
Фонды оценочных средств, будучи основным инструментом оценки освоения компетенций обучающимися, играют ключевую роль в учебно-методической деятельности высшего учебного заведения.
С учетом разнообразия оценочных средств и способов их применения, а также с учетом требований инновационного, творческого характера учебного процесса и учебно-методической деятельности в вузе целесообразно осуществить классификацию оценочных средств, применяемых на современном этапе развития образования [5] (Ivanova et al., 2023).
В таблице 1 приведены основные предложенные критерии классификации (классификационные признаки) оценочных средств, а также возможные варианты эти признаков.
Таблица 1 Классификация оценочных средств в составе ФОС
|
Критерий
классификации
|
Варианты
критерия
|
|
По уровню
образования
|
Высшее
Среднее специальное Среднее профессиональное ДПО |
|
По механизму
проверки
|
Автоматический
Ручной Смешанный Кроссрецензирование С применением ИИ |
|
По виду
оценочного средства
|
Опрос
Тест Контрольно-расчетная работа Лабораторное задание Эссе Реферат Отчет Кейс Работа с системой программирования Деловая игра Работа на симуляторе / тренажере И т.д. |
|
По виду
компетенций
|
Универсальные
Общекультурные Общепрофессиональные Профессиональные |
|
По уровню
таксономии Блума
|
Знание
Понимание Применение Анализ Синтез Оценка |
|
По назначению
|
Текущий контроль
Промежуточный контроль Контроль остаточных знаний |
Обратим внимание на разнообразие вариантов реализации в компьютерной учебной среде, такой, например, как Moodle. ФОС не сводится к банку тестов закрытой формы. В большинстве случаев такой набор будет очень ограничен и сможет покрыть только нижние ярусы таксономии Блума.
С другой стороны, современные средства позволяют, например, выполнять задания с помощью встроенного компилятора, набора тестов и системы проверки (рис. 1).
Такие инструменты используются в рамках спортивного программирования, в таких инструментах, как «Яндекс.Класс», а также в многопользовательских открытых онлайн курсах (МООК). Возможно встроить подобный инструмент и в систему Moodle.
Рисунок 1. Пример развитого оценочного средства
Рассмотрим схему взаимодействия компонентов компентностной модели образования и этапы формирования этих компонентов [2, 11] (Gitman et al., 2016; Petrova et al., 2023).
Обратим внимание, что:
- формирование ФОС начинается с самых первых шагов учебно-методической работы;
- в формировании и утверждении ФОС задействованы все уровни учебного процесса – от руководителей вуза до преподавателей;
- важным аспектом является качество ФОС, которое обеспечивается анализом и контролем на самом раннем этапе.
Очевидно, что на первых этапах разработки образовательной программы уже необходимо экспертное знание для создания ФОС и контроля его качества. И здесь имеется определенное противоречие, поскольку организационно силы преподавателей могут быть еще не привлечены. Здесь, безусловно, кроется риск потери качества ФОС.
Рассмотрим основные риски и проблемы при формировании фондов оценочных средств в вузе:
- множество разрозненных средств, не образующих единой сбалансированной системы;
- перекос ОС в определенную тематику, неравномерное покрытие компетенций и контента;
- отсутствие связи оценочных средств с компетенциями;
- отсутствие связи оценочных средств с контентом изучаемых дисциплин;
- отсутствие калибровки, измерения, некорректная шкала оценивания освоения компетенций;
- формальный подход к формированию ФОС, тривиальные задания в ФОС;
- игнорирование реальных временных затрат на исполнение со стороны обучающегося и невозможность применения в условиях учебного процесса;
- игнорирование верхних ярусов таксономии Блума, сосредоточенность на терминологии и заучивании фактов;
- технические погрешности и ошибки в материалах оценочных средств;
- слабая обеспеченность техническими и программными средствами для проверки;
- отсутствие содержательной экспертизы.
Парировать перечисленные риски можно двумя способами:
- квалифицированная и ответственная статическая экспертиза ФОС (то, что в сфере информационных технологий называется «ревью»);
- «прогон» ФОС на обучающихся или на некоторой контрольной группе с последующим анализом результатов прохождения и рефлексией.
Обратим внимание, что ФОС, как и другие части учебно-методического обеспечения образовательной программы, не может быть сформирован раз и навсегда. Его развитие, а также постоянный контроль качества и постоянный мониторинг проверок – вот залог эффективного и востребованного ФОС, который тогда может стать незаменимым инструментом учебного процесса в высшей школе.
Сформулируем следующие требования к ФОС для их эффективного применения в высшей школе:
- возможность автоматизированной проверки освоения компетенций; здесь также не исключено и применение технологий искусственного интеллекта;
- адекватность оценочных средств проверяемым компетенциям в соответствии с требованиями стандарта и образовательной программы высшего образования;
- соответствие уровню освоения компетенций по сложности;
- равномерность покрытия компетенций;
- отсутствие привязки к одному инструменту автоматизации проверки освоения;
- возможность прохождения и оценки освоения компетенций за обозримое время.
Для решения задач автоматизации управления фондами оценочных средств в высшей школе необходимо провести моделирование соответствующих процессов и предметной области, а также построить модель информационной системы для проведения аналитики фондов оценочных средств. Это было выполнено в работе [1]. Полученная модель может использоваться для осмысления, документирования, коллаборации в процессе проектирования, разработки и внедрения информационной системы для управления фондами оценочных средств в вузе.
Создание информационно-аналитической системы для управления фондом оценочных средств в вузе потребует комплексного подхода и тесного взаимодействия с различными участниками образовательного процесса. Внедрение такой системы может значительно улучшить качество управления образовательными ресурсами и повысить эффективность оценки знаний студентов.
Рассмотрим некоторые аспекты реализации информационно-аналитической системы фондов оценочных средств вуза.
На рисунке 2 показана диаграмма прецедентов (Use Case) [14–15], показывающая «с высоты птичьего полета» пользователей и функциональность системы управления фондами оценочных средств в вузе. Она позволяет в самом общем виде определить сценарии проведения мероприятий по разработке фондов оценочных средств и по анализу учебного процесса и по непосредственному исполнению полученных в результате анализа выводов.
Рисунок 2. Диаграмма прецедентов управления фондами оценочных средств
Перечислим задействованных акторов:
- преподаватель совместно с другими участниками осуществляет разработку и использование фондов оценочных средств в учебном процессе;
- разработчик – это, как правило, тоже преподаватель; здесь речь идет о роли в учебно-методической деятельности;
- эксперт (в качестве него может выступать и работодатель; это показано с помощью связи генерализации между акторами) осуществляет анализ и рецензирование разработанных оценочных средств;
- администратор системы выполняет необходимые технические функции по настройке, предоставлению прав доступа и подключению источников данных по мере необходимости, а также разрешение проблем с работоспособностью информационно-аналитической системы.
Каждый из прецедентов, связанный ассоциативной связью с актором, порождает некоторый бизнес-процесс.
Рассмотрим теперь отдельные процессы управления фондами оценочных средств в высшей школе, которые будем иллюстрировать с помощью диаграмм деятельности языка UML. Такие диаграммы являются частным случаем диаграмм состояний и показывают операции их варианты ветвления или параллельного исполнения и их исполнителей.
Процесс разработки фонда оценочных средств представлен на рисунке 3 в виде диаграммы деятельности.
Рисунок 3. Разработка ФОС
Процесс вплетен в процесс создания учебно-методического обеспечения образовательной программы. В соответствии с компетентностным подходом первоначально выбирается набор компетенций. Часть заложена в образовательный стандарт [13], часть (профессиональные) разрабатываются вузом самостоятельно.
На рисунке 4 в виде диаграммы пакетов языка UML показаны отдельные подсистемы информационно-аналитической системы фондов оценочных средств вуза.
Рисунок 4. Информационно-аналитическая система для управления фондом оценочных средств
Пунктирные стрелки показывают отношения зависимости между подсистемами.
В качестве основы служит подсистема извлечения и обработки информации из разных источников (Extract Transform and Load, ETL). Эта часть отвечает за получение данных из системы Ведомости и других систем вуза в хранилище данных. Подсистема хранения предназначена для хранения данных об учебном процессе в форме, предназначенной для дальнейшего анализа.
Все другие системы, включая компонент визуализации предназначены для непосредственного взаимодействия с пользователем-аналитиком и для подготовки принятия решений, в том числе с помощью средств графического представления информации на дашборде.
Для получения основной картины применения фондов оценочных средств вуза, ее анализа в различных разрезах, для визуализации результатов построим интерактивный отчет (дашборд) в среде Microsoft Power BI. Общая схема работы приведена на рисунке 5.
Рисунок 5. Построение информационной панели по работе с ФОС
Примеры формируемых дашбордов показаны на рисунке 6.
а) дашборд «Тепловая карта»
б) дашборд «Роза ветров»
Рисунок 6. Примеры формируемых дашбордов
Более подробно вопросы создания информационно-аналитической системы рассмотрены в работе [16].
Применение информационно-аналитической панели для анализа фонда оценочных средств позволяет повысить эффективность и обоснованность управленческих решений. Адаптация и совершенствование оценочных средств на основе полученных аналитических данных способствуют улучшению образовательных результатов и удовлетворенности всех участников процесса.
Заключение
В результате выполнения настоящей работы получены следующие результаты:
- проведен анализ существующих подходов к вопросам формирования и применения фондов оценочных средств в высшей школе в рамках компетентностного подхода;
- построена классификация компонентов фондов оценочных средств в зависимости от средства проверки, назначения использования, уровня, средств автоматизации применения и т.д.;
- проведен содержательный анализ процессов управления фондами оценочных средств, сформулированы требования к фондам оценочных средств в высшей школе;
- выполнено построение визуальной модели процессов управления фондами оценочных средств; для моделирования использован язык UML; использован набор диаграмм: прецедентов, деятельности, состояний, пакетов, классов, развертывания, каждая из которых представляет некоторый взгляд на процессы управления фондами оценочных средств. Построенная визуальная модель позволила: идентифицировать основные процессы, акторов, сущности; описать функционал создаваемой системы; определить архитектуру предлагаемого решения для управления фондами оценочных средств в высшей школе;
- построена информационно-аналитическая система на основе Power BI, осуществляющая загрузку и преобразование исходных данных из информационных систем вуза, их представление в виде модели данных, их визуализацию в виде набора дашбордов для отражения данных о состоянии фонда оценочных средств и об их использовании обучающимися.
Источники:
2. Гитман Е.К., Гитман М.Б., Столбов В.Ю., Столбова И.Д. Разработка и использование ФОС в компетентностном формате для проведения промежуточной аттестации по учебной дисциплине // Высшее образование в России. – 2016. – № 8-9. – c. 74-83.
3. Данилова Т.В., Никитина А.А., Щербакова К.Н., Щербаков С.М. Разработка и внедрение программного комплекса формирования учебной документации // Интеллектуальные ресурсы - региональному развитию. – 2016. – № 2. – c. 37-41.
4. Звонников В.И., Челышкова М.Б. Оценка качества подготовки обучающихся в рамках требований ФГОС ВПО: создание фондов оценочных средств для аттестации студентов вузов при реализации компетентностно-ориентированных ООП ВПО нового поколения: установочные организационно-методические материалы тематического семинарского цикла. – М.: Исследовательский центр проблем качества подготовки специалистов, 2010. – 30 с.
5. Иванова М.М., Желонкин В.В., Алешин Е.А. ОЦЕНИВАНИЕ ОБУЧАЮЩИХСЯ ВЫШЕЙ ШКОЛЫ В СООТВЕТСТВИИ С УРОВНЯМИ УСВОЕНИЯ УЧЕБНОЙ ИНФОРМАЦИИ // Проблемы современного педагогического образования. – 2023. – № 80-3. – c. 92-95.
6. Ильязова М.Д. Проектирование фонда оценочных средств: критерии и показатели сформированности результатов обучения // Антропоцентрические науки: инновационный взгляд на образование и развитие личности: Материалы IV Международной научно-практической конференции (Монтенегро, Черногория, 21-23 июля 2016 г.). – Монтенегро, Черногория: Издательско-полиграфический центр «Научная книга», 2016. – С. 11-14.
7. Кириллова С.С., Кирина И.Б. НОВЫЕ МЕТОДОЛОГИЧЕСКИЕ ПОДХОДЫ К РАЗРАБОТКЕ ФОНДОВ ОЦЕНОЧНЫХ СРЕДСТВ // Наука и Образование. – 2023. – № 1.
8. Компетентностный подход в образовательном процессе: Монография / А.Э. Федоров, С.Е. Метелев А.А. Соловьев, Е.В. Шлякова. – Омск: ООО Омскбланкиздат, 2012. – 210 с.
9. Копнова О.Л., Кольева Н.С. Информационно-аналитическая система в контуре корпоративной системы вуза // BI-технологии и корпоративные информационные системы в оптимизации бизнес-процессов цифровой экономики: Материалы IX Международной научно-практической очно-заочной конференции (Екатеринбург, 02 декабря 2021 г.) / Отв. за выпуск: А.Ю. Коковихин, Н.М. Сурнина, отв. редактор В.В. Городничев. – Екатеринбург: Уральский государственный экономический университет, 2022. – С. 48-51.
10. Моделирование и автоматизация учебно-методической деятельности в высшей школе: Монография / С.М. Щербаков, Н.А. Аручиди, Е.Г. Веретенникова [и др.]. – Ростов-на-Дону: Ростовский государственный экономический университет (РИНХ), 2020. – 166 с.
11. Петрова Я.О., Петров М.С., Лапшова Е.С. Анализ требований к разработке Фонда оценочных средств сформированности компетенций магистров // Мир педагогики и психологии. – 2023. – № 7 (84). – c. 94-98.
12. Попова В.Б., Лосева А.С., Акиндинов В.В. Фонд оценочных средств как элемент образовательной программы высшего образования и средство контроля формирования компетенций // Состояние, проблемы и перспективы развития современного образования: Монография. – Петрозаводск: Международный центр научного партнерства «Новая Наука», 2023. – С. 59-74.
13. Портал Федеральных государственных образовательных стандартов высшего образования [Электронный ресурс]. – Режим доступа: fgosvo.ru. URL: https://fgosvo.ru.
14. Рамбо Дж., Блаха М. UML 2.0. Объектно-ориентированное моделирование и разработка. – СПб.: Питер, 2007. – 544 с.
15. Рамбо Дж., Якобсон А., Буч Г. UML: специальный справочник. – СПб.: Питер, 2002. – 656 с.
16. Цоков З.В., Аручиди Н.А., Калугян К.Х. Информационно-аналитическая система мониторинга фонда оценочных средств // Научный вектор: Сборник научных трудов / Под науч. ред. Е.Н. Макаренко. – Ростов-на-Дону: ИПК РГЭУ (РИНХ), 2026. – Вып. 12.
17. Шевченко М.С., Самойленко Н.Б., Моря Л.А. ФОНД ОЦЕНОЧНЫХ СРЕДСТВ В УСЛОВИЯХ РЕАЛИЗАЦИИ ФГОС ВО 3++: ОПЫТ РАЗРАБОТКИ // Проблемы современного педагогического образования. – 2023. – № 79-2. – c. 396-399.
18. Щербаков С.М., Калугян К.Х. Системный анализ процессов учебно-методического обеспечения в вузе // Системный анализ в экономике – 2020: Сборник трудов VI Международной научно-практической конференции-биеннале (Москва, 09-11 декабря 2020 г.) / Под общей редакцией Г.Б. Клейнера, С.Е. Щепетовой. – Москва: ООО Издательский дом «Наука», 2021. – С. 478-481. – DOI 10.33278/SAE-2020.book1.478-481.
19. Щербаков С.М., Калугян К.Х., Мирошниченко И.И. Метамодели учебно-методической деятельности в вузе // Открытое образование. – 2021. – № 1. – c. 48-59. – doi: 10.21686/1818-4243-2021-1-48-59.
20. Applied research of data management in the education system for decision-making on the example of Al-Farabi Kazakh National University / G. Mutanov, Z. Mamykova, O. Kopnova, M. Bolatkhan // E3S Web of Conferences : 1st International Conference on Business Technology for a Sustainable Environmental System, BTSES 2020, Almaty, 19–20 марта 2020 года. Vol. 159. – Almaty: EDP Sciences, 2020. – P. 09003. – DOI 10.1051/e3sconf/202015909003.
21. Pan Z., Biegley L., Taylor A., Zheng H. A Systematic Review of Learning Analytics: Incorporated Instructional Interventions on Learning Management Systems // Journal of Learning Analytics. – 2024. – № 2. – p. 52-72. – doi: 10.18608/jla.2023.8093.
Страница обновлена: 27.10.2026 в 22:51:32
Download PDF | Downloads: 3
Modeling and automation of the management of the assessment fund in higher education
Tsokov Z.V., Aruchidi N.A., Kalugyan K.K., Shcherbakov S.M.Journal paper
Informatization in the Digital Economy
Volume 7, Number 3 (July-september 2026)
Abstract:
The paper considers the problem of automated management of the university's assessment fund in modern conditions. The relevance of the task of automating the formation, examination, trial application, analysis and monitoring of assessment funds is shown to ensure adequate coverage of acquired competencies and ensure the quality of assessment tools and meet the requirements of adequacy, technical applicability, compliance with the level of education, etc. An expanded classification of valuation funds has been developed, including such features as the level of Bloom's taxonomy, the level of education, the method of implementation, the possibility of automated verification, etc. The requirements for the assessment fund and its management tools have been formed. A conceptual model made using the UML language and a prototype of an information and analytical system for managing the assessment fund at the university are proposed.
Keywords: university, fund of assessment tools, management, modeling, automation, information and analytical system
JEL-classification: I23, C63, O33, M15, D83
References:
Applied research of data management in the education system for decision-making on the example of Al-Farabi Kazakh National University / G. Mutanov, Z. Mamykova, O. Kopnova, M. Bolatkhan // E3S Web of Conferences : 1st International Conference on Business Technology for a Sustainable Environmental System, BTSES 2020, Almaty, 19–20 marta 2020 goda. Vol. 159. – Almaty: EDP Sciences, 2020. – P. 09003. – DOI 10.1051/e3sconf/202015909003.
Danilova T.V., Nikitina A.A., Scherbakova K.N., Scherbakov S.M. (2016). Software for Computer-Assisted Building of Educational Methodical Documentation. Intellektualnye resursy - regionalnomu razvitiyu. (2). 37-41.
Gitman E.K., Gitman M.B., Stolbov V.Yu., Stolbova I.D. (2016). The development and use of competence-based approach to fund of assessment tools within the framework of the intermediate evaluation of an academic subject. Higher education in Russia. (8-9). 74-83.
Ivanova M.M., Zhelonkin V.V., Aleshin E.A. (2023). ASSESSMENT OF THE STUDENTS OF THE SCHOOL IN ACCORDANCE WITH THE LEVELS OF LEARNING INFORMATION. Problems of modern teacher education. (80-3). 92-95.
Kirillova S.S., Kirina I.B. (2023). NEW METHODOLOGICAL APPROACHES TO THE DEVELOPMENT OF EVALUATION FUNDS. Science and education. 6 (1).
Pan Z., Biegley L., Taylor A., Zheng H. (2024). A Systematic Review of Learning Analytics: Incorporated Instructional Interventions on Learning Management Systems Journal of Learning Analytics. 11 (2). 52-72. doi: 10.18608/jla.2023.8093.
Petrova Ya.O., Petrov M.S., Lapshova E.S. (2023). Analysis of evaluation means fund design requirements for masters' competencies development. The world of pedagogy and psychology. (7 (84)). 94-98.
Scherbakov S.M., Kalugyan K.Kh., Miroshnichenko I.I. (2021). Metamodels of Educational and Methodological Activity in the University. Open Education. 25 (1). 48-59. doi: 10.21686/1818-4243-2021-1-48-59.
Shevchenko M.S., Samoylenko N.B., Morya L.A. (2023). THE FUND OF EVALUATION FUNDS IN THE CONDITIONS OF THE IMPLEMENTATION OF THE FEDERAL STATE EDUCATIONAL STANDARD OF HIGHER EDUCATION 3++: DEVELOPMENT EXPERIENCE. Problems of modern teacher education. (79-2). 396-399.