Анализ использования студентами Владимирского филиала РАНХиГС технологий LLM

Введение

В современном мире появление новых технологий и активное применение инноваций ускоряет процесс перехода на новый этап научно-технического развития общества. Одним из таких аспектов является внедрение цифровых технологий и искусственного интеллекта в различные сферы экономики, в том числе образовательную деятельность. Применение цифровых технологий уже оказывает существенное влияние на построение учебного процесса, в том числе и в высшей школе [1, с.7-9]. Например, в условиях пандемии Covid-19 в 2020-2021 гг., применение цифровых технологий, позволило сформировать условия для осуществления учебного процесса в дистанционном формате.

Инструменты искусственного интеллекта а также Большие языковые модели являются инновационным инструментом при реализации различных процессов в хозяйственной деятельности. В условиях развития цифровизации и перехода общества на новый этап научно-технического развития, появление искусственного интеллекта и инструментария, работающего на его основе, способствовало ускорению решения множества повседневных и хозяйственных задач. Однако, при использовании инструментов искусственного интеллекта в ходе решения хозяйственных задач, возникают противоречия и проблемы, требующие регулирования в возможностях применения таких инструментов. Одним из таких проблемных моментов, является активизация бесконтрольного применения искусственного интеллекта в образовательной деятельности, в виде злоупотребления инструментами искусственного интеллекта со стороны студентов ВУЗов. К сожалению, на данный момент, вопрос является дискуссионным и остается предметом для поиска решений, что и обуславливает актуальность проведенного исследования. Целью представленной работы, является разработка методических рекомендаций и подхода к оценке студенческих работ, по установлению личного вклада студента. Методологией исследования, является анализ теоретической базы исследования, проведен теоретический обзор литературы отечественных и зарубежных ученых, в области применения инструментов искусственного интеллекта и больших языковых моделей при осуществлении образовательной деятельности, среди которых: С. Рассел, П. Норвиг [14], П.М. Морхат [12], Я. Гудфеллоу [4], А.И. Зимняя [6], А. Васвани [22] и др.. В качестве методического инструментария использованы общенаучные методы: анализ, синтез, дедукция, систематизация и др. А также специальные методы: социальный опрос, моделирование, экспертная оценка и др а Провести детализированный анализ использования студентами в учебной деятельности больших языковых моделей, основанных на применении системы искусственного интеллекта, для выявления положительных и деструктивных эффектов, оказывающих влияние на формирование компетенций и навыков в ходе реализации образовательной программы.

В тоже время необходимо отметить, что применение цифровых технологий в образовательном процессе, является дискуссионный вопросом [11, с. 435]. С одной стороны, будущий специалист должен обладать высокими навыками обращения с персональным компьютером и необходимыми компетенциями при работе со специальным программным обеспечением. При этом большую часть рутинных задач может выполнять электронно-вычислительная машина, что является положительным фактором при применении цифровых технологий в образовательном процессе для школьников и студентов. С другой стороны, существуют негативные аспекты использования в образовательном процессе цифрового инструментария, а именно:

1. Низкий уровень вовлеченности студентов при выполнении самостоятельной работы. Так как большинство задач могут выполнить специальные программы, то погружение в процесс получения и аккумулирование информации становится поверхностным, таким образом, снижая работоспособность обучающегося.

2. Злоупотребление применением цифровых инструментов при выполнении задач, поставленных в рамках реализации учебного процесса. На основе применения инструментов искусственного интеллекта обучающийся повседневно применяет их при решении различных задач: написание контрольной работы, презентационного материала, отчета по прохождению практики, а также при написании выпускной квалификационной работы. Соответственно, таким образом снижается уровень собственной заинтересованности в получении новых знаний и навыков.

3. Дополнительная нагрузка на преподавателей при организации учебного процесса: в результате злоупотребления инструментами искусственного интеллекта и больших языковых моделей обучающимися, увеличиваются временные затраты для преподавателя на проверку работ и составление новых заданий, ответы на которые нельзя получить с помощью инструментов искусственного интеллекта.

Исходя из вышесказанного, следует более детально изучить ситуацию в условиях реализации учебного процесса и образовательной деятельности, для достижения понимания о положительном и отрицательном влиянии цифровых инструментов, в особенности больших языковых моделей, в образовательной деятельности. Для этого следует более подробно рассмотреть теоретический аспект применения больших языковых моделей в образовательном процессе.

Основная часть

Рассматривая теоретико-понятийный аппарат в рамках исследования процесса использования искусственного интеллекта и сформированного на основе него инструментария, применяемого в образовательной деятельности, можно выделить следующие ключевые понятия и термины, применяемые в исследовании выбранной темы: искусственный интеллект, генеративные модели, цифровая компетентность студента, когнитивная поддержка. В таблице 1. Представлены основные интерпретации данных терминов:

Таблица 1 – Терминологический аппарат в сфере применения искусственного интеллекта и больших языковых моделей в образовательной деятельности

Термин «Большая языковая модель» подразумевается, как форма искусственного интеллекта, основанного на архитектурной сети нейронных взаимосвязей, способной обучаться на большом массиве данных (текстовой информации), обрабатывать, аккумулировать и генерировать информационные потоки данных в итоговый результат, при получении пользовательского запроса. Большая языковая модель работает на специальной сформированной архитектуре, разработанной индийским ученым А. Васвани в 2017 г. [22]. Архитектура представляет нейросетевые взаимодействия, в виде цикличного графа по принципу, представленному в графическом виде на рисунке 1.

Рисунок 1 – Механизм работы большой языковой модели (сформулировано авторами на основе анализа материалов из публикации А. Васвани [22])

На основе механизма, представленного на рисунке 1, были разработаны модели Chat GPT-2 и Chat GPT-3. Суть представленных моделей составляет поиск, аккумуляция, генерация информации по средствам постоянного обучения моделей по загружаемой в них информации и текстовых запросов, представленных пользователями. При этом качество сгенерированных ответов зависит от «Prompt», которые применяют пользователи при написании текстового сообщения (запроса). Каждый запрос остается в объеме памяти больших языковых моделей, таким образом обеспечивая их развитие и обучаемость [19].

Рассматривая теоретические источники, авторы приходят к выводу, что выше-обозначенная тема широко освящается учеными и практиками в информационном поле. Например, научные публикации зарубежных ученых: С. Бубека, Р. Эльдана, Э. Хорвица, Е. Камара, Дж. Ли и др., рассматривающие практический аспект использования больших языковых моделей при генерации поисковых запросов и оценки качественных характеристик таких запросов, позволили выделить ограничения и возможности при использовании языковых моделей на практике [20]. Исследования M. Паркера, C. Андерсена, Дж. Ву, С. Лина и др., расширяют предметную область применения больших языковых моделей на примере ведения образовательной деятельности [21].

Представленный теоретический анализ зарубежной литературы позволяет выявить, что актуальность использования больших языковых моделей постоянно масштабируется и модернизируется посредством непрерывного обучения из пользовательских запросов и загружаемого массива данных. При этом, модели используются как обычными пользователями при повседневном решении собственных задач, так и активно применяются профильными специалистами в области аддитивных технологий, медицине, промышленном производстве, а также в образовательной деятельности.

Углубляясь в специфику использования больших языковых моделей в образовательной сфере, Г.К. Чунгулова и Э.Н. Оразалиева [16, c. 86-89] выделили положительные стороны и недостатки использования больших языковых моделей в образовательной деятельности:

1. Адаптивность и выстраивание индивидуальной траектории обучения: на основе текстовых запросов, модель подстраивается под интересы обучающегося и постепенно повышает уровень сложности выполняемых задач, таким образом, формируя адаптивность к образовательному процессу;

2. Доступность к получению информации и знаниям: благодаря высокой обучаемости моделей, искусственный интеллект применяет алгоритмы, позволяющие найти информацию и доступно ее преподнести пользователю, что позволяет расширить кругозор знаний у обучающегося и предоставить ответ практически на любой вопрос;

3. Возможность выполнения рутинных задач при организации учебного процесса: используется для поиска информации, источников литературы по теме, помогает составить и структурировать информацию при выполнении заданий в виде: докладов, сообщений, исследовательских, курсовых работ и др. Таким образом, снижаются временные затраты на подготовку к занятиям у обучающихся.

Рассматривая отрицательные стороны, оказывающие негативное влияние на реализацию учебного процесса, нами выделены:

1. Снижение заинтересованности и зависимость от цифровых помощников: при постоянном использовании моделей искусственного интеллекта (далее – ИИ), возникает зависимость и снижается концентрация на учебном процессе у обучающегося;

2. Достоверность информации: большинство сгенерированных ИИ моделью сообщений, носит поверхностный анализ по теме пользовательского запроса, используя стандартные фразы и не углубляясь в тематику вопроса, таким образом предоставляя информацию кратко и/или искаженно. Для установления достоверности получаемой информации требуется постоянный контроль;

3. Злоупотребление инструментами ИИ и этичность запросов: в случае частого использования инструментов ИИ, обучающиеся начинают их применять для написания индивидуальных (творческих) заданий, что затрудняет оценивание со стороны преподавателей, так как возникает непонимание уровня участия самого обучающегося при написании эссе или отчета по практике.

На основе проведенного теоретического обзора, можно выделить, что применение больших языковых моделей подтверждают доказательство гипотезы о том, что без механизма ограничения и контроля над обучающимися использование инструментов искусственного только усложняют процесс ведения образовательной деятельности. Однако, только теоретического обзора недостаточно для доказательной базы по теме исследования, поэтому, авторами исследования был проведен анализ использования технологий LLM обучающимися (студентами) [1]. В опросе участвовали студенты Владимирского филиала РАНХиГС, факультетов: экономики; управления; а также юридического. Всего в опросе участвовало 550 студентов очной формы обучения с 1ого – 5ый курс, всех направлений подготовки бакалавриата и специалитета.

В качестве сбора аналитических данных был применен метод развернутого опроса студентов. В рамках проведения опроса студентов факультета экономики, были получены следующие результаты, отраженные на рисунке 2.

Рисунок 2 – Результаты опроса студентов экономического факультета по уровню влияния LLM моделей на образовательный процесс (составлено авторами на основе данных опроса)

По результатам опроса среди студентов экономического факультета было выявлено что большая часть студентов нейтрально относится к использованию в образовательном процессе больших языковых моделей. Использование данных моделей позволяет решить часть задач по поиску информации; при этом уровень доверия к качеству сгенерированной информации достаточно низкий, и требует тщательной перепроверки. Только 6% студентов считают, что можно полностью доверять искусственному интеллекту и использовать для решения большинства учебных заданий. Однако, несмотря на возможность использования инструментов, основанных на искусственном интеллекте, возникает вероятность недобросовестного использования студентами его функций. Для этого был проведен дополнительный опрос, с целью определения показателя академической честности и показателя роли ИИ инструментов преподавателя при ведении учебного процесса. Результаты опроса представлены на рисунках 3 и 4.

Рисунок 3 – Результаты опроса по параметру «Академическая честность» при использовании LLM моделей у студентов экономического факультета (составлено авторами на основе данных опроса)

Список литературы

Рисунок 4 – Результаты опроса студентов факультета экономики по параметру «Роль LLM модели в учебном процессе» (Составлено авторами на основе данных опроса)

Результаты проведенного опроса показывают, что большинство студентов экономического направления рассматривают искусственный интеллект и большие языковые модели как дополнительный инструментарий, который не заменяет преподавателя, а выступает в роли ассистента или автоматизированного помощника. При этом с точки зрения академической честности, большинство принимавших в опросе студентов представляют использование данных инструментов в ограниченном формате и акцентируют внимание на тот факт, что мнение искусственного интеллекта способствует увеличению понимания и может помочь в некоторых ситуациях, связанных с учебным процессом. Следовательно, студенты экономического факультета рассматривают возможность использования средств искусственного интеллекта и LLM моделей только при определенных задачах, связанных с поиском информации, источников учебной литературы и источников, а также для оформления презентаций и др., а также понимают значимость приобретения навыков, связанных с использованием ИИ и LLM моделей. Далее рассмотрим результаты проведенного опроса по факультету управления.

Рисунок 5 – Результаты опроса студентов факультета управления по использованию инструментов ИИ и LLM моделей (составлено авторами на основе данных опроса)

На основе данных из рисунка 5, можно констатировать что на факультете управления уровень доверия к полученной информации, сгенерированной инструментами ИИ, также достаточно низкий, что обуславливает использование данных инструментов только в качестве поиска информации, источников литературы и для оформления презентаций. При этом больший процент опрашиваемых студентов соглашается с утверждением, что навыки, полученные в ходе работы с инструментами ИИ, являются значимым дополнением к фактическим знаниям и навыкам, получаемым в ходе образовательного процесса, и считают, что они помогут им в будущей практической деятельности. Далее рассмотрим результаты опроса по параметрам: «академическая честность» и «роль LLM модели в образовательном процессе», которые представлены на рисунках 6 и 7.

Рисунок 6 – Результаты опроса по параметру «Академическая честность» при использовании LLM моделей у студентов факультета управления (составлено авторами на основе данных опроса)

Рисунок 7 – Результаты опроса студентов факультета управления по параметру «Роль LLM модели в учебном процессе» (составлено авторами на основе данных опроса)

Большая часть респондентов считает, что угроза списывания при использовании инструментов ИИ более выражена, и носит более системный характер. При анализе ответов по параметру «роль LLM моделей в учебном процессе», большая часть респондентов склоняются к тому, что ИИ инструменты являются вспомогательным средством, не заменяя преподавателя, а лишь дополняя его подход к обучению.

Далее рассмотрим результаты опроса студентов юридического факультета. Результаты опроса представлены на рисунке 8

Рисунок 8 – Результаты опроса студентов юридического факультета по использованию инструментов ИИ и LLM моделей (составлено авторами на основе данных опроса)

Анализ результатов из опроса студентов юридического факультета показывает, что респонденты склоняются к следующему мнению: знания полученные при работе с инструментами ИИ и LLM моделей являются полезными и значимыми для работы в повседневной жизни. При этом, также как и студенты факультетов управления и экономики, студенты юридического факультета не доверяют информации сгенерированной ИИ инструментами, но используют их чаще. Далее рассмотрим результаты опроса по параметрам «академическая значимость» и «роль LLM моделей в образовательном процессе» которые представлены на рисунках 9 и 10.

Рисунок 9 – Результаты опроса по параметру «Академическая честность» при использовании LLM моделей у студентов факультета права (составлено авторами на основе данных опроса)

Рисунок 10 – Результаты опроса студентов факультета права по параметру «Роль LLM модели в учебном процессе» (составлено авторами на основе данных опроса)

Результаты проведенного опроса показывают, что академическая честность среди всех опрошенных студентов является наименьшем по значимости фактором, определяющем степень доверия при использовании LLM моделей. При этом их мнение о их роли в образовательном процессе солидарно: LLM модель рассматривается лишь как вспомогательное средство, дополняющее учебный процесс и преподавателя.

Рассматривая данный факт, следует отметить, что студенты факультета экономики факультета управления и юридического факультета солидарны в том, что ИИ, включая LLM модели используются в рамках учебного процесса только как дополнение к преподавателю, однако развитие навыков работы с ними необходимы для повышения цифровой грамотности и кумуляции навыков относящимися к hard-skills, необходимых для дальнейшего осуществления рабочих процессов. Проводя анализ, авторы исследования столкнулись с проблемными моментами, которые оказывают отрицательное влияние на реализацию образовательного процесса. К ним относятся:

1. Злоупотребление некоторыми студентами возможностями ИИ в случае генерации текстов научных, курсовых и самостоятельных работ;

2. Уменьшение мета-когнитивных способностей у студентов и снижение заинтересованности к образовательному процессу;

3. Увеличение времени на проверку курсовых, контрольных и дипломных работ с точки зрения оценки результативности и определения собственного вклада студента;

4. Снижение концентрации и критического мышления у студентов, злоупотребляющих ИИ и LLM моделями.

На основании вышеизложенных проблем, требуется сформировать подход к оценке использования ИИ инструментов студентами при написании самостоятельной и научной работы. Для этого была разработана градационная шкала, основанная на экспертном подходе и контент-анализе, по которой можно определить процент использования ИИ инструментов, по четырем критериям: объем заимствования в тексте работы; разрыв в стилистике написания работы; научная новизна и теоретическая значимость результатов; академическая грамотность и точность результатов. Данные критерии сформулированы при помощи экспертов в количестве 50 человек, которые являются представителями научного сообщества и обладают опытом проверки и анализа научных работ. Разработанная шкала отражает степень использования ИИ инструментов по следующим уровням:

Высокий – инструменты ИИ применяются по всей работе, низкий процент самостоятельного вклада студента, расхождение по смыслу и детализации полученных результатов, отсутствует системность в рассуждении и академической стилистике научного текста;

Средний – инструменты ИИ используются в научной работе, процент вклада автора в работу составляет меньше 40%, (то есть, 2/3 печатного текста была сгенерирована с помощью инструментов ИИ, и LLM моделей), отсутствует структурированность по научному тексту и наблюдаются смысловые ошибки, обоснованность научных результатов недостаточная для верификации научной новизны;

Низкий – Инструменты ИИ не используются работе, либо использованы в пределах допустимой нормы менее 10% (генерация текста с помощью ИИ инструментов отсутствует, либо используется в ограниченной форме (при генерации изображений и графиков в работе, а также текста: не более 3х абзацев), отсутствуют расхождения по смыслу и стилистических ошибок, отражается собственная эмоциональная и авторская стилистика в тексте работы, уровень новизны достаточный и отражает авторский вклад в работу.

Данная градационная шкала представлена в таблице 2.

Таблица – 2 Градационная шкала оценки применения инструментов ИИ и LLM моделей студенческих научных работ

(Источник: разработано Кудряковым Р.И., при участии экспертов)

В случае невозможности определения критериев, (скрытое заимствование либо различия в полученных результатах) можно применить следующую математическую формулу:

(1)

[ ] – индекс использования инструментов ИИ в научной работе;

[ ] – индикаторы использования ИИ в научной работе;

[ ] – количество показателей;

[ ] – вес показателя.

На основе представленной формулы можно рассчитать средний показатель применимости ИИ инструментов в научной работе, в случае обнаружения вариативности показателей по шкале. Однако, данную формулу целесообразно использовать, если отсутствует высокий уровень заимствования по всем критериям. В случае, если высокий критерий в одном значении присутствует, то рекомендовано направить работу на доработку из-за несоответствия требованиям, предъявляемым вузом к научной работе.

Заключение

Рассматривая данный подход к оценке применения инструментов ИИ и больших языковых моделей в образовательном процессе, следует также сформировать рекомендации необходимые для недопустимости злоупотреблений использования таких инструментов:

1. Сформировать ограничения случаев применения ИИ инструментов в научной работе: применение таких инструментов возможно, если в работе присутствует база данных с большим количеством значений, если в работе применятся разработка программного обеспечения с необходимостью создания программного кода, а также если предметом исследования является ИИ и инструментарий, разработанный на его основе;

2. Проводить обучение студентов цифровой грамотности в процессе которого, сформировать рекомендации и правила, позволяющие использовать ИИ инструменты без нарушения академической честности;

3. Обеспечить запрет применения сгенерированного текста в выпускных квалификационных работах и научных статьях, за исключением, если тема исследования не связана с ИИ и возможностями его применения в реальном экономическом секторе (обязательное указание в сносках об использовании моделей LLM моделей и инструментов ИИ, с расшифровкой запроса, введенного пользователем (студентом)).

Представленные рекомендации позволят достичь оптимального использования инструментов ИИ без нарушения академической честности и ограничит студентов в бесконтрольном использовании таких инструментов при написании учебных и научных трудов и решат проблемные моменты связанные с активным применением сгенерированного текста в студенческих работах. Это позволит создать благоприятные условия, для интеграции в образовательный процесс инструментов ИИ и позволит научить студентов рациональному применению данного инструментария на практике. При этом, установка ограничений и правил, позволит достичь академической честности и снизить вероятность к злоупотреблению ИИ инструментами в учебном процессе, а также усилит заинтересованность студентов в получении новых навыков и знаний, необходимых для будущей профессиональной деятельности.

[1] Исследование проводилось в декабре 2025 – феврале 2026 года методом добровольного анонимного анкетирования студентов очной формы обучения трех факультетов-управления, экономики и юридического Владимирского филиала РАНХиГС через пропорциональную стратифицированную выборку респондентов.