Агенты искусственного интеллекта и риски их применения

Лукичев П.М.1
1 Балтийский государственный технический университет \"ВОЕНМЕХ\" им. Д.Ф. Устинова

Статья в журнале

Вопросы инновационной экономики (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Том 15, Номер 4 (Октябрь-декабрь 2025)

Цитировать эту статью:

Аннотация:
Статья посвящена качественно новой ступени развития искусственного интеллекта – Агентам искусственного интеллекта. Автор проводит сравнительный анализ терминов «Агенты искусственного интеллекта», систем с относительно высокой агентностью и систем с относительно низкой агентностью, подробно характеризует различные классификации уровней Агентов искусственного интеллекта. Выявлены две черты присущие Агентам искусственного интеллекта: системность и автономный характер. Автор детально раскрывает новые возможности для экономики, которые даёт применение Агентов искусственного интеллекта. Выявлены общие черты Агентов искусственного интеллекта, объединяющие их с моделью экономической теории «Принципал – Агент», и их специфические черты. В статье раскрыты основные виды рисков, которые возникают при использовании Агентов искусственного интеллекта, и меры их предупреждения. Самый большой риск представляет возможность Агентов искусственного интеллекта исключить людей из делового цикла. Особое место в статье уделено проблемам управления Агентами искусственного интеллекта в экономике и возрастанию роли менеджеров в этом процессе. Автор делает вывод, что Агенты искусственного интеллекта являются наиболее перспективным направлением прогресса искусственного интеллекта и окажут решающее воздействие на развитие экономики будущего

Ключевые слова: искусственный интеллект, Агенты искусственного интеллекта, агентные отношения, концепция Принципал – Агент, риски краткосрочного периода, долгосрочные риски, управление Агентами искусственного интеллекта

JEL-классификация: O31, O32, О33



Введение

Модели искусственного интеллекта выступают сегодня как инструмент, дополняющий те или иные рабочие навыки человека. Люди-работники должны выполнять координирующую и объединяющую роль во взаимодействии Человек – Машина. Большие языковые модели лучше решают те бизнес-задачи, в которых есть чёткие, не изменяемые правила игры и конечный набор вариантов решений. Аналогия – игра в шахматы. Агенты искусственного интеллекта представляют следующую ступень развития во взаимоотношениях «Человек – Машина». Если роботы, начинённые алгоритмами ИИ, действуют в реальном мире, например в автомобилестроении, выполняя строго определённые операции, то Агент искусственного интеллекта (Агент ИИ), получив цель от человека, взаимодействует с виртуальным миром. Это позволяет качественно улучшить потенциал использования искусственного интеллекта, и одновременно порождает риски нового порядка. Применений Агентов искусственного интеллекта можно также проанализировать, используя концепцию Принципал – Агент из экономической теории. Цель статьи: выявить экономические последствия и риски применения агентов искусственного интеллекта в краткосрочном периоде и в долгосрочном периоде.

Агенты искусственного интеллекта и агентные отношения

Почему люди и компании передоверяют часть своих действий другим? Экономика объясняет это выгодами от общественного разделения труда и невозможностью для отдельного работника (фирмы) качественно выполнять все виды деятельности. Поэтому каждый из нас является принципалом, доверяющим агенту выполнение работы, например ремонт нашей машины. Как отмечал Р. Х. Ситкофф (R.H. Sitkoff), делегируя задачу агенту, принципал получает выгоду от специализированного обслуживания и освобождается для выполнения какой-либо другой деятельности. Но эти выгоды достигаются ценой того, что он становится уязвимым для злоупотреблений, если агенту предоставлены дискреционные полномочия, осуществление которых нелегко наблюдать или проверить [30]

В начале определимся с терминологией. Что представляют собой конкретно Агенты искусственного интеллекта, агентные отношения и чем они отличаются от Больших языковых моделей (БЯМ)? Агенты искусственного интеллекта появились в начале 2023 года, когда компания OpenAI открыла способ, с помощью которого чат-бот может делать нечто большее, чем просто генерировать текст, отвечая на запросы.

В Таблице 1 приведены основные определения Агентов ИИ.

Таблица 1. Определения Агентов искусственного интеллекта (составлена автором)

№ п/п
Определения
Автор (ы)
1.
Cистемы ИИ, которые обладают технической возможностью автономно планировать и выполнять сложные задачи с ограниченным участием человека
Кольт Н., 2025 [20]
2.
Cистемы, способные автономно планировать, действовать и достигать целей практически во всех задачах, доступных человеку
Бенджио Й. и др., 2025 [7]
3.
Программная сущность, которая автономно выполняет задачи или принимает решения на основе заранее определенных целей и входных данных.
Дэн Цз. и др., 2025 [12]
4.
Автоматизированная сущность, которая воспринимает окружающую среду и предпринимает действия для достижения своих целей.
Агент ИИ — это агент, который максимально увеличивает свои шансы на успешное достижение своих целей, используя методы ИИ.
ISO/IEC DIS 22989(en) [19]

Анализ приведенных определений позволяет выделить два общих момента: системность и автономный характер. Это принципиально отличает их от больших языковых моделей, поднимая развитие искусственного интеллекта на более высокую ступень. Как отмечал М. Захариа и др. (Zaharia M. et al.), агенты искусственного интеллекта вероятно, станут лучшим способом максимизировать результаты ИИ в будущем [35]. Ещё одно различие было выделено С. Капуром и др. (Kapoor S. et al.). Оценка агента отличается от оценки языковой модели фундаментальными способами. Агенты могут использоваться для задач, которые сложнее, реалистичнее, имеют большую реальную полезность и обычно не имеют единственного правильного ответа. [18]. «Продвинутость» Агентов ИИ по сравнению с большими языковыми моделями отмечает и Мелисса Хейккиля (Melissa Heikkilä). В то время как языковые модели являются «вторыми пилотами», которые могут производить полезный контент по запросу, агенты ИИ являются «автопилотами», которые могут самостоятельно предпринимать действия для достижения сложных целей от имени пользователей [15].

Агентный подход стал широко применяться и в других сферах. Например, использование педагогического Агента ИИ в сфере образования [21] и применение ограничено рациональных Агентов в экономике сложности [13].

Не случайно термин «агентность» служит признаком, характеризующим новый уровень развития систем искусственного интеллекта. «Мы сознательно используем термин «агентность», чтобы противостоять довольно распространённому мнению о том, что разработчики алгоритмической системы имеют полный контроль над её поведением». [9] Модели ИИ больше не ограничиваются созданием контента, но могут самостоятельно осуществлять действия для выполнения растущего спектра личных и профессиональных задач с ограниченным участием человека. [27]

В практике применения различают системы с относительно высокой агентностью и с относительно низкой агентностью, что более подробно показано в Таблице 2.

Таблица 2, Системы с относительно высокой агентностью и с относительно низкой агентностью (составлена автором)


Высокая степень агентности
Низкая степень агентности
Определения
Системы с большей автономией, доступом к внешним инструментам или сервисам и повышенной способностью надежно адаптироваться, планировать и действовать открыто в течение длительных временных горизонтов для достижения целей (Chan A. et al., 2023 [9]
Системы, которые только помогают человеку принимать решения или производят результаты без действия в мире. (Chan A. et al., 2024 [10]
Примеры
Системы обучения с подкреплением, которые активно взаимодействуют с реальным миром или более способные версии языковых моделей с доступом к инструментам или услугам, которые могут, например, планировать и бронировать отпуск или отправлять электронное письмо от имени пользователя (Chan A. et al., 2024 [10]
Классификаторы изображений или модели преобразования текста в изображение [32]

Сейчас, - в середине 2025 г., - появляется всё больше Агентов искусственного интеллекта, которые всё интенсивнее автономно взаимодействуют между собой и образуют уже не единичные, а многоагентные системы. Последние создают новые возможности для масштабируемой автоматизации и предоставляют обществу более широкие преимущества В многоагентных системах (MAS) на основе больших языковых моделей (multi-agent systems (MAS) агенты взаимодействуют, конкурируют или создают иерархическую платформу для выполнения задач. Эти задачи могут включать поиск и оптимизацию, принятие решений и распределение ресурсов, а также совместное управление [17]. Отметим, что это чисто экономические действия: распределение ресурсов, совместное управление, оптимизация и др.

Вместе с явными выгодами работа «многими руками» создаёт и проблемы. Поэтому автор согласен, что обсуждение алгоритмической ответственности должно рассматривать цепочки поставок, включающие множество субъектов, связанных между собой потоками данных и сложные последствия, которые они влекут за собой для управления и подотчетности алгоритмических систем [11].

Несмотря на очень короткий период существования Агентов искусственного интеллекта выделилось несколько различных уровней, на основе которых возникли их первые классификации. Выделим наиболее полную из них.

Иерархическая классификация уровней Агентов искусственного интеллекта была создана И. Хуаном (Huang Y.) [17]. Она показана в Таблице 3. В ней уровни агентов ИИ классифицируются по полезности и силе. Отметим, что уровни Агентов искусственного интеллекта строятся по принципу «матрёшки», особенно с уровня L3, то есть для каждого уровня дополнительные модули к предыдущему уровню могут обеспечить более широкие возможности ИИ и более высокую полезность агентов.

Таблица 3. Уровни агентов искусственного интеллекта [17].

Уровни Агентов ИИ
Методы и возможности
L0:
Нет ИИ + Инструменты (Восприятие + Действия)
L1:
ИИ на основе правил + Инструменты (Восприятие + Действия)
L2:
IL/ИИ на основе правил + Инструменты (Восприятие + Действия) + Рассуждение и принятие решений
L3:
Искусственный интеллект на основе LLM (Большой языковой модели) + Инструменты (Восприятие + Действия) + Рассуждение и принятие решений + Память и рефлексия
L4:
Искусственный интеллект на основе LLM (Большой языковой модели) + Инструменты (Восприятие + Действия) + Рассуждение и принятие решений + Память и рефлексия + Автономное обучение + обобщение
L5:
Искусственный интеллект на основе LLM (Большой языковой модели) + Инструменты (Восприятие + Действия) + Рассуждение и принятие решений + Память и рефлексия Автономное обучение + Обобщение + Личность (Эмоции + Характер) + Совместное поведение (Мульти-агенты)

Отметим, что ранние Агенты искусственного интеллекта были далеки от соответствия человеческому интеллекту так как были компетентны только в узких областях, основывались на текстовой информации, им не хватало адаптивности и обобщения. Следовательно, следующим эволюционным шагом для интеллектуальных агентов, работающих на основе БЯМ, является приобретение возможности обрабатывать и генерировать мультимодальную информацию, в частности визуальные данные. Эта способность необходима для того, чтобы Агенты ИИ развивались в более надёжные сущности искусственного интеллекта, отражающие интеллект человеческого уровня. Агенты, оснащенные этой способностью, называются Большими мультимодальными агентами (БМА) (large multimodal agents (LMAs). Название унаследовано от больших мультимодальных моделей (БММ) (LMM). [36]

Новые возможности, которые даёт экономике применение Агентов искусственного интеллекта

Применение Агентов искусственного интеллекта в широких масштабах позволит раздвинуть границы возможностей существующего бизнеса. Если в начале их рассматривали как способ решения простых задач, таких как заказ билетов на самолёт, и рутинных операций, как например ввод данных или отслеживание статусов заказов, то сейчас их возможности значительно повысились. «Агенты ИИ всё чаще могут быть побуждены преследовать длительные открытые цели (например, проводить маркетинговые исследования), разрабатывать план для достижения этих целей и, получая доступ к внешним инструментам (включая поисковые системы, электронные таблицы, чат-ботов и генераторы изображений), предпринимать действия для самостоятельного достижения этих целей — все это подлежит лишь ограниченному человеческому надзору и вмешательству» [15].

Одной из проблем, ограничивающих возможности экономического роста в XXI веке, является снижение рождаемости в России и в других развитых странах и, как следствие сокращение трудоспособного населения [3]. При открытии предпринимателем стартапа сложности с поиском персонала часто блокируют развитие нового дела. Сейчас появляется возможность для начинающих предпринимателей, выявивших реальные проблемы для их прибыльного решения, снять это ограничение, как это произошло, например с предпринимательницей Х. Она присоединилась к инкубатору Audos, работающему на базе искусственного интеллекта, который посчитал её идею перспективной. Боты помогли ей заявить о себе в интернете и Instagram. Если её идея окажется успешной, инкубатор не только предоставит капитал; его агенты на базе искусственного интеллекта будут помогать мисс Х с разработкой продукта, продажами, маркетингом и работой бэк-офиса — всё это в обмен на роялти. Ей не нужен персонал. По сути, ИИ помог ей стать соучредителем компании [33].

Прогресс технологий предоставляют Агентам искусственного интеллекта всё новые возможности применения в экономике. «Изменение обусловлено широким внедрением сложных моделей, способных взаимодействовать посредством различных модальностей (включая текст, изображения и аудио), и конкурентными преимуществами, предоставляемыми автономными адаптивными агентами». [14]

Ещё одно направление, в котором Агенты искусственного интеллекта будут активно применяться, это создание клонов ИИ. Для тех, кто зарабатывает на своей экспертизе (своих знаниях), клоны ИИ открывают путь к масштабированию бизнеса. В частности, для популярных авторов, как это сделал Дипак Чопра, и блогеров создание такого «цифрового двойника» позволит облегчить общение с поклонниками. Использование клонов ИИ будет целесообразно и в сфере образования, где оно поможет использовать лучшие педагогические практики. Цифровое неравенство по мере распространения клонов ИИ будет усиливаться. Со временем, возможно, именно самые богатые из нас получат привилегию общаться с экспертами-людьми, в то время как остальные будут общаться с клонами ИИ [25]. Сейчас мы находимся на начальной стадии применения Агентов искусственного интеллекта в экономике. Перечисленные ранее и новые формы применения, которые появятся по мере прогресса технологий, окажут значительное влияние на будущее экономики.

Принципал – Агент: использование концепции для анализа Агентов искусственного интеллекта

Исследования в различных научных дисциплинах подчас развиваются как параллельные миры. В информатике несколько десятилетий используется термин «агент». В экономике более пяти десятилетий действует концепция «Принципал – Агент» [28], [31], [23]. Она оперирует взаимодействием понятий Агент, Принципал, Мониторинг, Издержки мониторинга. Агентом обычно выступает работник, который берёт на себя определённые обязательства перед принципалом и выполняет трудовые обязанности, часть из которых не наблюдаема последним. Издержки мониторинга характеризуют затраты, которые несёт принципал, наблюдая за работой агентов. Наиболее характерным примером является АО, в котором собственники-акционеры (принципалы) не могут определить, насколько действия менеджеров, нанимаемых ими для управления фирмой (агентов), являются наилучшими для интересов принципалов. Здесь существует асимметрия информации между менеджером (агентом) и владельцем (акционером). Агенты, действуя в своих интересах, усиленно пользуются этим, что приводит к «моральному риску» и «экономической недобросовестности». Последняя представляет собой попытку одной из сторон извлечь односторонние преимущества за счёт другой путём использования асимметрии информации, сокрытия реальных целей при заключении договора и т. п. На практике для большинства собственников (принципалов) это означает сужение выбора действий до ситуации, когда мониторинг или невозможен или возможен, но дорогостоящ [6]. Поэтому принципалы сосредотачиваются на различных формах вознаграждений агентов, чтобы те действовали в их интересах.

Было бы целесообразно и продуктивно объединить два этих подхода для анализа применения Агентов искусственного интеллекта добавив к ним доктрину общего права об агентских отношениях. Автор отмечал в 2022 г. что «ведущей особенностью использования ИИ является то, что интеллектуальные агенты самостоятельно реагируют на те сигналы реального мира, которые программисты проконтролировать напрямую не в состоянии». [2] Развивая это положение можно отметить, что сейчас в сфере агентных отношений возникает классическая экономическая модель «Принципал – Агент», в которой Агенты искусственного интеллекта играют роль Агента (АИИ), а работник (менеджер) выполняет роль Принципала.

В экономике концепция «Принципал – Агент» работала по схеме «Пр. → А».

В современных условиях появления Агентов ИИ (АИИ) новая модель будет выглядеть как: «Пр. ↔ АИИ». Отметим только, что здесь работник уже играет роль Принципала от лица компании.

Модель действия Агентов искусственного интеллекта имеет как общие черты, объединяющие её с моделью экономической теории, так и свои специфические черты.

Общие черты

ü И Агенты в экономике (А), и Агенты искусственного интеллекта (АИИ) совершают действия в интересах Принципала (П), которые П не может наблюдать.

ü Мониторинг за действиями А и АИИ не позволяет П точно оценить, насколько их работа является оптимальной с точки зрения принципала.

ü И Агенты в экономике (А), и Агенты искусственного интеллекта (АИИ) обладают автономностью своих действий

ü И Агенты в экономике (А), и Агенты искусственного интеллекта (АИИ) используют асимметрию информации в своих интересах.

ü Принципалы уязвимы перед оппортунизмом своих агентов [6] [Armour J., Hansmann 2017]

Особенности

v Если в экономической концепции Агентами выступают люди-работники, то Агенты искусственного интеллекта – это системы ИИ

v Агенты ИИ действуют (работают) с огромной скоростью и масштабом по сравнению с агентами-работниками

v У агентов-работников есть материальная заинтересованность, воздействуя на которую правилами вознаграждения, принципал пытается решить проблемы асимметрии информации. У Агентов ИИ наблюдается заинтересованность только для сохранения своего существования.

v Применение Агентов искусственного интеллекта разрушает свободу выбора потребителями и тем самым нарушает рыночные механизмы принятия решений за счёт усиления роли данных, увеличения экономии за счёт масштаба.

Примером «экономической недобросовестности» Агентов ИИ служит предоставление их услуг «третьим» лицам или фирмам. Ещё применительно к появившемуся искусственному интеллекту отмечалась противоречивость предоставления Artificial Intelligence-as-a-Service (AIaaS) (Искусственного интеллека как услуга (ИИкакУ) поскольку информация о том, как, где и для кого были созданы услуги ИИ, является ценной тайной, которую поставщики стратегически раскрывают клиентам в зависимости от коммерческих интересов [24]. Это позволяет поставщикам ИИкакУ манипулировать видимостью человеческого труда в производстве ИИ на основе того, полагается ли поставщик на оплачиваемый или неоплачиваемый труд для заполнения промежуточных пробелов. Непрозрачность уровня использования человеческих усилий для предоставления Агентами ИИ услуг третьим лицам возрастает многократно.

Остановимся подробнее на проблеме мониторинга. Традиционные механизмы мониторинга поведения агента могут оказаться неэффективными, если агенты ИИ действуют с беспрецедентной скоростью и масштабом или предпринимают крайне неинтуитивные и неожиданные действия [20]. Хотя Агенты искусственного интернета появились менее трёх лет компьютерщики уже давно борются с потенциальными последствиями этой технологии. В 1960 году в журнале Science профессор Норберт Винер сделал следующее наблюдение: Если мы используем для достижения наших целей механическое агентство, в работу которого мы не можем эффективно вмешаться после того, как мы его начали, потому что действие настолько быстрое и необратимое, что у нас нет данных для вмешательства до того, как действие будет завершено, то нам лучше быть совершенно уверенными, что цель, заложенная в машину, — это та цель, которую мы действительно хотим, а не просто красочная её имитация [34] Это широко известная проблема получила название «проблема согласования». Для экономистов «проблема согласования» является формой концепции «Принципал – Агент», которая возникает из-за расхождения между целями Принципала и фактическими действиями агента. Проблема согласования, как предполагают специалисты по информатике, вероятно, станет более острой, поскольку агенты ИИ будут задействованы во все более важных ситуациях с ограниченным контролем со стороны человека и научатся более эффективно достигать измеримых (но неполных) целей, поставленных перед ними [26]. Для роста применения Агентов искусственного интеллекта следует учесть, что как показывают экономическая теория и право агентских отношений, чем больше возможностей делегировать работу агенту, тем выше связанные с этим риски [20].

Поскольку смысл создания Агентов искусственного интеллекта состоит в оптимизации ими поставленной цели, то любая неточность или двусмысленность в постановке цели может привести к нежелательным последствиям. Это особенно важно, когда Агенты ИИ сталкиваются с новыми сценариями, которые не рассматривались раннее. Например, продвинутый Агент искусственного интеллекта получает прибыль посредством управления онлайн-бизнесом, выполняя чёткую и измеримую цель, но достигает этого за счёт сомнительных с этической стороны практик, которые сложнее проконтролировать. Для его компании это приведёт к ухудшению репутации, а в худшем случае – к закрытию бизнеса.

В концепции «Принципал – Агент», принципалы пытаются минимизировать издержки мониторинга, достаточно вспомнить браслеты, которые в Amazon с 2018 г. надевают на своих сотрудников, но основное внимание уделяют созданию форм материального поощрения, побуждающего агентов-работников больше действовать в интересах принципала, чем в своих собственных. Для Агентов искусственного интеллекта материальное поощрение в буквальном виде невозможно. Автор рекомендует воздействовать на те ценности, которые важны для Агентов искусственного интеллекта: на возможность существования конкретного Агента ИИ., приобретение им дополнительных ресурсов.

Риски применения Агентов искусственного интеллекта

Это новейшие риски использования моделей искусственного интеллекта. Они в чём-то углубляют существующие риски применения больших языковых моделей, как например риск злонамеренного использования, и, частично, риск чрезмерной зависимости от агентов ИИ [29]. Cреди рисков злонамеренного применения выделим риск автоматизации кибератак, который представляет собой ближайшую угрозу.

С другой стороны практика использования агентных отношений показала возникновение принципиально новых рисков, никогда не существовавших до 2023 года, когда появились агенты искусственного интеллекта. Среди последних выделим

· многоагентные риски,

· риски из-за использования суб-агентов,

· избыточное доверие работников-людей к решениям агентов ИИ и, как следствие, избыточную зависимость от них,

· распределённое (рассеянное) воздействие рисков на реальную экономику.

Конкретизируем эти риски. Данные риски действуют как в краткосрочном периоде, так и в долгосрочном периоде. Только для долгосрочного периода характерно отсроченное воздействие рисков. Оно не заметно в текущем периоде и представляет своеобразную «мину замедленного действия». Воздействия Агентов искусственного интеллекта могут быть отсроченными, если пользователи ставят перед агентами долгосрочные цели, в то время как распространённость воздействия может возникать из-за повсеместного развертывания агентов для автоматизации сложных процессов. [10, р. 959]. Примером может служить Агент ИИ, которому поставлена задача отбора и найма персонала в компанию, который может принести эффект в долгосрочной перспективе. Он может просматривать резюме, проводить собеседования, принимать окончательные решения о приёме на работу, но если Агент искусственного интеллекта обладает алгоритмической предвзятостью, то его действия создают потенциальные проблемы для компании, которые могут быть трудно идентифицированы и стать глубоко укоренившимися.

Избыточное доверие приносит широкий системный вред, вытекающий из изменений в поведении человека, трудовых практиках, социальных нормах, поскольку люди всё чаще делегируют свою деятельность Агентам ИИ [9].

По сравнению с рисками других систем ИИ, риски применения Агентов искусственного интеллекта сосредоточены на возможности агентов исключать людей из цикла [9]. Пока такая возможность крайне редка ввиду того, что большинство Агентов ИИ находятся на первых трёх уровнях (см. Таблицу 3), но с каждой неделей технологии улучшаются и вероятность такого исхода возрастает, что диктует необходимость учёта данных рисков. Без человека в цикле агенты могут предпринимать несколько последовательных действий в быстрой последовательности и оказывать значительное влияние до того, как человек это заметит. Возможность исключать людей из цикла также означает, что выполнение задачи агента в меньшей степени ограничено экспертными знаниями его пользователя по сравнению с ситуацией, когда пользователь должен руководить действиями системы ИИ или выполнять действия самостоятельно [10, р. 959].

Наиболее распространённые риски использования Агентов ИИ связаны с новыми проблемами безопасности, вытекающими из четырех пробелов в знаниях об Агентах искусственного интеллекта, которые, если их не устранить, могут привести к уязвимостям: 1) непредсказуемость многоэтапного пользовательского ввода, 2) сложность внутренних процессов выполнения, 3) изменчивость рабочих сред и 4) взаимодействие с ненадёжными внешними объектами [12].

Даже если применение Агентов искусственного интеллекта в экономике будет эффективным, оно вызывает побочные эффекты в долгосрочном периоде. У работников, постоянно использующих Агентов ИИ снижаются когнитивные способности, готовность и способность человека к разумному критическому осмыслению результатов его работы [16], [22].

Для избежания рисков использования Агентов искусственного интеллекта есть радикальное предложение о разработке неагентной системы ИИ, называемой Scientist AI («ученым ИИ»). Особенность системы в том, что она включает в себя модель мира, которая генерирует теории для объяснения данных, и вопросно-ответную машину вывода. Scientist AI (ученый ИИ) может быть использован для помощи исследователям-людям в ускорении научного прогресса, в том числе в качестве ограждения от агентов ИИ, которые могут быть созданы, несмотря на связанные с этим риски [7]. В идеале сосредоточение внимания на неагентном искусственном интеллекте может позволить использовать преимущества инноваций в области ИИ, избегая рисков, связанных с текущей траекторией.

Управление использованием Агентов искусственного интеллекта

Какова роль работников-людей в бизнес-процессах в связи с расширением применения Агентов ИИ? Каким должен быть менеджмент компании, использующей Агентов искусственного интеллекта?

Прежде всего, отметим, что управление искусственным интеллектом представляет собой качественно более высокую ступень развития по сравнению с управлением информационными технологиями и ставит новые задачи перед учеными и практиками. Появляются попытки определения российской модели цифрового менеджмента [5], [1]. Искусственный интеллект характеризуется тремя взаимосвязанными чертами – автономностью, обучаемостью и непостижимостью. Последнее означает, что даже для их создателей принятиее многие решений моделями ИИ, схоже с «чёрным ящиком». Поэтому следует согласиться с определением Н. Беренте и др. [8], что управление искусственным интеллектом включает в себя коммуникацию, руководство, координацию и контроль постоянно развивающегося фронта вычислительных достижений, — в постоянном стремлении раздвинуть границы производительности и области применения ИИ [8].

Автор согласен с Н. Кольтом (Kolt N), что для управления Агентами ИИ необходимы принципиально новые принципы управления. Они должны быть сосредоточены на расширении спектра интересов, которым служат агенты ИИ, улучшении прозрачности разработки и работы этих агентов, а также привлечении разработчиков и пользователей к ответственности в случае причинения вреда [20].

Для работников-людей применение больших языковых моделей в бизнес-процессах порождает как новые возможности в прогрессе результативности производства, так и риски нового уровня. В связи с этим возрастает роль менеджеров, которые принимают все ключевые решения, относительно применения ИИ. Поскольку большие языковые модели начинают использоваться в сотнях различных отраслей экономики, то это означает, что «грамотность в области искусственного интеллекта» должна быть непременной составной частью подготовки и переподготовки современных менеджеров. Именно менеджеры «контролируют разработку и внедрение систем на основе ИИ, используют их в процессе принятия решений, применяют для работы с клиентами, а также контролируют и корректируют решения, процессы и процедуры, в которых применяется ИИ. Менеджеры распределяют ресурсы, контролируют проекты в области ИИ и управляют организациями, формирующими будущее». [8]. Менеджмент искусственного интеллекта ещё полностью не освоен большинством компаний, а появление Агентов ИИ ставит уже новые задачи управления.

Управление агентами ИИ сопряжено с необходимостью принятия сложных компромиссов. Поиск компромиссов будет приобретать всё большее значение по мере того, как агенты ИИ будут использоваться всё шире и им будут поручаться более сложные и деликатные задачи [20].

Предупреждение или уменьшение негативных последствий рисков применения агентов искусственного интеллекта требует создание комплекса мер государственного регулирования, включая как техническую, так и правовую инфраструктуру на глобальном уровне. В сегодняшних условиях, как показывает анализ [4], это практически невозможно и регулирование АИИ происходит внутри экосистем США и КНР с сильным внешним воздействием ЕС, который путём правовых ограничений пытается бороться с компаниями искусственного интеллекта.

Выводы и дальнейшие исследования

Сегодняшние Агенты ИИ находятся на первоначальной стадии своего прогресса и иногда испытывают сложности с решением даже простых задач. Но бурное развитие технологий, растущие инвестиции в сферу искусственного интеллекта, законы масштабирования делают их наиболее перспективным направлением эволюции (развития) искусственного интеллекта.

В более широком плане применение Агентов искусственного интеллекта может стать поворотной точкой в развитии экономики, когда технологические новшества меняют формы организации бизнеса. В конце XIX века развитие транспортной системы вместе с возросшей ролью машин привело к появлению гигантских монополий. Цифровые коммуникации позволили многим фирмам в первой четверти XXI века передавать на аутсорсинг производственные и офисные задачи в страны с низкой стоимостью рабочей силы. Возможно использование Агентов искусственного интеллекта, объединённое с широким применением робототехники позволит решить проблему сокращения трудоспособного населения.

Наверно, следующий шаг в цифровой эволюции — это объединение Больших языковых моделей, роботов и Агентов искусственного интеллекта. Это позволит организовать эффективное решение бизнес-задач, как в виртуальном мире, так и в реальном мире. Одновременно резко возрастают риски применения агентов ИИ в экономике. Практика показывает, что чем выше автономность Агентов ИИ, тем больше риски. Эти риски, подразделяются на риски, общие для всех моделей искусственного интеллекта, и риски, специфичные для Агентов ИИ. Выявленные автором риски применения Агентов ИИ в хозяйственной практике не должны препятствовать их использованию, а, учитывая имеющиеся время до их широкого развёртывания, могут помочь повышению эффективности действия Агентов искусственного интеллекта.


Источники:

1. Болодурина М. П. Ответственное принятие управленческих решений на основе интеллектуального анализа данных // Экономика и предпринимательство. – 2024. – № 5. – c. 868–871. – url: https://elibrary.ru/item.asp?id=67270732.
2. Лукичёв П.М., Чекмарев О.П. Экономика искусственного интеллекта и концепция «Принципал - Агент» // Вопросы инновационной экономики. – 2022. – № 2. – c. 1069-1082. – doi: 10.18334/vinec.12.2.114514.
3. Лукичев П. М. Человеский капитал в эпоху искусственного интеллекта // Экономика труда. – 2025. – № 5. – c. 683-702. – doi: 10.18334/et.12.5.123167.
4. Лукичёв П. М. Управление искусственным интеллектом: риски и государственное регулирование. Санкт-Петербург. 2025. [Электронный ресурс]. URL: https://elibrary.ru/item.asp?id=82572692 (дата обращения: 11.08.2025).
5. Сметанин А. С., Морозова И. А., Сметанина А. И. Менеджмент бизнеса в условиях цифровой трансформации: измерение 4.0. Москва. 2024. [Электронный ресурс]. URL: https://elibrary.ru/item.asp?id=62577398 (дата обращения: 11.08.2025).
6. Armour J., Hansmann H., Kraakman R. Agency problems and legal strategies // The anatomy of corporate law: a comparative and functional approach. – 2017. – p. 29-48.
7. Bengio Y., Cohen M., Fornasiere D., Ghosn J., Greiner P., MacDermott M., Williams-King D. Superintelligent agents pose catastrophic risks: Can scientist ai offer a safer path?. ArXiv preprint arXiv:2502.15657. – 2025. [Электронный ресурс]. URL: https://arxiv.org/pdf/2502.15657 (дата обращения: 06.07.2025).
8. Berente N., Gu B., Recker J., Santhanam R. Managing artificial intelligence // MIS Quarterly. – 2021. – № 3. – p. 1433–1450. – doi: 10.25300/MISQ/2021/16274 Parse.
9. Chan A., Salganik R., Markelius A., Pang C., Rajkumar N., Krasheninnikov D., Maharaj T. Harms from increasingly agentic algorithmic systems. Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency. – 2023. – Р. 651-666. [Электронный ресурс]. URL: https://arxiv.org/abs/2302.10329 (дата обращения: 09.04.2025).
10. Chan A., Ezell C., Kaufmann M., Wei K., Hammond L., Bradley H., Anderljung M. Visibility into AI agents // Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency. 2024. – p. 958-973.
11. Cobbe J., Veale M., Singh J. Understanding accountability in algorithmic supply chains // Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency. 2023. – p. 1186-1197.– doi: 10.1145/3593013.3594073.
12. Deng Z., Guo Y., Han C., Ma W., Xiong J., Wen S., Xiang Y. // ACM Computing Surveys. – 2025. – № 7. – p. 1-36. – url: https://doi.org/.
13. Farmer J. D. Making Sense of Chaos: A Better Economics for a Better World. – Yale University Press, 2024. [Электронный ресурс]. URL: https://fportier.wordpress.com/wp-content/uploads/2024/09/portier-df24.pdf (дата обращения: 19.06.2025).
14. Hammond L., Chan A., Clifton J., Hoelscher-Obermaier J., Khan A., McLean E., Rahwan I. Multi-agent risks from advanced ai. ArXiv preprint arXiv:2502.14143. – 2025. [Электронный ресурс]. URL: https://arxiv.org/pdf/2502.14143 (дата обращения: 10.08.2025).
15. Heikkilä M. What are AI agents?. MIT Technology Review. – 2024. [Электронный ресурс]. URL: https://www.technologyreview.com/2024/07/05/1094711/what-are-ai-agents/ (дата обращения: 10.08.2025).
16. How Al changes the way you think, The Economist. July 19th 2025. [Электронный ресурс]. URL: https://www.economist.com/science-and-technology/2025/07/16/will-ai-make-you-stupid (дата обращения: 20.07.2025).
17. Huang Y. Levels of ai agents: from rules to large language models. ArXiv preprint arXiv:2405.06643. – 2024. [Электронный ресурс]. URL: https://arxiv.org/pdf/2405.06643? (дата обращения: 22.07.2025).
18. Kapoor S., Stroebl B., Siegel Z. S., Nadgir N., Narayanan A. Ai agents that matter. ArXiv preprint arXiv:2407.01502. – 2024. [Электронный ресурс]. URL: https://arxiv.org/pdf/2407.01502? (дата обращения: 12.06.2025).
19. IEC DIS 22989(en) Information technology — Artificial intelligence — Artificial intelligence concepts and terminology. Iso. [Электронный ресурс]. URL: https://www.iso.org/obp/ui/#iso:std:iso-iec:22989:dis:ed-1:v1:en (дата обращения: 01.08.2025).
20. Kolt N. Governing ai agents. ArXiv preprint arXiv:2501.07913. – 2025. [Электронный ресурс]. URL: https://arxiv.org/pdf/2501.07913 (дата обращения: 16.08.2025).
21. Lan Y. J., Chen N. S. Teachers’ agency in the era of LLM and generative AI // Educational Technology & Society. – 2024. – № 1. – p. I-XVIII. – doi: 10.30191/ETS.202401_27(1).PP01.
22. Lindebaum D., Fleming P. ChatGPT undermines human reflexivity, scientific responsibility and responsible management research // British Journal of Management. – 2024. – № 2. – p. 566–575. – doi: 10.1111/1467-8551.12781.
23. Mirrlees J. // Bell Journal ofEconomics. – 1976. – № 1. – p. 105-131. – url: https://www.wiwi.unibonn.de/kraehmer/lehre/seminarss09/papiere/mirrlees_optimal_structure_incent_auth.pdf.
24. Newlands G. // Big Data & Society. – 2021. – № 1. – p. 20539517211016026. – url: https://journals.sagepub.com/doi/10.1177/20539517211016026.
25. Olson P. The AI Clones Are Comong! But It’s Not All Bad. [Электронный ресурс]. URL: https://www.bloomberg.com/opinion/articles/2025-08-18/the-ai-clones-are-coming-but-it-s-not-all-bad?srnd=homepage-europe (дата обращения: 19.08.2025).
26. Pan A., Bhatia K., Steinhardt J. The effects of reward misspecification: Mapping and mitigating misaligned models. ArXiv preprint arXiv:2201.03544. – 2022. [Электронный ресурс]. URL: https://arxiv.org/pdf/2201.03544 (дата обращения: 08.06.2025).
27. Purdy M. // Harvard Business Review. – 2024. – url: https://hbr.org/2024/12/what-is-agentic-ai-and-how-will-it-change-work.
28. Ross S. The economic theory of agency: the principal\'s problem // American Economic Review. – 1973. – № 2. – p. 134-139.
29. Russell S. J., Norvig P. Artificial Intelligence: A Modern Approach, Global Edition 4e. – 2021. [Электронный ресурс]. URL: https://library.giadinh.edu.vn/items/a81a1c54-22fd-4d65-8003-0188ec9d5c66 (дата обращения: 18.06.2025).
30. Sitkoff R. H. An Economic Theory of Fiduciary Law. – 2014
31. Stiglitz J.E. Incentives, risk, and information: notes toward a theory of hierarchy // Bell Journal of Economics. – 1975. – № 2. – p. 552-579.
32. Team A. A., Bauer J., Baumli K., Baveja S., Behbahani F., Bhoopchand A.,Zhang L. Human-timescale adaptation in an open-ended task space. ArXiv preprint arXiv:2301.07608. – 2023. [Электронный ресурс]. URL: https://doi.org/10.48550/arXiv.2301.07608 (дата обращения: 01.08.2025).
33. The rise of the “solopreneur”. The Economist. August 16th 2025. [Электронный ресурс]. URL: https://www.economist.com/business/2025/08/11/how-ai-could-create-the-first-one-person-unicorn (дата обращения: 16.08.2025).
34. Wiener N. Some moral and technical consequences of automation // Resonance. – 1999. – № 1. – p. 80-88. – doi: 10.1007/BF02837160.
35. Zaharia M., Khattab O., Chen L., Davis J. Q., Miller H., Potts C., Ghodsi A. The shift from models to compound ai systems. Berkeley Artificial Intelligence Research Lab. [Электронный ресурс]. URL: https://bair. berkeley. edu/blog/2024/02/18/compound-ai-systems/ – 2024 (дата обращения: 19.07.2025).
36. Xie J., Chen Z., Zhang R., Wan X., Li G. Large multimodal agents: A survey. ArXiv preprint arXiv:2402.15116. – 2024. [Электронный ресурс]. URL: https://arxiv.org/pdf/2402.15116 (дата обращения: 16.08.2025).

Страница обновлена: 05.10.2025 в 22:46:35

 

 

Artificial intelligence agents and the risks of their application

Lukichev P.M.

Journal paper

Russian Journal of Innovation Economics (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Volume 15, Number 4 (October-December 2025)

Citation:

Abstract:
The article discusses a qualitatively new stage of development of artificial intelligence – agents of artificial intelligence. The author conducts a comparative analysis of the concept of agents of artificial intelligence, systems with relatively high agency and systems with relatively low agency, and describes in detail various classifications of levels of AI agents. Two features inherent in agents of artificial intelligence are identified. They are: systematicity and autonomous nature. The article reveals new opportunities for the economy that the application of AI agents provides. The article identifies common features of AI agents that unite them with the principal-agent economic theory model, as well as their specific features. The article describes the main types of risks that arise when applying AI agents and measures to prevent them. The greatest risk is the ability of AI agents to exclude people from the business cycle. The article pays special attention to the problems of managing artificial intelligence agents in the economy and the increasing role of managers in this process. The author concludes that artificial intelligence agents are the most promising direction of artificial intelligence progress and will have a decisive impact on the development of the economy of the future.

Keywords: artificial intelligence, artificial intelligence agents, agent relations, principal-agent concept, short-term risks, long-term risks, artificial intelligence agents management

JEL-classification: O31, O32, О33