Improving the computational and analytical tools for evaluating the effectiveness of corporate management amidst digitalization
Sharantaev A.G.1
1 Волгоградский государственный технический университет
Download PDF | Downloads: 25
Journal paper
Leadership and Management (РИНЦ, ВАК)
опубликовать статью | оформить подписку
Volume 11, Number 1 (January-March 2024)
Indexed in Russian Science Citation Index: https://elibrary.ru/item.asp?id=63891784
Abstract:
In modern economic conditions, a more sustainable position in the market is occupied by an economic entity whose management has introduced into the practice of corporate management an effective system of monitoring and optimization of management and administrative processes based on automation tools and technology. These circumstances have determined the relevance of the scientific search for mechanisms to improve the computational and analytical tools for evaluating the effectiveness of corporate management, taking into account the digital transformation of the Russian economy. The article analyzes the basic principles, factors and approaches that determine the effectiveness of the corporate management system, as well as substantiates specific indicators that allow improving the computational and analytical tools for evaluating the effectiveness of corporate management. Among the advantages of these indicators, it is necessary to emphasize, firstly, comparative use; secondly, the possibility of using digital calculation tools, including those that are freely available. This minimizes the costs associated with the use of these indicators in corporate management practice. The results of the study can be used by the management of business entities in the development of corporate management policy.
Keywords: management, governing, company, economics, digitalization, efficiency assessment
JEL-classification: M11, D04, С01, О33
Введение
В современных экономических условиях более устойчивое положение на рынке занимает хозяйствующий субъект, менеджмент которого внедрил в корпоративную управленческую практику эффективную систему мониторинга и оптимизации управленческо-административных процессов, основывающихся на использовании инструментов и технологий автоматизации.
Оценка эффективности использования управленческо-административного потенциала представляет собой одну из наиболее актуальных экономических российской и мировой корпоративной практики. Исчерпывающую научную интерпретацию затрудняет ряд факторов, среди которых необходимо отметить отраслевую/региональную специфику, не позволяющую выработать единую методику идентификации эффективности управленческо-административных процессов, общепринятых критериев оценки.
В тоже время, базовые инструменты экономического анализа, основывающиеся на оценке затрат и результата, вполне применимы для формирования корпоративной модели идентификации эффективности управленческо-кадрового потенциала, т. к. основываются на эмпирических показателях развития хозяйствующего субъекта, сформированных по результатам наблюдения в заданном временном интервале. Указанные обстоятельства аргументируют актуальность и своевременность научного поиска механизмов совершенствования расчётно-аналитического инструментария оценки эффективности корпоративного управления, с учётом возможностей и факторов риска в контексте цифровой трансформации российской экономики. Дополнительным аргументом в пользу актуальности и научно-практической значимости исследований подобного рода является беспрецедентное санкционное давление, оказываемое на Российскую Федерацию некоторыми иностранными государствами, что закономерно актуализирует научный поиск решений, способствующих усилению конкурентоспособности на микро-, мезо-, макроэкономическом уровнях.
Вопросы повышения эффективности корпоративного управления, в том числе посредством внедрения в практику менеджмента цифровых инструментов, разработки расчётно-аналитического инструментария идентификации возникающих эффектов находятся в поле зрения научной общественности. Методология цифровой трансформации менеджмента раскрывается в работах Калязиной Е.Г. [1]. В аналитических публикациях экспертных организаций [2, 3], научных трудах Шушуновой Т.Н., Вакуленко В.Ф., Фроловой А.В. [4], Беловой Е.Ю., Шевченко М.О. [5] исследуется влияние цифровизации на корпоративные управленческие процессы. Научная интерпретация стимулирующих и ограничительных факторов цифровой трансформации в условиях российских хозяйствующих субъектов, а также анализ новых возможностей для хозяйствующих субъектов, в частности, развития кадрового потенциала организации, представлены в публикациях Галимовой М. П. [6], Илюхина Л. А., Богатырёвой И. В. [7]. Плис С.А., Анисимова С.Е., Идигова Л.М. [8] обосновывают подходы к оценке эффективности информационно-аналитической системы на микроэкономическом уровне. В трудах таких учёных, как Замышляева Е.Л., Парушина Н.В. [9], Гавель О.Ю. [10], Горбанёва Е.А. [11], Шнюков С .А. [12], Тиндова М. Г. [13], Изакова Н. Б., Горных Е. С. [14], Исаев Д. В. [15], Карлова Т. В., Расторгуев А. В. [16] обоснованы различные теоретико-методические подходы, расчётно-аналитические инструменты оценка эффективности управленческих и информационных систем хозяйствующих субъектов. Анопченко Т. Ю., Ревунов Р. В., Мурзина С. М., Губачев В. А., Дальченко Е. А. [17], Бодрунов С. Д., Демиденко Д.С., Плотников В. А. [18], Паклева И.Д. [19], Симионова Н. Е., Симионов Р. Ю. [20], Авраменко Т. О. [21] выявляют факторы, детерминирующие управленческую специфику компаний различной отраслевой принадлежности, функционирующих на различных региональных рынках, уточняют особенности оценки эффективности их управленческо-административных систем.
Указанные труды послужили научной основой настоящей статьи. Отдавая долг уважения коллегам за исследование вышеизложенной проблематики, необходимо отметить, что, с учётом скорости научно-технического прогресса, особенно в части развития инструментов автоматизации, вопросы совершенствования расчётно-аналитического инструментария оценки эффективности управления на микроэкономическом уровне требуют дополнительной научной интерпретации.
С учётом вышеизложенного, цель исследования заключается в анализе основных принципов, факторов, подходов, обусловливающих эффективность корпоративной системы управления и обосновании расчётно-аналитических инструментов её идентификации с учётом факторов цифровизации экономики РФ.
Научная новизна обусловлена обоснованием основных принципов эффективности управленческо-административных процессов, управленческо-административного потенциала, а также ряда частных показателей, применяемых для интегральной оценки эффективности использования управленческо-административного потенциала.
Использование при подготовки данной статьи таких методов научного познания, как анализ корпоративной практики управления, в целом, и хозяйствующих субъектов, функционирующих в транспортной отрасли, в частности, эконометрических инструментов индикации эффективности и др. позволило обеспечить высокий уровень достоверности итоговых результатов и выводов.
Основная часть
В целях корректного использования научной терминологии и во избежание превратных толкований, интерпретируем дефиниции эффект и эффективность применительно к управленческо-административным процессам на микроэкономическом уровне. По нашему мнению, эффект выражает результат управленческой деятельности (в т. ч. в виде стоимостных показателей) безотносительно динамики управляемой системы. Управляемая система, представляющая собой некую совокупность взаимодействий субъектов принятия и исполнения решений по горизонтали и вертикали может генерировать различный эффект, оставаясь организационно и функционально неизменной. При этом, эффективность отражает, в том числе, достижимость стратегических и тактических целей развития организации при минимально возможных издержках на их практическую реализацию. В общем виде эффективность может быть выражена как отношение результата деятельности хозяйствующего субъекта к расходам на её качественное достижение. Эффективность может быть интерпретирована расчётно-аналитическим путём как сопоставление показателей, выражающих результат одного из видов деятельности компании, и объёма ресурсов, потраченных для его достижения. При этом показатели эффективности могут отличаться для различных категорий пользователей информации (инвесторы, кредиторы, менеджмент, госорганы и т. п.).
Эффективность управленческо-административного потенциала представляет собой степень достижения целей хозяйствующего субъекта при минимально возможных затратах. В данном случае результаты сопоставляются с издержками системы в целом.
Выделим основные факторы оценки эффективности управленческо-административной системы компании:
• расчёт эффективности управления должен производиться с использованием данных общепринятых методик по оценке эффективности экономической деятельности (выпуск/продажа продукции (услуг) на единицу затрат, связанных с их производством, удельные прибыль, выработки на одного сотрудника и др.);
• сопоставимость исходных данных;
• учёт отраслевых особенностей, например, уровень технико-технологического развития компании оказывает влияние на результаты управления не меньше, чем на эффективность экономической деятельности в целом;
• учёт фактора времени (интервал между принятием управленческого, решения и его реализацией), являющегося важным фактором для мероприятий по совершенствованию управления.
Управленческо-административная деятельность характеризуется итогами работы персонала организации, в целом, в связи с чем её целесообразно оценивать по уровню влияния на результаты работы всех сотрудников хозяйствующего субъекта или какого-либо из структурных подразделений (центров ответственности). На наш взгляд, ошибочно отождествлять понятия эффективности и экономичности управления. Так, например, некоторые руководители убеждены, что улучшение показателя экономичности означает сокращение общей величины затрат на осуществление функций управления. Подобное заблуждение порождает огульное сокращение расходов на управление без какой-либо увязки с перспективными планами компании, стратегией её развития, средне- и долгосрочным целеполаганием. Подобная политика приводит к дестабилизации управленческих процессов, что в свою очередь крайне негативно сказывается на хозяйственной деятельности.
Наблюдаемая в настоящее время цифровая трансформация российской экономики характеризуется беспрецедентным увеличением потока информации, воспринимаемой и обрабатываемой корпоративной системой управления, в котором количество достоверных и необходимых для деятельности компании, принятия компетентных управленческих решений данных является относительно небольшим по сравнению с общим массивом поступающих сведений. С учётом вышеизложенного, неотъемлемой частью основанной на инновационных подходах системы корпоративного менеджмента является организационно-управленческий механизм дифференциации входящего в систему принятия решений потока информации, позволяющий на ранних этапах обработки отсеивать ненужные данные, представляющие собой т. н. «информационный шум».
Современные цифровые технико-технологические решения, позволяющие организовать работу с большими массивами данных (big-data), основу которых составляю самообучаемые нейросетевые программно-аппаратные алгоритмы, способствуют автоматизации обработки и первичной аналитики информационных массивов, поступающих в управленческий контур фирмы.
Одним из преимуществ подобного формата организации системы управления на микроэкономическом уровне является возможность применения аутсорсинга, то есть передачи части функций по организации первичной обработки поступающей информации сторонним исполнителям услуг (в том числе с помощью удалённых средств автоматизации). При прочих равных условиях, практическая реализация подобного подхода в корпоративной управленческой практике позволяет снизить издержки, связанные с разработкой и внедрением собственной корпоративной системы исполнения данного функционала.
Среди основных индикаторов эффективности системы управления организации необходимо выделить показатели производственной и коммерческой деятельности хозяйствующего субъекта во временном интервале, поскольку именно они отражают итоговые результаты деятельности компании. Выделим приоритетные, в частности: динамика выпуска продукции/услуг, входящего/исходящего денежного потока, рентабельности активов, капитала, производительности труда, эффективности использования ресурсов, основных фондов (энергоёмкость, фондоотдача по видам ресурсов, основных фондов и т. п.).
Дополнительными индикаторами эффективности системы управления на микроэкономическом уровне, является качество выпускаемой продукции (оказываемых услуг), своевременность выполнения договорных обязательств. Данные индикаторы могут выражаться количеством претензий, полученных организацией от контрагентов в определённый период времени. Показатели эффективности управления весьма многочисленны, что позволяет менеджменту хозяйствующего субъекта использовать разнообразные индикаторы, отражающие различные аспекты управленческой деятельности и их результаты. В данном контексте необходимо выделить как узконаправленные кадровые показатели, в частности, отражающие текучесть кадров, квалификацию сотрудников и т. п., так и интегральные показатели, характеризующие взаимосвязь управленческого процесса и экономических результатов компании.
Широкий диапазон различных индикаторов эффективности управления на корпоративном уровне позволяет осуществить оценку его различных аспектов с высоким уровнем достоверности. В контексте тематики статьи, представляет интерес механизм оценки эффективности системы управления на микроэкономическом уровне посредством интегральных показателей, систематизирующих индикаторы, отражающие результаты управленческой деятельности, и производственные (коммерческие) показатели вместе с интерпретацией связанных с ними издержек.
Интегральная оценка эффективности управленческо-административной системы на микроэкономическом уровне предполагает использование ряда частных показателей, непосредственно отражающих результаты работы управленческого персонала компании, например, сопоставление расходов на содержание аппарата управления и суммы стоимостных эквивалентов стоимости основных средств и объёма продаж организации в исследуемом периоде времени позволяет установить показатель экономичности системы управления (Эс), расчётная формула которого имеет вид:
где РАУ — расходы на содержание аппарата управления организации в рассматриваемом временном периоде, руб.;
СтОС — стоимостной эквивалент основных средств организации в рассматриваемом временном периоде, руб.;
СтОбП — стоимостной эквивалент продаж организации в рассматриваемом временном периоде, руб.
Данный показатель (коэффициент) удобно использовать для кратко- и среднесрочного планирования организации. Также в целях корпоративного планирования представляет интерес анализ динамики расходов на аппарат управления в сопоставлении с показателями использования основных средств организации. Индикация эффективности системы управления осуществляется также с помощью экспертных оценок, основу которых составляют ряд показателей (коэффициентов), отражающих характеристики анализируемой системы. Рассмотрим некоторые из них.
1. Показатель (коэффициент) управляемости хозяйствующего субъекта:
Пу
= ,
где ОЧР — общая численность работников организации в рассматриваемом временном периоде, чел.;
ЧУП — общая численность управленческого персонала организации в рассматриваемом временном периоде, чел.
Обратным показателю (коэффициенту) управляемости выступает показатель (коэффициент) численности работников управления.
2. Показатель (коэффициент) расходов на управленческую деятельность хозяйствующего субъекта:
Кз = ,
где РНУ — расходы на управление организации в рассматриваемом временном периоде, руб.;
Ро6щ — общие расходы (издержки) организации в рассматриваемом временном периоде, руб.
Использование методов динамического анализа указанных показателей, в частности, регулярный мониторинг и сопоставление расчётных данных в течение временного интервала, позволяет своевременно выявить угрозы, риски, негативные тенденции системы управления на микроэкономическом уровне, позитивные управленческие практики, распространение которых среди структурных подразделений (центров ответственности) хозяйствующего субъекта способно повысить общий уровень конкурентоспособности и инвестиционной привлекательности организации, а также осуществлять своевременную корректировку документов стратегического планирования компании.
Оценка эффективности управленческо-административного потенциала хозяйствующего субъекта осуществляется, в том числе, посредством сопоставления доходности и издержек на микроэкономическом уровне. В общем виде расчётная формула имеет вид:
Э = ,
где Э — коэффициент (показатель) эффективности управленческо-административной системы организации в рассматриваемом временном периоде;
ВД — валовой доход (входящий денежный поток) организации в рассматриваемом временном периоде, руб.;
ИКУ — издержки хозяйствующего субъекта на корпоративное управление, руб.
Расчёт указанных показателей представляет собой формализованные процедуры, что позволяет успешно применять цифровые инструменты автоматизации. Накапливание в течение длительного времени массивов расчётно-аналитических данных, в том числе отражающих эффективность корпоративной системы управления, позволяет менеджменту хозяйствующего субъекта улучшить качество принимаемых решений за счёт сопоставления результатов деятельности в различные временные периоды.
Исследование различных индикаторов эффективности корпоративного управления показывает, что разработка (обоснование) общедоступных, отражающих реальные экономические процессы, легко внедряемых в практику менеджмента показателей оценки эффективности управленческо-административной системы на микроэкономическом уровне, интегрирующих как индикаторы эффективности производственной (коммерческой) деятельности организации, так и системы управления, является одним из наиболее дискуссионных вследствие широкого диапазона теоретико-методических подходов к осуществлению оценки. Дополнительным фактором, затрудняющим решение указанной задачи, является наличие на рынке ассортимента цифровых инструментов, ориентированных на решение различных управленческих задач. Имеющиеся на рынке программные продукты и аппаратные средства разнообразны по стоимости и обладают различным уровнем сложности. Вместе с тем, указанные обстоятельства позволяют хозяйствующему субъекту разработать свою собственную методику оценки эффективности системы управления, позволяющую максимально учесть специфику его деятельности и реализовать её с помощью доступных средств автоматизации.
Одной из отличительных особенностей обоснованных нами показателей оценки эффективности корпоративной системы управления, является возможность формирования на их основе производных показателей, позволяющих осуществлять эконометрическую интерпретацию различных аспектов управленческой деятельности хозяйствующего субъекта.
Кроме того, эффективность использования управленческо-административного потенциала на микроэкономическом уровне оценивается по характеристикам, присущим конкретной организации, что позволяет обосновать форматы совершенствования корпоративной структуры управления, целесообразности реализации управленческих инноваций, в том числе с использованием инструментов автоматизации управленческих процессов.
Выводы
Подводя итог сказанному, сформулируем следующие основные выводы:
1. Пандемия коронавирусной инфекции и обусловленные ей меры государственного воздействия, в частности, ограничения на передвижения граждан, обусловили значительные изменения как в мировой экономике, так и в экономике РФ. Значительно ускорился темп введения в экономическую практику электронных технико-технологических решений, инструментов автоматизации. Цифровые решения используются при организации взаимодействия производителей/продавцов товаров (услуг) и потребителями. С учётом вышеизложенного, цифровизация в современных условиях является одним из важнейших факторов конкурентной борьбы.
2. Процессы цифровой трансформации ставят перед владельцами хозяйствующих субъектов и менеджментом, непосредственно осуществляющим административно-управленческие функции, новые задачи, в частности, необходимость адаптации корпоративной системы управления к высокоскоростной обработке значительных массивов входящей информации о клиентах, ценах, издержках, внешних и внутренних процессах организации, организации взаимодействия между центрами принятия решений и исполнителями, в том числе находящимися в различных локациях и функционирующих в удалённом формате. В контексте вышеизложенного, улучшит своё положение на рынке за счёт реализации дополнительных конкурентны преимуществ экономический агент, чья корпоративная система управления в максимальной степени способна реализовать обозначенные выше задачи.
3. С учётом вышеизложенного, использование в корпоративной управленческой практике инструментов автоматизации, позволяет достичь значительного улучшения качественных характеристик системы управления, за счёт: минимизации негативного воздействия так называемого человеческого фактора менеджмента (ошибки, снижение производительности труда вследствие утомляемости и т. п.); ускорения документооборота; повышение надёжности хранения данных за счёт использования облачных и удалённых серверов; повышения защищённости корпоративной информации за счёт использования цифровых каналов связи и шифрования; автоматизации некоторых рутинных процессов, связанных со сбором и первичной обработкой данных. Вышеуказанные факторы способствуют сокращению издержек и улучшению корпоративной инвестиционной привлекательности.
4. Среди основных преимуществ обоснованных нами частных показателей, позволяющих усовершенствовать расчётно-аналитических инструментарий оценки эффективности корпоративного управления, является, во-первых, сравнительная простота использования, позволяющая внедрять указанные индикаторы как в хозяйствующем субъекте, в целом, так и в отношении отдельных структурных подразделений; во-вторых, возможность использования цифровых инструментов расчёта, в том числе находящихся в свободном доступе, что позволяет минимизировать расходы, связанные с применением данных показателей в корпоративной управленческой практике.
References:
Anopchenko T. Yu., Revunov R. V., Murzina S. M., Gubachev V. A., Dalchenko E. A. (2021). Vectors of increasing the efficiency of the modern economy of the region (based on the materials of the Rostov region)
Avramenko T.O. (2020). Formirovanie sbalansirovannoy sistemy pokazateley dlya otsenki effektivnosti strategicheskogo upravleniya v organizatsiyakh zheleznodorozhnogo transporta [Forming a balanced indicator system for estimating the efficiency of strategic management in railway transport organizations]. Economy and society (Ekonomika i socium). (2). 73-76. (in Russian).
Belova E.Yu., Shevchenko M.O. (2023). Transformatsiya sistem menedzhmenta predpriyatiy v kontekste tsifrovizatsii [Transformation of enterprise management systems in the context of digitalization]. E-Management. 6 (1). 17-28. (in Russian). doi: 10.26425/2658-3445-2023-6-1-17-28.
Bodrunov S. D., Demidenko D.S., Plotnikov V. A. (2018). Reindustrializatsiya i stanovlenie «tsifrovoy ekonomiki»: garmonizatsiya tendentsiy cherez protsess innovatsionnogo razvitiya [Reindustrialization and formation of digital economy: harmonization of tendencies through process of innovative development]. Management consulting. (2). 43–54. (in Russian).
Galimova M. P. (2019). Gotovnost rossiyskikh predpriyatiy k tsifrovoy transformatsii: organizatsionnye drayvery i barery [Readiness of russian enterprises to digital transformation: organizational drivers and barriers]. Bulletin USPTU. Science, education, economy. Series economy. (1). 27-37. (in Russian). doi: 10.17122/2541-8904-2019-1-27-27-37.
Gavel O. Yu. (2021). Opyt ispolzovaniya sistem otsenki i analiza effektivnosti biznesa v strategicheskom upravlenii [The practice of using business performance systems in strategic management]. Economic sciences. 204 (2). 291-299. (in Russian). doi: 10.14451/1.204.291.
Gorbanyova E.A. (2022). Otsenka effektivnosti SED/ECM-sistem kak chast audita upravleniya dokumentami [Evaluating the effectiveness of EDMS/ECM systems as part of a document management audit]. Vestnik VNIIDAD. (1). 80-87. (in Russian).
Ilyukhina L.A., Bogatyreva I.V. (2021). Tsifrovoy format korporativnogo obucheniya: novye vozmozhnosti razvitiya [Digital format of corporate training: new development opportunities]. Leadership and Management. 8 (4). 469-482. (in Russian). doi: 10.18334/lim.8.4.113640.
Isaev D. V. (2020). Otsenka programm razvitiya sistem upravleniya effektivnostyu na osnove modeli zrelosti [Evaluating performance management systems development programs relying on the maturity model]. Applied Informatics. 15 (3). 5-18. (in Russian). doi: 10.37791/2687-0649-2020-15-3-5-18.
Izakova N. B., Gornyh E. S. (2020). Otsenka effektivnosti upravleniya sistemoy prodvizheniya kompanii na rynke [Assessment of management efficiency of the company promotion system in the market]. E-forum. (3 (12)). 9. (in Russian).
Kalyazina E.G. (2023). Metodologicheskie osnovy tsifrovogo menedzhmenta [Methodological foundations of digital management]. Leadership and Management. 10 (4). 1125-1142. (in Russian). doi: 10.18334/lim.10.4.119562.
Karlova T.V., Rastorguev A.V. (2018). Otsenka effektivnosti informatsionno-analiticheskoy sistemy predpriyatiya [Assessment of efficiency of company information-analytical system]. The Bryansk State University Herald. (4). 82-86. (in Russian). doi: 10.30987/article_5b28d19db95175.56006983.
Pakleva I. D. (2020). Otsenka effektivnosti sistemy upravleniya predpriyatiyami promyshlennosti [Evaluation of the effectiveness of the industrial enterprise management system]. Magistral XXI vek. (4). 21-26. (in Russian).
Plis S.A., Anisimova S.E., Idigova L.M. (2023). Vliyanie tsifrovizatsii funktsiy menedzhmenta na ekonomicheskie pokazateli proizvodstvennoy deyatelnosti organizatsii [The impact of digitalization of management functions on the economic performance of an organization's production activities]. Trends in the development of science and education. (96-4). 139-141. (in Russian). doi: 10.18411/trnio-04-2023-208.
Shnyukov S.A. (2022). Metody otsenki effektivnosti sistem upravleniya [Methods for evaluating the effectiveness of management systems]. Trends in the development of science and education. (82-3). 119-123. (in Russian). doi: 10.18411/trnio-02-2022-118.
Shushunova T.N., Vakulenko V.F., Frolova A.V. (2020). Sovremennye trendy i perspektivy razvitiya menedzhmenta v usloviyakh tsifrovoy transformatsii [Fundamental management trends of the third decade of the 21st century]. Innovation and Investment. (7). 96–99. (in Russian).
Simionova N. E., Simionov R. Yu. (2020). Informatsionno-analiticheskaya sistema upravleniya stroitelnoy organizatsiey: printsipy, pokazateli, otsenka effektivnosti [Information and analytical management system for a construction organization: principles, indicators, performance assessment]. Real estate: economics, management. (3). 33-39. (in Russian). doi: 10.22227/2073-8412.2020.3.33-39.
Tindova M. G. (2022). Otsenka effektivnosti sistemy upravleniya biznesom [Evaluation of the efficiency of the business management system]. Notes of a scientist. (9). 211-216. (in Russian).
What is digital transformation? 14.07.2023. Retrieved January 20, 2024, from https://www.mckinsey.com/featured-insights/mckinsey-explainers/what-is-digital-transformation#/
Where and How to Target Your Digital Business Transformation?Gartner.com. Retrieved January 19, 2024, from https://www.gartner.com/en/information-technology/topics/digital-transformation
Zamyshlyaeva E. L., Parushina N. V. (2021). Sistema pokazateley effektivnosti predprinimatelstva na raznyh urovnyakh upravleniya s uchetom mnogokriterialnoy otsenki [The system of indicators of entrepreneurship effectiveness at different levels of management taking into account multi-criteria assessment]. OrelSIET Bulletin. (3). 12-19. (in Russian). doi: 10.36683/2076-5347-2021-3-57-12-19.
Страница обновлена: 05.05.2025 в 17:38:52