Evaluation of commercial banks in Russia based on the analysis of the operating environment

Odintsov V.O.1, Vechkinzova E.A.2,1
1 Финансовый университет при Правительстве Российской Федерации, Russia
2 Институт проблем управления им. В.А. Трапезникова РАН, Russia

Journal paper

Creative Economy (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Volume 15, Number 5 (May 2021)

Citation:

Indexed in Russian Science Citation Index: https://elibrary.ru/item.asp?id=46184889
Cited: 3 by 05.09.2022

Abstract:
The assessment of the banks effectiveness is the basis for the construction and updating of the strategic plan for the development of financial and credit organizations, as well as an integral element of determining the socio-economic performance. One of the methods of comparative efficiency - the analysis of the operating environment (data envelope analysis, DEA) of commercial banks - is considered. As input data, the indicators of the number of ATMs, self-service terminals, branches, private customers and the number of employees are used. As output parameters, the results of commercial banks' activities were considered. They are as follows: net profit for the reporting period, loans to individuals, deposits of individuals. The results of the study allowed to identify effective and inefficient commercial banks according to two models of technical efficiency: general efficiency (CRS-model) and net efficiency (VRS-model), focused on both inputs (costs) and outputs (results) of banks' activities. The article will be of interest to researchers of the economic efficiency of financial organizations.

Keywords: operational efficiency, DEA method; nonparametric optimization, analysis of the operating environment, banking system, Russia

JEL-classification: G21, G20, G29



Введение

Эффективное развитие банковской системы является основой экономического роста и развития страны в целом, так как она является основным проводником трансакционных операций экономических агентов. Стратегии развития коммерческих банков, ориентированные только на достижение экономических коэффициентов эффективности, показывают свою несостоятельность в достижении социально-экономической результативности. Это связано с тем, что все больший объем банковских операций приходится на сферу обслуживания физических лиц и требует расширения филиальной сети, доступности терминалов и банкоматов для индивидуального пользовательского обслуживания. Современная стратегия развития коммерческих банков должна ориентироваться на эффективность функционирования с учетом всех перечисленных факторов.

Цель данного исследования – провести анализ и дать оценку эффективности функционирования коммерческих банков России, используя как финансовые, так и нефинансовые показатели деятельности банков. Новизна исследования состоит в использовании параметров различных типов и размерности для анализа эффективности деятельности. Авторская гипотеза состоит в том, что эффективность функционирования коммерческих банков должна строиться на основе анализа среды функционирования с использованием метода DEA (data envelopment analysis), позволяющего выявить как глобальную (полную), так и локальную (сравнительную) эффективность.

Методика исследования

Метод DEA является непараметрическим методом измерения эффективности набора равноправных объектов на основе оптимизационной задачи линейного программирования с двумя целевыми ориентирами оптимизации: максимизация результатов деятельности (выходов) при заданном количестве ресурсов (входов) или минимизация используемых ресурсов (входов) при заданном уровне результатов (выходов) [12–14] (Charnes, Cooper, Rhodes, 1978; Charnes, Cooper, Rhodes, 1981; Farrel Michael, 1957).

Объекты, получившие наивысшие оценки при сопоставлении входов и выходов в задаче линейного программирования, составляют границу производственных возможностей, признаются технически эффективными и становятся ориентиром эффективности для других объектов в выборке.

DEA-методология предполагает две трактовки технической эффективности: глобальную (полную) и локальную (сравнительную). Объект является глобально эффективным, когда ни один из ее «входов» и «выходов» не могут быть улучшены без ухудшения других «входов» и «выходов» (эффективность по Парето и Купмансу). Объект обладает локальной эффективностью, когда эффективность других объектов выборки не показывает, что некоторые из «входов» и «выходов» эффективного объекта могут быть улучшены без ухудшения других своих «входов» и «выходов» [1, 3, 5–8, 15] (Vechkinzova, 2020; Krivonozhko, Lychev, 2010; Pustovalova, Markova, 2016; Ratner, Ratner, 2017; Ratner, Iosifov, 2018; Roslyakova, 2018; Vechkinzova, Petrenko, Benčič, Ulybyshev, Zhailauov, 2019).

Методология DEA является привлекательной, прежде всего, потому, что позволяет сравнивать объекты на основе параметров различной размерности и шкал (отсутствует необходимость в сравнении только денежных или только натуральных показателей и т.п.), а также потому, что в результате расчетов модель дает конкретные рекомендации по увеличению/уменьшению входов и (или) выходов для неэффективных объектов, приводя в качестве эталона наиболее близкие по пропорциям входов и выходов эффективные объекты из этой же выборки.

Для расчета в исследовании применялась общедоступная версия программы DEAP (http://www.uq.edu.au/economics/cepa/deap.php).

Результаты исследования

Для сравнения эффективности функционирования были выбраны 10 российских банков, входящих в перечень системно значимых кредитных организаций, утвержденный Банком России от 29.10.2020 в соответствии с Указанием от 22.07.2015 № 3737-У «О методике определения системно значимых кредитных организаций» [2]. Данные, используемые в качестве входных и выходных параметров, приведены за период 2018–2020 гг.

В качестве входных параметров определены:

· количество банкоматов и терминалов самообслуживания (шт.);

· количество отделений (шт.);

· количество частных клиентов (чел.);

· численность сотрудников (чел.).

В качестве выходных параметров рассматривались следующие результаты деятельности:

· чистая прибыль за отчетный период (тыс. руб.);

· кредиты физическим лицам (тыс. руб.);

· вклады физических лиц (тыс. руб.).

Фактические значения показателей приведены в таблице 1.

Результаты расчетов модели, ориентированной на вход (целевая ориентация – минимизация ресурсов) приведены в таблице 2.

Таблица 1

Исходные данные коммерческих банков за 2018–2020 гг.

Российские коммерческие банки
Ресурсы (Входы модели)
Результаты (Выходы модели)
Количество банкоматов и терминалов самообслуживания, штук
Количество отделений, штук
Количество частных клиентов, человек
Численность сотрудников, человек
Чистая прибыль за отчетный период, тысяч рублей
Кредиты физическим лицам, тысяч рублей
Вклады физических лиц, тысяч рублей
Вход 1
Вход 2
Вход 3
Вход 4
Выход 1
Выход 2
Выход 3
2018 год
АО ЮниКредит Банк
777
101
2 100 000
4 044
19 846 148
150 686 229
229 628 548
Банк ГПБ (АО)
3 660
350
4 000 000
14 572
26 842 454
472 292 935
891 343 815
ПАО «Совкомбанк»
10 000
2 500
4 600 000
11 480
17 552 961
197 283 080
385 402 089
Банк ВТБ (ПАО)
16 000
1 600
16 000 000
96 957
202 585 461
2 553 028 282
3 607 968 498
АО «АЛЬФА-БАНК»
25 000
774
15 800 000
24 503
89 770 198
442 727 772
987 683 349
ПАО Сбербанк
77 000
14 200
90 000 000
310 300
758 857 550
6 112 079 033
12 182 974 469
ПАО Банк «ФК Открытие»
6 000
412
3 400 000
20 000
3 290 528
139 382 082
431 093 539
ПАО РОСБАНК
2 000
300
4 000 000
9 172
9 405 000
142 454 744
257 038 742
АО «Райффайзенбанк»
8 200
180
15 000 000
8 171
22 236 908
269 046 903
426 818 232
АО «Россельхозбанк»
11 134
1 255
6 800 000
26 302
5 163 906
419 855 889
984 988 846
2019 год
АО ЮниКредит Банк
10 077
101
2 300 000
4 066
10 062 641
185 688 349
260 384 396
Банк ГПБ (АО)
4 000
400
4 100 000
16 644
56 552 904
571 585 716
1 142 899 974
ПАО «Совкомбанк»
11 500
2 648
6 500 000
15 700
34 955 992
276 929 479
424 566 757
Банк ВТБ (ПАО)
17 000
1 700
14 000 000
77 200
170 715 480
2 891 590 138
4 183 250 312
АО «АЛЬФА-БАНК»
27 900
791
16 500 000
25 000
59 299 996
639 414 512
1 131 960 972
ПАО Сбербанк
77 000
14 200
95 400 000
293 752
814 110 047
7 200 185 393
12 768 925 014
ПАО Банк «ФК Открытие»
20 000
745
3 600 000
21 245
46 861 523
318 684 307
889 727 632
ПАО РОСБАНК
38 000
320
4 000 000
9 456
11 666 917
340 535 875
310 696 275
АО «Райффайзенбанк»
16 850
141
16 800 000
8 949
36 664 914
309 932 256
450 576 436
АО «Россельхозбанк»
12 334
1 269
7 000 000
29 862
10 400 984
455 346 482
1 146 703 156

Таблица 1

Исходные данные коммерческих банков за 2018–2020 гг. (Продолжение)

Российские коммерческие банки
Вход 1
Вход 2
Вход 3
Вход 4
Выход 1
Выход 2
Выход 3
2020 год
АО ЮниКредит Банк
12 000
87
3 000 000
4 712
10 289 344
157 930 261
263 453 912
Банк ГПБ (АО)
3 500
410
5 000 000
26 886
62 749 493
656 069 132
1 399 193 964
ПАО «Совкомбанк»
13 000
2 100
8 100 000
14 934
18 466 194
331 850 666
446 154 690
Банк ВТБ (ПАО)
18 000
1 868
13 300 000
51 479
56 103 590
3 269 967 923
4 640 929 571
АО «АЛЬФА-БАНК»
28 000
810
18 700 000
23 346
156 569 323
883 791 356
1 434 739 432
ПАО Сбербанк
70 400
13 152
97 500 000
233 992
781 587 558
8 471 928 310
14 800 892 956
ПАО Банк «ФК Открытие»
22 277
602
4 700 000
22 425
81 497 350
459 475 840
902 336 176
ПАО РОСБАНК
42 000
310
4 800 000
10 140
15 251 147
372 208 270
297 760 572
АО «Райффайзенбанк»
14 300
117
18 200 000
9 994
36 788 084
320 276 076
621 887 548
АО «Россельхозбанк»
14 000
1 500
7 800 000
27 941
2 229 513
555 246 176
1 275 138 168
Источник: составлено авторами по данным источника [10].

Таблица 2

Результаты расчета модели с ориентацией на вход для российских коммерческих банков

Российские коммерческие банки
2018 год
2019 год
2020 год
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
АО ЮниКредит Банк
1
эффективен
1
эффективен
1
эффективен
1
эффективен
0,971
неэффективен
1
эффективен
Банк ГПБ (АО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
ПАО «Совкомбанк»
0,560
неэффективен
0,568
неэффективен
0,642
неэффективен
0,676
неэффективен
0,407
неэффективен
0,754
неэффективен
Банк ВТБ (ПАО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «АЛЬФА-БАНК»
0,747
неэффективен
1
эффективен
0,703
неэффективен
0,734
неэффективен
1
эффективен
1
эффективен
ПАО Сбербанк
0,839
неэффективен
1
эффективен
0,813
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО Банк «ФК Открытие»
0,563
неэффективен
0,788
неэффективен
0,944
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО РОСБАНК
0,477
неэффективен
0,545
неэффективен
0,845
неэффективен
0,873
неэффективен
0,705
неэффективен
0,800
неэффективен
АО «Райффайзенбанк»
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «Россельхозбанк»
0,649
неэффективен
0,659
неэффективен
0,582
неэффективен
0,587
неэффективен
0,506
неэффективен
0,689
неэффективен
Среднее значение
0,784

0,856

0,853
0,887
0,859

0,924

Источник: составлено авторами на основании расчетов.

Среднее значение технической эффективности, рассчитанное по модели с постоянной отдачей масштаба, в 2018 году равняется 0,784, в 2019 году – 0,853, в 2020 году – 0,859, то есть наблюдается положительная тенденция, которая говорит о том, что банки становились глобально эффективнее с каждым годом в период с 2018 по 2020 год. Такая динамика связана с постепенной, хоть и не быстрой, адаптацией российских коммерческих банков к меняющимся условиям функционирования кредитных организаций в мире, в том числе с внедрением российскими банками новых технологий.

Если в 2018 и 2019 годах при постоянном эффекте масштаба доля эффективных банков составляла лишь 40%, то к 2020 году ситуация начала улучшаться, и доля составила 40%, не в последнюю очередь за счет того, что ПАО Сбербанк и АО «АЛЬФА-БАНК» успешно внедряли новые банковские продукты, а также преуспели во внедрении искусственного интеллекта и роботов в свою деятельность, за счет чего удалось оптимизировать значимую часть затрат и к 2020 году исправить ситуацию с отсутствием технической эффективности.

АО «Россельхозбанк» и АО ЮниКредит Банк в части постоянного эффекта масштаба характеризуются стагнацией, стабильно низкими показателями характеризуются ПАО «Совкомбанк» и ПАО РОСБАНК – топ-менеджменту банков необходимо обратить внимание на проблемы глобального уровня функционирования банков.

Говоря о локальной эффективности, стоит заметить, что ситуация на российском банковском рынке стабильнее, чем в случае с глобальной эффективностью.

70% банков в течение трех лет в целом характеризуются технической эффективностью (АО «АЛЬФА-БАНК» и ПАО Банк «ФК Открытие» не имели технической эффективности в 2019 и 2018 годах соответственно, но в настоящий момент показатель по данным банкам равен 1).

Технической эффективности за исследуемый период не достигли ПАО «Совкомбанк», ПАО РОСБАНК и АО «Россельхозбанк», что говорит об их отставании от конкурентов на российском банковском рынке и необходимости стратегических изменений в деятельности банков.

Стоит заметить, что ПАО Банк «ФК Открытие» в 2018 году имел низкий показатель технической эффективности как с локальной, так и с глобальной точки зрения в связи с прохождением процедуры санации, но в 2019 и 2020 годах ситуацию удалось стабилизировать за счет государственной поддержки, оказанной банку.

Параметры эффективности, ориентированной на максимизацию результатов деятельности банков, приведены в таблице 3.

При расчете модели с постоянным эффектом масштаба входные и выходные параметры изменяются пропорционально, результаты расчета модели с ориентацией на выход совпадают с расчетами модели с ориентацией на вход, что видно при сопоставлении таблиц 2 и 3.

Таблица 3

Результаты расчета модели с ориентацией на выход для российских коммерческих банков

Российские коммерческие банки
2018 год
2019 год
2020
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
АО ЮниКредит Банк
1
эффективен
1
эффективен
1
эффективен
1
эффективен
0,971
неэффективен
1
эффективен
Банк ГПБ (АО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
ПАО «Совкомбанк»
0,560
неэффективен
0,592
неэффективен
0,642
неэффективен
0,645
неэффективен
0,407
неэффективен
0,507
неэффективен
Банк ВТБ (ПАО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «АЛЬФА-БАНК»
0,747
неэффективен
1
эффективен
0,703
неэффективен
0,777
неэффективен
1
эффективен
1
эффективен
ПАО Сбербанк
0,839
неэффективен
1
эффективен
0,813
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО Банк «ФК Открытие»
0,563
неэффективен
0,632
неэффективен
0,944
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО РОСБАНК
0,477
неэффективен
0,504
неэффективен
0,845
неэффективен
0,884
неэффективен
0,705
неэффективен
0,745
неэффективен
АО «Райффайзенбанк»
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «Россельхозбанк»
0,649
неэффективен
0,748
неэффективен
0,582
неэффективен
0,635
неэффективен
0,506
неэффективен
0,546
неэффективен
Среднее значение
0,784

0,848

0,853
0,894
0,859

0,88

Источник: составлено авторами на основании расчетов.

В отличие от модели VRS, ориентированной на вход, расчет по модели, ориентированной на выход, показывает снижение среднего значения технической эффективности в 2020 году по сравнению с 2019 годом: от 0,894 к 0,88 соответственно.

Сложившаяся ситуация не в последнюю очередь обусловлена следующими факторами:

· стагнация ПАО «Совкомбанк» с показателя технической эффективности 0,65 в 2019 году к показателю 0,51 в 2020 году;

· стагнация ПАО РОСБАНК с показателя технической эффективности 0,88 в 2019 году к показателю 0,75 в 2020 году;

· стагнация АО «Россельхозбанк» в течение всего исследуемого периода – 0,75, 0,64 и 0,55 в 2018, 2019 и 2020 годах соответственно.

Стоит заметить, что в сравнении с более крупными банками ПАО «Совкомбанк» и АО «Россельхозбанк» имеют в целом сопоставимые параметры входа, а именно – число банкоматов и отделений, поэтому банкам необходимо направить силы на повышение эффективности использования имеющихся ресурсов. ПАО РОСБАНК значительно уступает по количеству банкоматов и числу отделений, для того чтобы составлять конкуренцию другим банкам, ПАО РОСБАНК необходимо расширять свою сеть.

Технической эффективностью в целом за исследуемый период характеризуются те же 70% банков, что и в модели VRS, ориентированной на выход – подобная ситуация, когда модель VRS, ориентированная на вход, сопоставима с моделью, ориентированной на выход, является частой при расчетах по DEA-моделированию, что доказывается и расчетами по российским коммерческим банкам за исследуемый период.

Наглядно полученные результаты оценки эффективности представлены на рисунке.

Рисунок. Сравнение показателей технической эффективности российских коммерческих банков в различных разрезах DEA-моделирования за 2018–2020 гг.

Источник: составлено авторами.

Заключение

Проведенные VRS и CRS модели DEA-анализа позволяют сделать следующие обобщающие выводы:

1) стабильными показателями технической эффективности характеризуются крупные банки с государственной поддержкой, а также технологичные банки (Банк ВТБ (ПАО), ПАО Сбербанк, Банк ГПБ (АО), АО «АЛЬФА-БАНК», АО ЮниКредит Банк, ПАО Банк «ФК Открытие», АО «Райффайзенбанк»);

2) низкими показателями технической эффективности характеризуются слабо технологичные, а также сконцентрированные на определенных клиентских сегментах банки (ПАО «Совкомбанк», АО «Россельхозбанк», ПАО РОСБАНК), которым в том числе по причине отсутствия необходимого уровня цифрового развития не удалось в полной мере перевести оказание услуг клиентам в онлайн-режим в период пандемии COVID-19 в 2020 году. Однако стоит учитывать, что модель ориентирована именно на сравнение банков между собой, локально, например, финансовые показатели деятельности определенного банка могут расти по сравнению с предыдущими периодами;

3) ПАО Сбербанк, АО «АЛЬФА-БАНК» и ПАО Банк «ФК Открытие» к 2020 году смогли добиться показателя глобальной технической эффективности главным образом за счет внедрения и успешного использования новых технологий, таких как сервисы на основе облачных технологий, новейшие системы поиска и распознавания, биометрия, искусственный интеллект, роботы;

4) в целом по российским коммерческим банкам наблюдается положительная динамика технической эффективности к 2020 году, что говорит о развитии российской банковской системы. В настоящий момент большинство крупных банков России ориентируются на модернизацию оказываемых услуг и оптимизацию деятельности за счет применения цифровых технологий, активно переводят свою деятельность в онлайн-формат, оптимизируют занимаемые площади, внедряют бережливое производство, а также ориентируются на успешные примеры крупнейших банков США, Европы и Китая.

Таким образом, на сегодняшнем этапе развития банковской сферы большую роль в повышении эффективности деятельности коммерческих банков играют: эффект масштаба, максимальная цифровизация операционных процессов и последовательное внедрение инновационных (преимущественно цифровых) технологий. И если эффект масштаба могут использовать только крупные банки с большим уставным капиталом, то стратегия развития остальных банков должна быть состедоточена на цифровизации и поиске оптимального соотношения затрат и результатов, а не их максимизации любой ценой.

Использование методологии анализа среды функционирования (DEA) для оценки эффективности деятельности банков может быть расширено за счет включения дополнительных, нефинансовых параметров затрат и результатов, а также и для оценки эффективности потенциальных слияний и поглощений банковских и финансовых структур.


References:

Arshinova T. (2011). Construction of Equity Portfolio on the Basis of Data Envelopment Analysis Approach Scientific Journal of Riga Technical University. 49

Charnes A., Cooper W., Rhodes E. (1981). Evaluating program and managerial efficiency: An application of data envelopment analysis to program follow through Management Science. (27). 668-697. doi: 10.1287/mnsc.27.6.668.

Charnes A., Cooper W.W., Rhodes E. (1978). Measuring the efficiency of Decision Making Units European Journal of Operational Research. 2 429-444.

Farrel J. Michael (1957). The measurement of Productive efficiency Journal of the Royal Statistical Society. 125 (2). 252-267.

Krivonozhko V.E., Lychev A.V. (2010). Analiz deyatelnosti slozhnyh sotsialno-ekonomicheskikh sistem [Analysis of complex socio-economic systems] M.: MAKS Press. (in Russian).

Morgunov E.P. (2007). Sistema podderzhki prinyatiya resheniy pri issledovanii effektivnosti slozhnyh sistem: printsipy razrabotki, trebovaniya i arkhitektura [Decision support system for efficiency assessment of complex systems: design principles, requirements, and architecture]. Vestnik Sibirskogo gosudarstvennogo aerokosmicheskogo universiteta im. akademika M.F. Reshetneva. (3(16)). 59-63. (in Russian).

Pustovalova T.A., Markova A.V. (2016). Otsenka kachestva upravleniya kommercheskim bankom s pomoshchyu DEA-modelirovaniya [Assessing the quality of commercial bank management using DEA modeling]. Economics and management. (4(126)). 39-47. (in Russian).

Ratner S.V., Iosifov V.V. (2018). Otsenka stepeni sootvetstviya modeli ekonomicheskogo rosta regiona printsipam ustoychivogo razvitiya metodom neparametricheskoy optimizatsii [Assessment of conformity of a region''s economic growth model to the sustainable development principles through the method of non-parametric optimization]. Regional Economics: Theory and Pactice. 16 (9(456)). 1749-1765. (in Russian). doi: 10.24891/re.16.9.1749 .

Ratner S.V., Ratner M.D. (2017). Otsenka effektivnosti sistem regionalnogo ekologicheskogo menedzhmenta [Evaluation of efficiency of regional ecologic management systems]. Bulletin of the Volgograd State Technical University. (7(202)). 8-16. (in Russian).

Roslyakova N.A. (2018). Ispolzovanie metodiki DEA dlya otsenki perspektiv innovatsionnogo razvitiya Severo-Zapada [The DEA method to estimate the North-West innovation development's perspectives] Multifactorial challenges and risks in the context of the implementation of the strategy of scientific, technological and economic development of the North-West macro-region. 67-73. (in Russian).

Teplova T.V., Sokolova T.V. (2017). Neparametricheskiy metod obolochechnogo analiza dlya portfelnyh postroeniy na rossiyskom rynke obligatsiy [The non-parametric data envelopment analysis method for portfolio design in the Russian bond market]. Economics and the Mathematical Methods. 53 (3). 110-128. (in Russian).

Vechkinzova E., PetrenkoYe., Benčič S., Ulybyshev D., Zhailauov Ye. (2019). Evaluation of regional innovation systems performance using data envelopment analysis (DEA) Entrepreneurship and Sustainability Issues. 7 (1). 498-509. doi: 10.9770/jesi.2019.7.1(35) .

Vechkinzova E.A. (2020). Analiz effektivnosti funktsionirovaniya regionalnyh innovatsionnyh sistem Kazakhstana [Analysis of the effectiveness of functioning of regional innovative systems of Kazakhstan]. Drukerovskij vestnik. (1(33)). 329-340. (in Russian). doi: 10.17213/2312-6469-2020-1-329-340 .

Страница обновлена: 27.03.2025 в 02:46:47