Оценка эффективности функционирования коммерческих банков России на основе анализа среды функционирования

Одинцов В.О.1, Вечкинзова Е.А.2,1
1 Финансовый университет при Правительстве Российской Федерации, Россия, Москва
2 Институт проблем управления им. В.А. Трапезникова РАН, Россия, Москва

Статья в журнале

Креативная экономика (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Том 15, Номер 5 (Май 2021)

Цитировать:
Одинцов В.О., Вечкинзова Е.А. Оценка эффективности функционирования коммерческих банков России на основе анализа среды функционирования // Креативная экономика. – 2021. – Том 15. – № 5. – С. 2017-2032. – doi: 10.18334/ce.15.5.112118.

Эта статья проиндексирована РИНЦ, см. https://elibrary.ru/item.asp?id=46184889
Цитирований: 3 по состоянию на 05.09.2022

Аннотация:
Оценка эффективности функционирования банков является основой построения и актуализации стратегического плана развития финансово-кредитных организаций, а также неотъемлемым элементом определения социально – экономической результативности. В статье рассматривается один из методов сравнительной эффективности – анализ среды функционирования (data envelopment analysis, DEA) коммерческих банков. В качестве входных данных использованы показатели количества банкоматов, терминалов самообслуживания, отделений, частных клиентов и численность сотрудников. В качестве выходных параметров рассматривались результаты деятельности коммерческих банков: чистая прибыль за отчетный период, кредиты физическим лицам, вклады физических лиц. Результаты исследования позволили выявить эффективные и неэффективные коммерческие банки по двум моделям технической эффективности: общей (СRS-модель) и чистой (VRS-модель) эффективности, ориентированных как на входы (затраты), так и на выходы (результаты) деятельности банков. Статья будет интересна исследователям экономической эффективности деятельности финансовых организаций.

Ключевые слова: эффективность функционирования, метод DEA; непараметрическая оптимизация, анализ среды функционирования, банковская система, Россия

JEL-классификация: G21, G20, G29



Введение

Эффективное развитие банковской системы является основой экономического роста и развития страны в целом, так как она является основным проводником трансакционных операций экономических агентов. Стратегии развития коммерческих банков, ориентированные только на достижение экономических коэффициентов эффективности, показывают свою несостоятельность в достижении социально-экономической результативности. Это связано с тем, что все больший объем банковских операций приходится на сферу обслуживания физических лиц и требует расширения филиальной сети, доступности терминалов и банкоматов для индивидуального пользовательского обслуживания. Современная стратегия развития коммерческих банков должна ориентироваться на эффективность функционирования с учетом всех перечисленных факторов.

Цель данного исследования – провести анализ и дать оценку эффективности функционирования коммерческих банков России, используя как финансовые, так и нефинансовые показатели деятельности банков. Новизна исследования состоит в использовании параметров различных типов и размерности для анализа эффективности деятельности. Авторская гипотеза состоит в том, что эффективность функционирования коммерческих банков должна строиться на основе анализа среды функционирования с использованием метода DEA (data envelopment analysis), позволяющего выявить как глобальную (полную), так и локальную (сравнительную) эффективность.

Методика исследования

Метод DEA является непараметрическим методом измерения эффективности набора равноправных объектов на основе оптимизационной задачи линейного программирования с двумя целевыми ориентирами оптимизации: максимизация результатов деятельности (выходов) при заданном количестве ресурсов (входов) или минимизация используемых ресурсов (входов) при заданном уровне результатов (выходов) [12–14] (Charnes, Cooper, Rhodes, 1978; Charnes, Cooper, Rhodes, 1981; Farrel Michael, 1957).

Объекты, получившие наивысшие оценки при сопоставлении входов и выходов в задаче линейного программирования, составляют границу производственных возможностей, признаются технически эффективными и становятся ориентиром эффективности для других объектов в выборке.

DEA-методология предполагает две трактовки технической эффективности: глобальную (полную) и локальную (сравнительную). Объект является глобально эффективным, когда ни один из ее «входов» и «выходов» не могут быть улучшены без ухудшения других «входов» и «выходов» (эффективность по Парето и Купмансу). Объект обладает локальной эффективностью, когда эффективность других объектов выборки не показывает, что некоторые из «входов» и «выходов» эффективного объекта могут быть улучшены без ухудшения других своих «входов» и «выходов» [1, 3, 5–8, 15] (Vechkinzova, 2020; Krivonozhko, Lychev, 2010; Pustovalova, Markova, 2016; Ratner, Ratner, 2017; Ratner, Iosifov, 2018; Roslyakova, 2018; Vechkinzova, Petrenko, Benčič, Ulybyshev, Zhailauov, 2019).

Методология DEA является привлекательной, прежде всего, потому, что позволяет сравнивать объекты на основе параметров различной размерности и шкал (отсутствует необходимость в сравнении только денежных или только натуральных показателей и т.п.), а также потому, что в результате расчетов модель дает конкретные рекомендации по увеличению/уменьшению входов и (или) выходов для неэффективных объектов, приводя в качестве эталона наиболее близкие по пропорциям входов и выходов эффективные объекты из этой же выборки.

Для расчета в исследовании применялась общедоступная версия программы DEAP (http://www.uq.edu.au/economics/cepa/deap.php).

Результаты исследования

Для сравнения эффективности функционирования были выбраны 10 российских банков, входящих в перечень системно значимых кредитных организаций, утвержденный Банком России от 29.10.2020 в соответствии с Указанием от 22.07.2015 № 3737-У «О методике определения системно значимых кредитных организаций» [2]. Данные, используемые в качестве входных и выходных параметров, приведены за период 2018–2020 гг.

В качестве входных параметров определены:

· количество банкоматов и терминалов самообслуживания (шт.);

· количество отделений (шт.);

· количество частных клиентов (чел.);

· численность сотрудников (чел.).

В качестве выходных параметров рассматривались следующие результаты деятельности:

· чистая прибыль за отчетный период (тыс. руб.);

· кредиты физическим лицам (тыс. руб.);

· вклады физических лиц (тыс. руб.).

Фактические значения показателей приведены в таблице 1.

Результаты расчетов модели, ориентированной на вход (целевая ориентация – минимизация ресурсов) приведены в таблице 2.

Таблица 1

Исходные данные коммерческих банков за 2018–2020 гг.

Российские коммерческие банки
Ресурсы (Входы модели)
Результаты (Выходы модели)
Количество банкоматов и терминалов самообслуживания, штук
Количество отделений, штук
Количество частных клиентов, человек
Численность сотрудников, человек
Чистая прибыль за отчетный период, тысяч рублей
Кредиты физическим лицам, тысяч рублей
Вклады физических лиц, тысяч рублей
Вход 1
Вход 2
Вход 3
Вход 4
Выход 1
Выход 2
Выход 3
2018 год
АО ЮниКредит Банк
777
101
2 100 000
4 044
19 846 148
150 686 229
229 628 548
Банк ГПБ (АО)
3 660
350
4 000 000
14 572
26 842 454
472 292 935
891 343 815
ПАО «Совкомбанк»
10 000
2 500
4 600 000
11 480
17 552 961
197 283 080
385 402 089
Банк ВТБ (ПАО)
16 000
1 600
16 000 000
96 957
202 585 461
2 553 028 282
3 607 968 498
АО «АЛЬФА-БАНК»
25 000
774
15 800 000
24 503
89 770 198
442 727 772
987 683 349
ПАО Сбербанк
77 000
14 200
90 000 000
310 300
758 857 550
6 112 079 033
12 182 974 469
ПАО Банк «ФК Открытие»
6 000
412
3 400 000
20 000
3 290 528
139 382 082
431 093 539
ПАО РОСБАНК
2 000
300
4 000 000
9 172
9 405 000
142 454 744
257 038 742
АО «Райффайзенбанк»
8 200
180
15 000 000
8 171
22 236 908
269 046 903
426 818 232
АО «Россельхозбанк»
11 134
1 255
6 800 000
26 302
5 163 906
419 855 889
984 988 846
2019 год
АО ЮниКредит Банк
10 077
101
2 300 000
4 066
10 062 641
185 688 349
260 384 396
Банк ГПБ (АО)
4 000
400
4 100 000
16 644
56 552 904
571 585 716
1 142 899 974
ПАО «Совкомбанк»
11 500
2 648
6 500 000
15 700
34 955 992
276 929 479
424 566 757
Банк ВТБ (ПАО)
17 000
1 700
14 000 000
77 200
170 715 480
2 891 590 138
4 183 250 312
АО «АЛЬФА-БАНК»
27 900
791
16 500 000
25 000
59 299 996
639 414 512
1 131 960 972
ПАО Сбербанк
77 000
14 200
95 400 000
293 752
814 110 047
7 200 185 393
12 768 925 014
ПАО Банк «ФК Открытие»
20 000
745
3 600 000
21 245
46 861 523
318 684 307
889 727 632
ПАО РОСБАНК
38 000
320
4 000 000
9 456
11 666 917
340 535 875
310 696 275
АО «Райффайзенбанк»
16 850
141
16 800 000
8 949
36 664 914
309 932 256
450 576 436
АО «Россельхозбанк»
12 334
1 269
7 000 000
29 862
10 400 984
455 346 482
1 146 703 156

Таблица 1

Исходные данные коммерческих банков за 2018–2020 гг. (Продолжение)

Российские коммерческие банки
Вход 1
Вход 2
Вход 3
Вход 4
Выход 1
Выход 2
Выход 3
2020 год
АО ЮниКредит Банк
12 000
87
3 000 000
4 712
10 289 344
157 930 261
263 453 912
Банк ГПБ (АО)
3 500
410
5 000 000
26 886
62 749 493
656 069 132
1 399 193 964
ПАО «Совкомбанк»
13 000
2 100
8 100 000
14 934
18 466 194
331 850 666
446 154 690
Банк ВТБ (ПАО)
18 000
1 868
13 300 000
51 479
56 103 590
3 269 967 923
4 640 929 571
АО «АЛЬФА-БАНК»
28 000
810
18 700 000
23 346
156 569 323
883 791 356
1 434 739 432
ПАО Сбербанк
70 400
13 152
97 500 000
233 992
781 587 558
8 471 928 310
14 800 892 956
ПАО Банк «ФК Открытие»
22 277
602
4 700 000
22 425
81 497 350
459 475 840
902 336 176
ПАО РОСБАНК
42 000
310
4 800 000
10 140
15 251 147
372 208 270
297 760 572
АО «Райффайзенбанк»
14 300
117
18 200 000
9 994
36 788 084
320 276 076
621 887 548
АО «Россельхозбанк»
14 000
1 500
7 800 000
27 941
2 229 513
555 246 176
1 275 138 168
Источник: составлено авторами по данным источника [10].

Таблица 2

Результаты расчета модели с ориентацией на вход для российских коммерческих банков

Российские коммерческие банки
2018 год
2019 год
2020 год
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
Значение
Показатель эффектив-ности
АО ЮниКредит Банк
1
эффективен
1
эффективен
1
эффективен
1
эффективен
0,971
неэффективен
1
эффективен
Банк ГПБ (АО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
ПАО «Совкомбанк»
0,560
неэффективен
0,568
неэффективен
0,642
неэффективен
0,676
неэффективен
0,407
неэффективен
0,754
неэффективен
Банк ВТБ (ПАО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «АЛЬФА-БАНК»
0,747
неэффективен
1
эффективен
0,703
неэффективен
0,734
неэффективен
1
эффективен
1
эффективен
ПАО Сбербанк
0,839
неэффективен
1
эффективен
0,813
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО Банк «ФК Открытие»
0,563
неэффективен
0,788
неэффективен
0,944
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО РОСБАНК
0,477
неэффективен
0,545
неэффективен
0,845
неэффективен
0,873
неэффективен
0,705
неэффективен
0,800
неэффективен
АО «Райффайзенбанк»
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «Россельхозбанк»
0,649
неэффективен
0,659
неэффективен
0,582
неэффективен
0,587
неэффективен
0,506
неэффективен
0,689
неэффективен
Среднее значение
0,784

0,856

0,853
0,887
0,859

0,924

Источник: составлено авторами на основании расчетов.

Среднее значение технической эффективности, рассчитанное по модели с постоянной отдачей масштаба, в 2018 году равняется 0,784, в 2019 году – 0,853, в 2020 году – 0,859, то есть наблюдается положительная тенденция, которая говорит о том, что банки становились глобально эффективнее с каждым годом в период с 2018 по 2020 год. Такая динамика связана с постепенной, хоть и не быстрой, адаптацией российских коммерческих банков к меняющимся условиям функционирования кредитных организаций в мире, в том числе с внедрением российскими банками новых технологий.

Если в 2018 и 2019 годах при постоянном эффекте масштаба доля эффективных банков составляла лишь 40%, то к 2020 году ситуация начала улучшаться, и доля составила 40%, не в последнюю очередь за счет того, что ПАО Сбербанк и АО «АЛЬФА-БАНК» успешно внедряли новые банковские продукты, а также преуспели во внедрении искусственного интеллекта и роботов в свою деятельность, за счет чего удалось оптимизировать значимую часть затрат и к 2020 году исправить ситуацию с отсутствием технической эффективности.

АО «Россельхозбанк» и АО ЮниКредит Банк в части постоянного эффекта масштаба характеризуются стагнацией, стабильно низкими показателями характеризуются ПАО «Совкомбанк» и ПАО РОСБАНК – топ-менеджменту банков необходимо обратить внимание на проблемы глобального уровня функционирования банков.

Говоря о локальной эффективности, стоит заметить, что ситуация на российском банковском рынке стабильнее, чем в случае с глобальной эффективностью.

70% банков в течение трех лет в целом характеризуются технической эффективностью (АО «АЛЬФА-БАНК» и ПАО Банк «ФК Открытие» не имели технической эффективности в 2019 и 2018 годах соответственно, но в настоящий момент показатель по данным банкам равен 1).

Технической эффективности за исследуемый период не достигли ПАО «Совкомбанк», ПАО РОСБАНК и АО «Россельхозбанк», что говорит об их отставании от конкурентов на российском банковском рынке и необходимости стратегических изменений в деятельности банков.

Стоит заметить, что ПАО Банк «ФК Открытие» в 2018 году имел низкий показатель технической эффективности как с локальной, так и с глобальной точки зрения в связи с прохождением процедуры санации, но в 2019 и 2020 годах ситуацию удалось стабилизировать за счет государственной поддержки, оказанной банку.

Параметры эффективности, ориентированной на максимизацию результатов деятельности банков, приведены в таблице 3.

При расчете модели с постоянным эффектом масштаба входные и выходные параметры изменяются пропорционально, результаты расчета модели с ориентацией на выход совпадают с расчетами модели с ориентацией на вход, что видно при сопоставлении таблиц 2 и 3.

Таблица 3

Результаты расчета модели с ориентацией на выход для российских коммерческих банков

Российские коммерческие банки
2018 год
2019 год
2020
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Общая / глобальная эффективность
(СRS-модель)
Чистая / локальная эффективность
(VRS-модель)
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
Значение
Показатель эффективности
АО ЮниКредит Банк
1
эффективен
1
эффективен
1
эффективен
1
эффективен
0,971
неэффективен
1
эффективен
Банк ГПБ (АО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
ПАО «Совкомбанк»
0,560
неэффективен
0,592
неэффективен
0,642
неэффективен
0,645
неэффективен
0,407
неэффективен
0,507
неэффективен
Банк ВТБ (ПАО)
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «АЛЬФА-БАНК»
0,747
неэффективен
1
эффективен
0,703
неэффективен
0,777
неэффективен
1
эффективен
1
эффективен
ПАО Сбербанк
0,839
неэффективен
1
эффективен
0,813
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО Банк «ФК Открытие»
0,563
неэффективен
0,632
неэффективен
0,944
неэффективен
1
эффективен
1
эффективен
1
эффективен
ПАО РОСБАНК
0,477
неэффективен
0,504
неэффективен
0,845
неэффективен
0,884
неэффективен
0,705
неэффективен
0,745
неэффективен
АО «Райффайзенбанк»
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
1
эффективен
АО «Россельхозбанк»
0,649
неэффективен
0,748
неэффективен
0,582
неэффективен
0,635
неэффективен
0,506
неэффективен
0,546
неэффективен
Среднее значение
0,784

0,848

0,853
0,894
0,859

0,88

Источник: составлено авторами на основании расчетов.

В отличие от модели VRS, ориентированной на вход, расчет по модели, ориентированной на выход, показывает снижение среднего значения технической эффективности в 2020 году по сравнению с 2019 годом: от 0,894 к 0,88 соответственно.

Сложившаяся ситуация не в последнюю очередь обусловлена следующими факторами:

· стагнация ПАО «Совкомбанк» с показателя технической эффективности 0,65 в 2019 году к показателю 0,51 в 2020 году;

· стагнация ПАО РОСБАНК с показателя технической эффективности 0,88 в 2019 году к показателю 0,75 в 2020 году;

· стагнация АО «Россельхозбанк» в течение всего исследуемого периода – 0,75, 0,64 и 0,55 в 2018, 2019 и 2020 годах соответственно.

Стоит заметить, что в сравнении с более крупными банками ПАО «Совкомбанк» и АО «Россельхозбанк» имеют в целом сопоставимые параметры входа, а именно – число банкоматов и отделений, поэтому банкам необходимо направить силы на повышение эффективности использования имеющихся ресурсов. ПАО РОСБАНК значительно уступает по количеству банкоматов и числу отделений, для того чтобы составлять конкуренцию другим банкам, ПАО РОСБАНК необходимо расширять свою сеть.

Технической эффективностью в целом за исследуемый период характеризуются те же 70% банков, что и в модели VRS, ориентированной на выход – подобная ситуация, когда модель VRS, ориентированная на вход, сопоставима с моделью, ориентированной на выход, является частой при расчетах по DEA-моделированию, что доказывается и расчетами по российским коммерческим банкам за исследуемый период.

Наглядно полученные результаты оценки эффективности представлены на рисунке.

Рисунок. Сравнение показателей технической эффективности российских коммерческих банков в различных разрезах DEA-моделирования за 2018–2020 гг.

Источник: составлено авторами.

Заключение

Проведенные VRS и CRS модели DEA-анализа позволяют сделать следующие обобщающие выводы:

1) стабильными показателями технической эффективности характеризуются крупные банки с государственной поддержкой, а также технологичные банки (Банк ВТБ (ПАО), ПАО Сбербанк, Банк ГПБ (АО), АО «АЛЬФА-БАНК», АО ЮниКредит Банк, ПАО Банк «ФК Открытие», АО «Райффайзенбанк»);

2) низкими показателями технической эффективности характеризуются слабо технологичные, а также сконцентрированные на определенных клиентских сегментах банки (ПАО «Совкомбанк», АО «Россельхозбанк», ПАО РОСБАНК), которым в том числе по причине отсутствия необходимого уровня цифрового развития не удалось в полной мере перевести оказание услуг клиентам в онлайн-режим в период пандемии COVID-19 в 2020 году. Однако стоит учитывать, что модель ориентирована именно на сравнение банков между собой, локально, например, финансовые показатели деятельности определенного банка могут расти по сравнению с предыдущими периодами;

3) ПАО Сбербанк, АО «АЛЬФА-БАНК» и ПАО Банк «ФК Открытие» к 2020 году смогли добиться показателя глобальной технической эффективности главным образом за счет внедрения и успешного использования новых технологий, таких как сервисы на основе облачных технологий, новейшие системы поиска и распознавания, биометрия, искусственный интеллект, роботы;

4) в целом по российским коммерческим банкам наблюдается положительная динамика технической эффективности к 2020 году, что говорит о развитии российской банковской системы. В настоящий момент большинство крупных банков России ориентируются на модернизацию оказываемых услуг и оптимизацию деятельности за счет применения цифровых технологий, активно переводят свою деятельность в онлайн-формат, оптимизируют занимаемые площади, внедряют бережливое производство, а также ориентируются на успешные примеры крупнейших банков США, Европы и Китая.

Таким образом, на сегодняшнем этапе развития банковской сферы большую роль в повышении эффективности деятельности коммерческих банков играют: эффект масштаба, максимальная цифровизация операционных процессов и последовательное внедрение инновационных (преимущественно цифровых) технологий. И если эффект масштаба могут использовать только крупные банки с большим уставным капиталом, то стратегия развития остальных банков должна быть состедоточена на цифровизации и поиске оптимального соотношения затрат и результатов, а не их максимизации любой ценой.

Использование методологии анализа среды функционирования (DEA) для оценки эффективности деятельности банков может быть расширено за счет включения дополнительных, нефинансовых параметров затрат и результатов, а также и для оценки эффективности потенциальных слияний и поглощений банковских и финансовых структур.


Источники:

1. Вечкинзова Е.А. Анализ эффективности функционирования региональных инновационных систем Казахстана // Друкеровский вестник. – 2020. – № 1(33). – c. 329-340. – doi: 10.17213/2312-6469-2020-1-329-340 .
2. Информационно-правовой портал «Гарант.ру». [Электронный ресурс]. URL: https://www.garant.ru/products/ipo/prime/doc/71067794 (дата обращения: 10.02.2021).
3. Кривоножко В.Е., Лычев А.В. Анализ деятельности сложных социально-экономических систем. / Монография. - М.: МАКС Пресс, 2010. – 207 c.
4. Моргунов Е.П. Система поддержки принятия решений при исследовании эффективности сложных систем: принципы разработки, требования и архитектура // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева. – 2007. – № 3(16). – c. 59-63.
5. Пустовалова Т.А., Маркова А.В. Оценка качества управления коммерческим банком с помощью DEA-моделирования // Экономика и управление. – 2016. – № 4(126). – c. 39-47.
6. Ратнер С.В., Ратнер М.Д. Оценка эффективности систем регионального экологического менеджмента // Известия Волгоградского государственного технического университета. – 2017. – № 7(202). – c. 8-16.
7. Ратнер С.В., Иосифов В.В. Оценка степени соответствия модели экономического роста региона принципам устойчивого развития методом непараметрической оптимизации // Региональная экономика: теория и практика. – 2018. – № 9(456). – c. 1749-1765. – doi: 10.24891/re.16.9.1749 .
8. Рослякова Н.А. Использование методики DEA для оценки перспектив инновационного развития Северо-Запада // Многофакторные вызовы и риски в условиях реализации стратегии научно-технологического и экономического развития макрорегиона «Северо-Запад»: Мат-лы Всеросс. науч.-практ. конф-и. СПб., 2018. – c. 67-73.
9. Теплова Т.В., Соколова Т.В. Непараметрический метод оболочечного анализа для портфельных построений на российском рынке облигаций // Экономика и математические методы. – 2017. – № 3. – c. 110-128.
10. Центральный банк Российской Федерации. [Электронный ресурс]. URL: https://cbr.ru/banking_sector/credit/SystemBanks.html (дата обращения: 16.04.2021).
11. Arshinova T. Construction of Equity Portfolio on the Basis of Data Envelopment Analysis Approach // Scientific Journal of Riga Technical University. – 2011.
12. Charnes A., Cooper W.W., Rhodes E. Measuring the efficiency of Decision Making Units // European Journal of Operational Research. – 1978. – p. 429-444.
13. Charnes A., Cooper W., Rhodes E. Evaluating program and managerial efficiency: An application of data envelopment analysis to program follow through // Management Science. – 1981. – № 27. – p. 668-697. – doi: 10.1287/mnsc.27.6.668.
14. Farrel J. Michael The measurement of Productive efficiency // Journal of the Royal Statistical Society. Series A. – 1957. – № 2. – p. 252-267.
15. Vechkinzova E., PetrenkoYe., Benčič S., Ulybyshev D., Zhailauov Ye. Evaluation of regional innovation systems performance using data envelopment analysis (DEA) // Entrepreneurship and Sustainability Issues. – 2019. – № 1. – p. 498-509. – doi: 10.9770/jesi.2019.7.1(35) .

Страница обновлена: 14.07.2024 в 23:58:29