Алгоритм ранжирования научно-исследовательских проектов и разработок университета в зависимости от уровня их коммерческого потенциала

Букач Б.А.1, Митус К.Н.1, Писарюк С.Н.1, Дребот А.М.1
1 Севастопольский государственный университет, Россия, Севастополь

Статья в журнале

Вопросы инновационной экономики (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Том 11, Номер 4 (Октябрь-декабрь 2021)

Цитировать:
Букач Б.А., Митус К.Н., Писарюк С.Н., Дребот А.М. Алгоритм ранжирования научно-исследовательских проектов и разработок университета в зависимости от уровня их коммерческого потенциала // Вопросы инновационной экономики. – 2021. – Том 11. – № 4. – С. 1627-1642. – doi: 10.18334/vinec.11.4.113815.

Эта статья проиндексирована РИНЦ, см. https://elibrary.ru/item.asp?id=48125307
Цитирований: 4 по состоянию на 30.01.2024

Аннотация:
В статье рассмотрен алгоритм ранжирования научно-исследовательских проектов и разработок университета в зависимости от степени их коммерческой реализуемости. В основу алгоритма положена адаптированная под нужды вузов методика сбалансированного подхода к оценке готовности проектов TPRL (TechnologyProjectReadinessLevel). Авторами представлено целостное представление о готовности к коммерциализации разработок прикладного характера научными коллективами университета как совокупности завершенных процессов оценки технологической (TRL), производственной и организационной (MRL), рыночной (CRL)готовности проекта.

Ключевые слова: инновации, научно-исследовательский проект, коммерциализация, технологическая готовность, производственная готовность, организационная готовность, рыночная готовность, экспертные оценки

Финансирование:
Исследование выполнено при финансовой поддержке внутреннего гранта ФГАОУ ВО «Севастопольский государственный университет» в рамках научного проекта № 34/06-31.

JEL-классификация: I23, I22, I26, O31



Введение. Ранжирование и выбор наиболее перспективных научно-технических проектов является важным элементом организации научной деятельности, финансовой и инновационной стратегии организации. В современных социально-экономических реалиях актуализируется вектор инновационного развития организаций, вопросы обеспечения ее конкурентоспособности. Инновационные проекты являются особыми инвестиционными проектами, а следовательно, их оценка требует специальных подходов, сочетания количественных и качественных методов, методов прогнозирования, а также проведения сравнительного многокритериального анализа на основе экспертных оценок. Оценка и ранжирование научно-исследовательских проектов усложняются новизной продукта, более высокими технологическими и коммерческими рисками, правовыми институциональными особенностями и др.

Методики оценки научно-исследовательских проектов представлены в научных работах таких отечественных авторов, как Бухарин С.Н. [1] (Bukharin, Gukasov, Lazarenko, 2011), Гусев А.Б. [2] (Gusev, Shiryaev, Kornilov, 2011), Качак В.В. [3] (Kachak, Zhurikhin, Maslennikov, 2012), Ларин С.Н. [4] (Larin, Gerasimova, Ilmenskaya, 2014), Лившиц В.Н. [5] (Livshits, Panov, Tishchenko et al., 2015), Осташков А.В. [6] (Ostashkov, 2011), Проничкин С.В. [7] (Pronichkin, Tikhonov, 2014), Тихонов, Н.А. [8] (Tikhonov, 2012), Федотов А.В. [9] (Fedotov, Vasetskaya, 2013), Кацко И.А. [10] (Mitus, Katsko, 2015) и пр., а также многих зарубежных исследователей [11–19] (Aiman-Smith, Goodrich, Roberts, Scinta, 2005; Argyres, Porter, 1998; Claver-Cortés, Zaragoza-Sáez, González Illescas, 2018; Graettinger, Caroline, et al., 2002; Justel, Justel, Vidal, Arriaga, Franco, Val-Jauregi, 2007; Sabadka, 2012; Verena, 2005).

Несмотря на наличие в научной и практической литературе широкого спектра предлагаемых/реализуемых методик оценки готовности научных разработок, на наш взгляд, основной проблемой является их обособленность. Это приводит к отсутствию логической последовательности процесса создания технического предложения в результате наличия востребованности со стороны рынка и необходимости определения возможности практической реализации предложения, то есть оценки организационно-производственного потенциала.

Цель исследования. Целью данной статьи является исследование и разработка алгоритма многокритериального оценивания и отбора научно-исследовательских проектов и разработок в зависимости от уровня их коммерческого потенциала.

В основе алгоритма лежит целостное представление о готовности к коммерциализации разработок прикладного характера научными коллективами университета, который в современных реалиях становится своеобразным фундаментом инновационного развития, формирования человеческого капитала, роста качества жизни, преобразований в обществе [20] (Fedorchenko, Garmashova, Drebot, 2021). Алгоритм представляет собой совокупности завершенных процессов оценки технологической, производственной и организационной, рыночной готовности.

Алгоритм включает в себя два этапа (блока), которые предполагают наличие критериев оценки с соответствующими весами, полученными экспертным путем. Веса с течением времени могут корректироваться в соответствии с тенденциями на рынке и изменением стратегии университета. С целью обоснованности оценки необходимо формирование двух экспертных групп: по тематическому направлению в области технических наук и по оценке готовности разработки к рыночной коммерциализации. Первая группа отвечает за оценку технологической готовности (TRL) [8, 13, 15, 16] (Tikhonov, 2012; Graettinger, , Caroline, et al., 2002), производственной и организационной готовности (MRL), вторая – за оценку рыночной готовности (CRL).

Необходимость разделения алгоритма на два блока продиктована первичностью определения базовых аспектов технологической готовности при обязательном условии рыночной готовности. Поэтому на первом этапе (в рамках первого блока-отсечки) оцениваются научные разработки по следующим критериям:

А ТRL (блок А направление ТRL) 4 критерия:

1. Востребованность.

2. Новизна.

3. Техническая реализуемость.

4. Глубина научной проработки.

A CRL (блок А направление СRL) 2 критерия:

1. «Боль» / проблема потребителя.

2. Прогнозное значение экономического эффекта (NPV).

Все критерии первого этапа алгоритма оцениваются по 10-балльной шкале и имеют весовые коэффициенты (веса), которые будут рассчитаны ниже. Минимальная оценка, которую может получить научная разработка на первом этапе анализа, – 0 баллов, максимальная оценка (без учета весов) – 60 баллов.

Научные разработки, получившие нулевую оценку хотя бы по одному из критериев, признаются не готовыми к рыночной коммерциализации и отсеиваются по итогам первого этапа.

После отсечки на первом этапе нежизнеспособных и экономически нецелесообразных проектов научных коллективов необходим переход к детализированной оценке технологической, производственной и организационной, рыночной готовности.

Второй этап анализа (блок Б) предполагает оценку по следующим направлениям:

1. Б ТRL (блок Б направление ТRL) – 9 критериев оценки технологической готовности:

- соответствия стратегии развития;

- масштаба;

- продуктоемкости;

- стадии разработки;

- институционально-правового статуса;

- интеллектуального потенциала научных кадров;

- полноты описания спецификации;

- наличия MVP (Minimal Viable Product – минимально жизнеспособного продукта);

- длительности жизненного цикла.

2. Б MRL (блок Б направление MRL) – 7 критериев оценки производственной и организационной готовности:

- наличие организационно-правовой структуры;

- партнеры;

- соответствия стандартам;

- профессиональные ресурсы (кадры);

- финансирование;

- материально-технические ресурсы;

- производственные риски.

3. Б CRL (блок Б направление CRL) – 11 критериев оценки рыночной готовности:

- ценностное предложение;

- конкурентные преимущества;

- уровень конкуренции;

- объем рынка;

- тенденции развития рынка;

- целевая аудитория;

- конкурентная цена;

- доступность каналов продвижения;

- финансовые показатели эффективности;

- наличие бизнес-модели;

- рыночные риски.

Все критерии второго этапа алгоритма оцениваются по 10-балльной шкале и имеют весовые коэффициенты (веса), которые будут рассчитаны ниже. Минимальная оценка, которую может получить научная разработка на втором этапе анализа, – 0 баллов, максимальная оценка (без учета весов) – 270 баллов.

По итогам первого и второго этапов анализа производится интегральная оценка готовности научных разработок к рыночной коммерциализации. Минимальная оценка, которую может получить разработка по результатам анализа, составляет 0 баллов, максимальная оценка (без учета весов) – 330 баллов.

Принципиальная схема алгоритма оценки готовности к рыночной коммерциализации разработок организации представлена на рисунке 1.

Рисунок 1. Принципиальная схема алгоритма оценки готовности к рыночной коммерциализации разработок

Источник: составлено авторами.

Путем определения интегральной оценки степени готовности разработки к коммерциализации определяется ее принадлежность к одной из категорий:

1. Разработка не готова к коммерциализации (красная зона: 0–40%, неперспективный проект). Балльный интервал составит от 0 до 132 баллов без учета весовых коэффициентов.

2. Разработка готова к коммерциализации частично (желтая зона: 41–80%, перспективный проект). Балльный интервал составит от 133 до 264 баллов без учета весовых коэффициентов.

3. Разработка полностью готова к коммерциализации (зеленая зона: 81–100%, приоритетный проект). Балльный интервал составит от 265 до 330 баллов без учета весовых коэффициентов.

На основе принадлежности проекта к одной из категорий дается экспертное заключение о степени готовности разработки к рыночной коммерциализации.

Несмотря на относительную простоту и однозначность результата предложенной ранее методики, она обладает одним существенным недостатком: влияние всех показателей на конечный результат одинаково, что во многом противоречит их содержанию. Устранить указанный недостаток можно включением в методику весовых коэффициентов.

Для определения весовых коэффициентов представленных выше критериев была проведена экспертная оценка нескольких научно-исследовательских проектов. В качестве экспертов выступали научные сотрудники, исследователи, разработчики и участники научно-исследовательских проектов. В опросе принимали участие 50 экспертов.

Для оценки важности отдельных блоков и критериев методики экспертами проведено ранжирование критериев по степени важности в рамках каждого блока.

На первом этапе экспертам было предложено проранжировать отдельные блоки методики с точки зрения степени их влияния на итоговую оценку уровня коммерческого потенциала научно-исследовательских проектов и разработок. Наиболее важному фактору следовало присвоить балл 1, наименее важному – 4. Блоки методики по значимости распределились так, как представлено в таблице 1.

Таблица 1

Расположение факторов по значимости


Сумма рангов
Блок Б – CRL
78
Блок А
86
Блок Б – TRL
168
Блок Б – MRL
168
Источник: составлено авторами.

Для оценки степени согласованности мнений экспертов рассчитаем коэффициент конкордации по формуле 1:

https://chart.googleapis.com/chart?cht=tx&chl=W%20=%20\frac%7b12S%7d%7bm%5e%7b2%7d(n%5e%7b3%7d-n)%7d , (1)

где m – число наблюдений; S – сумма квадратов отклонений суммы рангов по n факторам от их средней арифметической. В нашем случае S = 7428, n = 4, m = 50. Тогда коэффициент конкордации равен:

https://chart.googleapis.com/chart?cht=tx&chl=W%20=%20\frac%7b12\cdot%207428%7d%7b50%5e%7b2%7d(4%5e%7b3%7d-4)%7d%20=%200.594

Значение коэффициента конкордации, равное 0,594, говорит о наличии средней степени согласованности мнений экспертов. Для оценки значимости коэффициента конкордации рассчитаем критерий согласования Пирсона по формуле 2:

https://chart.googleapis.com/chart?cht=tx&chl=\chi%5e%7b2%7d%20=%20\frac%7b12S%7d%7bmn(n%2B1)%7d=n(m-1)W (2)

χ2 = 50(4–1)0,594 = 89,14

Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 4–1 = 3 и при заданном уровне значимости α = 0,05.

Так как χ2расчетный (89,14) больше табличного (7,81473), то W = 0,594 – величина не случайная, а потому полученные результаты могут использоваться в дальнейших исследованиях. Иными словами – пользоваться результатами экспертизы можно.

Чтобы определить весовой коэффициент каждого блока, воспользуемся формулой 3:

, (3)

где – весовой коэффициент блока t; – сумма рангов по блоку t.

Значения весовых коэффициентов отдельных блоков модели представлены в таблице 2.

Таблица 2

Весовые коэффициенты отдельных блоков модели


Сумма рангов
Веса (важность)
Блок Б – CRL
78
28,13
Блок А
86
27,60
Блок Б – TRL
168
22,13
Блок Б – MRL
168
22,13
Итого
500
100
Источник: составлено авторами.

На втором этапе эксперты аналогично оценивали весовые коэффициенты (коэффициенты важности) по отдельным критериям в рамках блоков. Значения коэффициентов конкордации и критерий Пирсона представлены в таблице 3.

Таблица 3

Коэффициенты конкордации и критерий Пирсона


Коэффициент конкордации
Критерий Пирсона
расчетное значение
табличное значение
Блок А
0,53
57,64
11,07
Блок Б – TRL
0,51
165,07
15,51
Блок Б – MRL
0,541
129,45
12,59
Блок Б – CRL
0,645
122,58
18,31
Источник: составлено авторами.

По таблице 3 видно, что результатами экспертизы пользоваться можно и уровень согласованности мнений экспертов достаточен. Далее, в таблице 4 представим весовые коэффициенты для критериев по блокам методики и сводный (суммарный) вес критерия.

Таблица 4

Расчет сводных весов критериев блоков методики


Критерий
Сумма рангов
Вес критерия в границах блока
Вес
блока
Сводный вес критерия
Блок А
«Боль»/ проблема потребителя
137
17,39
27,60
4,799
Востребованность
104
18,02
4,973
Новизна
190
16,38
4,520
Техническая реализуемость
189
16,40
4,525
Глубина научной проработки
214
15,92
4,394
Прогнозное значение экономического эффекта (NPV)
215
15,90
4,389
Итого
1049
100

Блок Б – TRL
Соответствие стратегии развития
167
11,57
22,13
2,561
Масштаб
359
10,50
2,324
Продуктоемкость
289
10,89
2,411
Стадия разработки
187
11,46
2,536
Институционально-правовой статус
321
10,71
2,371
Интеллектуальный потенциал научных кадров
268
11,01
2,437
Полнота описания спецификации
174
11,53
2,552
Наличие MVP
128
11,79
2,609
Длительность жизненного цикла
353
10,54
2,332
Итого
2246
100

Продолжение табл. 4


Критерий
Сумма рангов
Вес критерия в границах блока
Вес
блока
Сводный вес критерия
Блок Б – MRL
Наличие организационно-правовой структуры
288
13,24

22,13
2,930
Партнеры
248
13,71
3,035
Соответствие стандартам
177
14,56
3,223
Профессиональные ресурсы (кадры)
188
14,43
3,194
Финансирование
95
15,54
3,439
Материально-технические ресурсы
137
15,04
3,328
Производственные риски
267
13,49
2,985
Итого
1400
100

Блок Б – CRL
Ценностное предложение
225
9,32

28,13
2,622
Конкурентные преимущества
182
9,45
2,658
Уровень конкуренции
334
8,99
2,529
Объем рынка
224
9,32
2,622
Тенденции развития рынка
343
8,96
2,521
Целевая аудитория (ЦА)
350
8,94
2,515
Конкурентная цена
184
9,44
2,656
Доступность каналов продвижения
358
8,92
2,508
Финансовые показатели эффективности
338
8,98
2,525
Наличие бизнес-модели
330
9,00
2,532
Рыночные риски
432
8,69
2,445
Итого
3300
100

Источник: составлено авторами.

Таким образом, проанализировав таблицу, видно, что наиболее важным критерием является востребованность результатов научных исследований или разработок, а наименее важным – масштаб исследования или разработки. Различие между весами данных двух критериев составляет 2,14 раза.

Предложенный расчет весовых коэффициентов позволяет учесть важность каждого из критериев в интегральной оценке степени готовности разработки к коммерциализации.

Кроме непосредственной оценки степени готовности разработки к коммерциализации можно ранжировать проекты в случае необходимости. Алгоритм ранжирования представлен на рисунке 2.

Рисунок 2. Алгоритм принятия решения по отбору проектов и разработок для коммерческой реализации

Источник: составлено авторами.

Использование предлагаемых критериев также позволяет осуществлять визуальное сравнение проектов и разработок при ранжировании их как по значениям блоков, так и по значениям отдельных критериев. Для этого предварительно необходимо пронормировать оценочные значения по блокам относительно максимальной величины с учетом весов. Нормирование показателей при построении графика позволяет нивелировать воздействие на конечный результат сравнения разного количества критериев в блоках. А сравнение можно осуществлять с помощью лепестковой диаграммы.

Пример использования представлен на рисунке 3.

Рисунок 3. Сравнение проектов (пример)

Источник: составлено авторами.

Анализ результатов расчета суммарных критериев, проведенных по предлагаемой нами методике ранжирования, и графическое сравнение результатов расчетов (см. рис. 3) позволит сформулировать обоснованные выводы о перспективности одного из сравниваемых проектов по отношению к другим и визуально выявить его преимущества. Так, из условного примера (см. рис. 3) наблюдается, что проект 3 явно уступает проектам 1 и 2. При этом проект 2 более предпочтительней проекта 1 по блоку А и блоку Б – CRL, а по оставшимся блокам критериев – менее предпочтительней.

Заключение. Таким образом, основной проблемой существующих методик оценки готовности научных разработок является их обособленность, что приводит к отсутствию логической последовательности процесса создания технического предложения, а также оценки организационно-производственного потенциала. Разработанная методика и алгоритм ранжирования научно-исследовательских проектов и разработок организации позволяет провести оценку и ранжирование этих разработок по степени готовности к рыночной коммерциализации, учитывая в том числе уровень их коммерческого потенциала. Особенностью разработанного алгоритма является предлагаемый механизм исключения из сравнения потенциально «нежизнеспособных» проектов, что значительно снизит трудоемкость оценки. При проведении апробации предлагаемого алгоритма на реальных проектах и разработках возможны корректировки весовых коэффициентов и интервалов оценки по каждому блоку критериев для снижения трудоемкости проводимых расчетов при ранжировании проектов.


Источники:

1. Бухарин С.Н., Гукасов В.М., Лазаренко Н.Е. Теоретические и методические основы экспертизы фундаментальных и прикладных научно-технических проектов // Инноватика и экспертиза: научные труды. – 2011. – № 2(7). – c. 58-66.
2. Гусев А.Б., Ширяев А.А.. Корнилов А.М. Использование количественных методов оценки квалификации исследователей (на примере государственных программ и проектов развития сотрудничества с учёными-соотечественниками) // Наука. Инновации. Образование. – 2011. – № 1. – c. 113-126.
3. Качак В.В., Журихин А.В., Масленников А.М. Адаптивный подход к формированию объёма финансирования государственного задания государственным учреждениям в части выполнения научных исследований // Инновации. – 2012. – № 7(165). – c. 41-46.
4. Ларин С.Н., Герасимова Л.И., Ильменская Е.М. Модель и инструментарий оценки эффективности и уровня инновационности исследовательской деятельности научных организаций // Экономический анализ: теория и практика. – 2014. – № 8(359). – c. 11-26.
5. Лившиц В.Н., Панов А.С., Тищенко Т.И. и др. Корректная оценка эффективности инвестпроектов - залог успеха модернизации // Анализ и моделирование экономических и социальных процессов: математика. компьютер. образование. – 2015. – № 3. – c. 7-24.
6. Осташков А.В. Оценка эффективности НИОКР в НИИ и вузах в контексте обеспечения инновационного развития. / Управление инновационной деятельностью– Кн. 4: Управление развитием инноваций. - Воронеж, 2011. – 505-522 c.
7. Проничкин С.В., Тихонов И.П. Оценка результативности деятельности научных организаций // Экономический анализ: теория и практика. – 2014. – № 3(354). – c. 27-32.
8. Тихонов Н.А. Оценка коммерческого потенциала инноваций // Экономический анализ: теория и практика. – 2012. – № 26(281). – c. 42-47.
9. Федотов А.В., Васецкая Н.О. Оценка макроэкономической эффективности научных исследований в России // Университетское управление: практика и анализ. – 2013. – № 3(85). – c. 061-067.
10. Митус К.Н., Кацко И.А. Выбор наилучших методов оценки эффективности информационных технологий с помощью медианы Кемени // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. – 2015. – № 110. – c. 773-785.
11. Aiman-Smith L., Goodrich N., Roberts D., Scinta J. Assessing your organization’s potential for value innovation // Research-Technology Management. – 2005. – № 2. – p. 37-46. – doi: 10.1080/08956308.2005.11657303.
12. Argyres N., Porter J. Privatizing the intellectual commons: Universities and the commercialization of biotechnology // Journal of Economic Behavior and Organization. – 1998. – № 4. – p. 427-454.
13. AssesiingYoyr Venture. Financing Innovation – A Guide. Linking Innovation, Finance and Technology. Preparing a Technology Business Plan. LIFT, 11 rue de Bitbourg. L-1273, Luxembourg
14. Claver-Cortés E., Zaragoza-Sáez P., González Illescas M. Intellectual capital management: An approach to organizational practices in Ecuador // Intangible Capital. – 2018. – № 2. – p. 270. – doi: 10.3926/ic.1158.
15. Forsman J. Awareness of Technology Readiness Level (TRL) in Analysis Method Development, GKN Aerospace. - 2013
16. Graettinger, C.P., Caroline, P. et al. Using the Technology Readiness Levels Scale to Support Technology Management in the DOD’s ATD. STO Environments (A Findings and Recommendations Report Conducted for Army CECOM). [Электронный ресурс]. URL: http://resources.sei.cmu.edu/library/asset-view.cfm?assetID=5835.
17. Justel D., Justel D., Vidal R., Arriaga E., Franco V., Val-Jauregi E. Evaluation Method For SelectingInnovative Product Concepts With Greaterpotential Marketing Success. - August, Iced Paris, France, 2007. – 28-31 p.
18. Sabadka D. Innovation Potential Metrics // Annals Of Faculty Engineering Hunedoara –International Journal Of Engineering. – 2012. – № 3. – p. 449-455.
19. Verena S. The Global Union Research Network: A Potential for Incremental Innovations // Just Labor. – 2005. – p. 43-54. – doi: 10.25071/1705-1436.131.
20. Федорченко Е.А., Гармашова Е.П., Дребот А.М. Роль университетов в формировании и функционировании «обучающегося региона» // Теория и практика экономики и предпринимательства: труды XVIII Всероссийской с международным участием научно-практической конференции. Симферополь-Гурзуф, 2021. – c. 189-190.

Страница обновлена: 30.01.2024 в 17:48:30