Algorithm for ranking R&D projects at the university according to their commercial potential

Введение. Ранжирование и выбор наиболее перспективных научно-технических проектов является важным элементом организации научной деятельности, финансовой и инновационной стратегии организации. В современных социально-экономических реалиях актуализируется вектор инновационного развития организаций, вопросы обеспечения ее конкурентоспособности. Инновационные проекты являются особыми инвестиционными проектами, а следовательно, их оценка требует специальных подходов, сочетания количественных и качественных методов, методов прогнозирования, а также проведения сравнительного многокритериального анализа на основе экспертных оценок. Оценка и ранжирование научно-исследовательских проектов усложняются новизной продукта, более высокими технологическими и коммерческими рисками, правовыми институциональными особенностями и др.

Методики оценки научно-исследовательских проектов представлены в научных работах таких отечественных авторов, как Бухарин С.Н. [1] (Bukharin, Gukasov, Lazarenko, 2011), Гусев А.Б. [2] (Gusev, Shiryaev, Kornilov, 2011), Качак В.В. [3] (Kachak, Zhurikhin, Maslennikov, 2012), Ларин С.Н. [4] (Larin, Gerasimova, Ilmenskaya, 2014), Лившиц В.Н. [5] (Livshits, Panov, Tishchenko et al., 2015), Осташков А.В. [6] (Ostashkov, 2011), Проничкин С.В. [7] (Pronichkin, Tikhonov, 2014), Тихонов, Н.А. [8] (Tikhonov, 2012), Федотов А.В. [9] (Fedotov, Vasetskaya, 2013), Кацко И.А. [10] (Mitus, Katsko, 2015) и пр., а также многих зарубежных исследователей [11–19] (Aiman-Smith, Goodrich, Roberts, Scinta, 2005; Argyres, Porter, 1998; Claver-Cortés, Zaragoza-Sáez, González Illescas, 2018; Graettinger, Caroline, et al., 2002; Justel, Justel, Vidal, Arriaga, Franco, Val-Jauregi, 2007; Sabadka, 2012; Verena, 2005).

Несмотря на наличие в научной и практической литературе широкого спектра предлагаемых/реализуемых методик оценки готовности научных разработок, на наш взгляд, основной проблемой является их обособленность. Это приводит к отсутствию логической последовательности процесса создания технического предложения в результате наличия востребованности со стороны рынка и необходимости определения возможности практической реализации предложения, то есть оценки организационно-производственного потенциала.

Цель исследования. Целью данной статьи является исследование и разработка алгоритма многокритериального оценивания и отбора научно-исследовательских проектов и разработок в зависимости от уровня их коммерческого потенциала.

В основе алгоритма лежит целостное представление о готовности к коммерциализации разработок прикладного характера научными коллективами университета, который в современных реалиях становится своеобразным фундаментом инновационного развития, формирования человеческого капитала, роста качества жизни, преобразований в обществе [20] (Fedorchenko, Garmashova, Drebot, 2021). Алгоритм представляет собой совокупности завершенных процессов оценки технологической, производственной и организационной, рыночной готовности.

Алгоритм включает в себя два этапа (блока), которые предполагают наличие критериев оценки с соответствующими весами, полученными экспертным путем. Веса с течением времени могут корректироваться в соответствии с тенденциями на рынке и изменением стратегии университета. С целью обоснованности оценки необходимо формирование двух экспертных групп: по тематическому направлению в области технических наук и по оценке готовности разработки к рыночной коммерциализации. Первая группа отвечает за оценку технологической готовности (TRL) [8, 13, 15, 16] (Tikhonov, 2012; Graettinger, , Caroline, et al., 2002), производственной и организационной готовности (MRL), вторая – за оценку рыночной готовности (CRL).

Необходимость разделения алгоритма на два блока продиктована первичностью определения базовых аспектов технологической готовности при обязательном условии рыночной готовности. Поэтому на первом этапе (в рамках первого блока-отсечки) оцениваются научные разработки по следующим критериям:

А ТRL (блок А направление ТRL) – 4 критерия:

1. Востребованность.

2. Новизна.

3. Техническая реализуемость.

4. Глубина научной проработки.

A CRL (блок А направление СRL) – 2 критерия:

1. «Боль» / проблема потребителя.

2. Прогнозное значение экономического эффекта (NPV).

Все критерии первого этапа алгоритма оцениваются по 10-балльной шкале и имеют весовые коэффициенты (веса), которые будут рассчитаны ниже. Минимальная оценка, которую может получить научная разработка на первом этапе анализа, – 0 баллов, максимальная оценка (без учета весов) – 60 баллов.

Научные разработки, получившие нулевую оценку хотя бы по одному из критериев, признаются не готовыми к рыночной коммерциализации и отсеиваются по итогам первого этапа.

После отсечки на первом этапе нежизнеспособных и экономически нецелесообразных проектов научных коллективов необходим переход к детализированной оценке технологической, производственной и организационной, рыночной готовности.

Второй этап анализа (блок Б) предполагает оценку по следующим направлениям:

1. Б ТRL (блок Б направление ТRL) – 9 критериев оценки технологической готовности:

- соответствия стратегии развития;

- масштаба;

- продуктоемкости;

- стадии разработки;

- институционально-правового статуса;

- интеллектуального потенциала научных кадров;

- полноты описания спецификации;

- наличия MVP (Minimal Viable Product – минимально жизнеспособного продукта);

- длительности жизненного цикла.

2. Б MRL (блок Б направление MRL) – 7 критериев оценки производственной и организационной готовности:

- наличие организационно-правовой структуры;

- партнеры;

- соответствия стандартам;

- профессиональные ресурсы (кадры);

- финансирование;

- материально-технические ресурсы;

- производственные риски.

3. Б CRL (блок Б направление CRL) – 11 критериев оценки рыночной готовности:

- ценностное предложение;

- конкурентные преимущества;

- уровень конкуренции;

- объем рынка;

- тенденции развития рынка;

- целевая аудитория;

- конкурентная цена;

- доступность каналов продвижения;

- финансовые показатели эффективности;

- наличие бизнес-модели;

- рыночные риски.

Все критерии второго этапа алгоритма оцениваются по 10-балльной шкале и имеют весовые коэффициенты (веса), которые будут рассчитаны ниже. Минимальная оценка, которую может получить научная разработка на втором этапе анализа, – 0 баллов, максимальная оценка (без учета весов) – 270 баллов.

По итогам первого и второго этапов анализа производится интегральная оценка готовности научных разработок к рыночной коммерциализации. Минимальная оценка, которую может получить разработка по результатам анализа, составляет 0 баллов, максимальная оценка (без учета весов) – 330 баллов.

Принципиальная схема алгоритма оценки готовности к рыночной коммерциализации разработок организации представлена на рисунке 1.

Рисунок 1. Принципиальная схема алгоритма оценки готовности к рыночной коммерциализации разработок

Источник: составлено авторами.

Путем определения интегральной оценки степени готовности разработки к коммерциализации определяется ее принадлежность к одной из категорий:

1. Разработка не готова к коммерциализации (красная зона: 0–40%, неперспективный проект). Балльный интервал составит от 0 до 132 баллов без учета весовых коэффициентов.

2. Разработка готова к коммерциализации частично (желтая зона: 41–80%, перспективный проект). Балльный интервал составит от 133 до 264 баллов без учета весовых коэффициентов.

3. Разработка полностью готова к коммерциализации (зеленая зона: 81–100%, приоритетный проект). Балльный интервал составит от 265 до 330 баллов без учета весовых коэффициентов.

На основе принадлежности проекта к одной из категорий дается экспертное заключение о степени готовности разработки к рыночной коммерциализации.

Несмотря на относительную простоту и однозначность результата предложенной ранее методики, она обладает одним существенным недостатком: влияние всех показателей на конечный результат одинаково, что во многом противоречит их содержанию. Устранить указанный недостаток можно включением в методику весовых коэффициентов.

Для определения весовых коэффициентов представленных выше критериев была проведена экспертная оценка нескольких научно-исследовательских проектов. В качестве экспертов выступали научные сотрудники, исследователи, разработчики и участники научно-исследовательских проектов. В опросе принимали участие 50 экспертов.

Для оценки важности отдельных блоков и критериев методики экспертами проведено ранжирование критериев по степени важности в рамках каждого блока.

На первом этапе экспертам было предложено проранжировать отдельные блоки методики с точки зрения степени их влияния на итоговую оценку уровня коммерческого потенциала научно-исследовательских проектов и разработок. Наиболее важному фактору следовало присвоить балл 1, наименее важному – 4. Блоки методики по значимости распределились так, как представлено в таблице 1.

Таблица 1

Расположение факторов по значимости

Для оценки степени согласованности мнений экспертов рассчитаем коэффициент конкордации по формуле 1:

, (1)

где m – число наблюдений; S – сумма квадратов отклонений суммы рангов по n факторам от их средней арифметической. В нашем случае S = 7428, n = 4, m = 50. Тогда коэффициент конкордации равен:

Значение коэффициента конкордации, равное 0,594, говорит о наличии средней степени согласованности мнений экспертов. Для оценки значимости коэффициента конкордации рассчитаем критерий согласования Пирсона по формуле 2:

(2)

χ² = 50(4–1)0,594 = 89,14

Вычисленный χ² сравним с табличным значением для числа степеней свободы K = n-1 = 4–1 = 3 и при заданном уровне значимости α = 0,05.

Так как χ²расчетный (89,14) больше табличного (7,81473), то W = 0,594 – величина не случайная, а потому полученные результаты могут использоваться в дальнейших исследованиях. Иными словами – пользоваться результатами экспертизы можно.

Чтобы определить весовой коэффициент каждого блока, воспользуемся формулой 3:

, (3)

где – весовой коэффициент блока t; – сумма рангов по блоку t.

Значения весовых коэффициентов отдельных блоков модели представлены в таблице 2.

Таблица 2

Весовые коэффициенты отдельных блоков модели

На втором этапе эксперты аналогично оценивали весовые коэффициенты (коэффициенты важности) по отдельным критериям в рамках блоков. Значения коэффициентов конкордации и критерий Пирсона представлены в таблице 3.

Таблица 3

Коэффициенты конкордации и критерий Пирсона

По таблице 3 видно, что результатами экспертизы пользоваться можно и уровень согласованности мнений экспертов достаточен. Далее, в таблице 4 представим весовые коэффициенты для критериев по блокам методики и сводный (суммарный) вес критерия.

Таблица 4

Расчет сводных весов критериев блоков методики

Продолжение табл. 4

Таким образом, проанализировав таблицу, видно, что наиболее важным критерием является востребованность результатов научных исследований или разработок, а наименее важным – масштаб исследования или разработки. Различие между весами данных двух критериев составляет 2,14 раза.

Предложенный расчет весовых коэффициентов позволяет учесть важность каждого из критериев в интегральной оценке степени готовности разработки к коммерциализации.

Кроме непосредственной оценки степени готовности разработки к коммерциализации можно ранжировать проекты в случае необходимости. Алгоритм ранжирования представлен на рисунке 2.

Рисунок 2. Алгоритм принятия решения по отбору проектов и разработок для коммерческой реализации

Источник: составлено авторами.

Использование предлагаемых критериев также позволяет осуществлять визуальное сравнение проектов и разработок при ранжировании их как по значениям блоков, так и по значениям отдельных критериев. Для этого предварительно необходимо пронормировать оценочные значения по блокам относительно максимальной величины с учетом весов. Нормирование показателей при построении графика позволяет нивелировать воздействие на конечный результат сравнения разного количества критериев в блоках. А сравнение можно осуществлять с помощью лепестковой диаграммы.

Пример использования представлен на рисунке 3.

Рисунок 3. Сравнение проектов (пример)

Источник: составлено авторами.

Анализ результатов расчета суммарных критериев, проведенных по предлагаемой нами методике ранжирования, и графическое сравнение результатов расчетов (см. рис. 3) позволит сформулировать обоснованные выводы о перспективности одного из сравниваемых проектов по отношению к другим и визуально выявить его преимущества. Так, из условного примера (см. рис. 3) наблюдается, что проект 3 явно уступает проектам 1 и 2. При этом проект 2 более предпочтительней проекта 1 по блоку А и блоку Б – CRL, а по оставшимся блокам критериев – менее предпочтительней.

Заключение. Таким образом, основной проблемой существующих методик оценки готовности научных разработок является их обособленность, что приводит к отсутствию логической последовательности процесса создания технического предложения, а также оценки организационно-производственного потенциала. Разработанная методика и алгоритм ранжирования научно-исследовательских проектов и разработок организации позволяет провести оценку и ранжирование этих разработок по степени готовности к рыночной коммерциализации, учитывая в том числе уровень их коммерческого потенциала. Особенностью разработанного алгоритма является предлагаемый механизм исключения из сравнения потенциально «нежизнеспособных» проектов, что значительно снизит трудоемкость оценки. При проведении апробации предлагаемого алгоритма на реальных проектах и разработках возможны корректировки весовых коэффициентов и интервалов оценки по каждому блоку критериев для снижения трудоемкости проводимых расчетов при ранжировании проектов.