Оценка цифровой зрелости предприятия

Кричевский М.Л.1, Мартынова Ю.А.2, Дмитриева С.В.2
1 Санкт-Петербургский государственный университет аэрокосмического приборостроения, Россия, Санкт-Петербург
2 Санкт-Петербургский государственный университет аэрокосмического приборостроения, Россия, Санкт-Петербург

Статья в журнале

Вопросы инновационной экономики (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Том 12, Номер 4 (Октябрь-декабрь 2022)

Цитировать:
Кричевский М.Л., Мартынова Ю.А., Дмитриева С.В. Оценка цифровой зрелости предприятия // Вопросы инновационной экономики. – 2022. – Том 12. – № 4. – С. 2545-2560. – doi: 10.18334/vinec.12.4.116786.

Аннотация:
Оценка цифровой зрелости предприятия Предложена модель оценки цифровой зрелости организации с использованием методов машинного обучения, сущность которого заключается в создании модели по имеющимся данным. Необходимая для формирования модели база примеров была создана посредством генерации выбранных факторов, участвующих в построении оценки. В качестве входных факторов были выбраны следующие параметры: корпоративная культура (отношение организации к цифровым инновациям); технологии (применяемые компанией информационно-коммуникативные технологии); организация (сформулированная и реализуемая стратегия в части цифровой трансформации); инсайты (способ использования данных о внутренних бизнес-процессах при принятии решений). Выходными переменными являлись категории цифровой зрелости. Одной из лучших подобранных по базе примеров моделей оказалась нейронная сеть с четырьмя скрытыми слоями, показавшая точность классификации, равную 95%. Продемонстрирована возможность определения класса цифровой зрелости по выбранной модели.

Ключевые слова: цифровая зрелость, машинное обучение, влияющие факторы, классификация организаций

JEL-классификация: С38, C45, С51



1 Введение

В указе Президента РФ №474 от 21.07.2020 «О национальных целях развития Российской Федерации на период до 2030 года» в качестве одного из показателей национальной цели РФ в области цифровой трансформации указано достижение цифровой зрелости ключевых отраслей экономики и социальной сферы.

Разъясним понятия «цифровой трансформации» и «цифровой зрелости». Цифровая трансформация представляет собой качественные изменения в бизнес-процессах или способах экономической деятельности при внедрении цифровых технологий [1]. Цифровая трансформация – следующая стадия развития после оцифровки, подразумевающей перевод аналоговых данных в машиночитаемый (цифровой) вид, и цифровизации, означающей использование цифровых технологий для повышения эффективности отдельных направлений или видов деятельности.

Цифровая зрелость характеризует уровень цифровой трансформации и является одним из критериев для оценки достижения ее целей. Цифровая зрелость может оцениваться как на уровне отдельных организаций, так и на уровне стран. Организация экономического сотрудничества и развития (ОЭСР) проводит оценку цифровой зрелости организаций предпринимательского сектора на основе трех параметров:

· возможности информационно-коммуникативных технологий (ИКТ) (обучение цифровым навыкам сотрудников, наличие специалистов по ИКТ, внедрение цифровых технологий);

· расширенные функции ИКТ (информационная безопасность, адаптация программного обеспечения для управления бизнесом, собственные разработки);

· веб-зрелость (наличие веб-сайта с возможностями проведения электронной торговли, размещения онлайн-рекламы).

Концепция цифровой зрелости помогает понять, какие процессы и модели нуждаются в трансформации, на каком этапе развития компания находится в настоящее время.

Цифровая зрелость означает адаптацию организации к эффективной конкуренции в цифровой среде. Речь идет о внедрении новых технологий путем согласования стратегии компании, рабочая силы, культуры, технологии и структуры, чтобы соответствовать цифровым ожиданиям клиентов, сотрудников и партнеров. Таким образом, цифровую зрелость можно считать непрерывным процессом адаптации к изменяющемуся цифровому ландшафту [2,3].

Цель работы заключается в применении методов машинного обучения к получению оценки цифровой зрелости предприятия. Задача решается с позиции классификации, которая предполагает определение заранее установленной категории цифровой зрелости организации с присущими ему атрибутами. Научная новизна работы характеризуется использованием методов искусственного интеллекта, поскольку машинное обучение является его составной частью, к решению традиционных задач менеджмента.

1.1 Исторический обзор

Проследим эволюцию преобразования понятия "зрелости" в термин "цифровая зрелость" [4]. Впервые такой формализованный подход был предложен Р. Ноланом (R. Nolan) в 1973 году в виде модели повышения операционной зрелости организации. Хотя он не использовал термин «модель зрелости», тем не менее, его анализ можно рассматривать как де-факто введение концепции такой модели. Нолан проследил деловые ситуации, где объем и сложность росли гораздо быстрее, чем способность контролировать разработку и эксплуатацию информационной техники (ИТ). В своей итоговой модели 1979 года он предложил шестиэтапный путь эволюции от низшего уровня к наивысшему, где организация имеет самый высокий уровень управления [5]. Эта модель демонстрирует сходство с современным пониманием моделей зрелости.

В 1979 году Ф. Кросби (Р.Crosby) опубликовал работу по исследованию качества в созданном продукте “Quality is Freе: The Art of Making Quality Certain ”. Модель Кросби, помимо того, что она построена на существующих принципах качества, также была интуитивно понятной и предоставляла менеджерам ясное понимание характера и эффективности их организаций. Таким образом, это было появление первой надежной модели возможностей в отличие от улучшений, сосредоточенных на производстве или вопросах эксплуатации. Это послужило основанием появления моделей зрелости следующего поколения.

После работы Кросби другие исследователи начали рассматривать его подход для улучшения качества, главным образом, в области программного обеспечения. По существу, был найден организационный принцип для проведения точного расчета (оценки) и комплексного повышения качества за счет поэтапных улучшений процессов в области ИТ.

Первой и наиболее успешной такой моделью была "Модель зрелости возможностей" (Capability Maturity Model – CMM). Эта модель была впервые разработана в 1988 году Институтом программной инженерии, США (Software Engineering InstituteSEI) и предусматривала следующую пятибалльную шкалу уровней зрелости (иначе говоря, уровней развития способности компании разрабатывать программное обеспечение):

· начальный (процессы непредсказуемые, слабо контролируемые);

· повторяемый (процессы определены на уровне проектов);

· установленный (процессы определены на уровне всей организации);

· управляемый на основе данных (процессы измеряются и контролируются);

· оптимизированный (усилия направлены на совершенствование процессов).

Значительную часть успеха модели CMM можно отнести к продвижению со стороны SEI и поддержке Министерства обороны США в принятии модели CMM как основного требования для поставщиков программного обеспечения.

Дальнейшая работа в этом направлении привела к созданию в 2002 году расширенной модели Capability Maturity Model Integration (CMMI), предназначенной для совершенствования процессов в организациях разных размеров и видов деятельности. CMMI содержит набор рекомендаций в виде практик, реализация которых позволяет реализовать поставленные цели в определенных областях деятельности.

В те же годы Международная организация по стандартизации начала свой проект по усовершенствованию процессов разработки программного обеспечения и определению возможностей. Целью этого проекта была поддержка разработки, проверки и передачи международного стандарта программного обеспечения. Результатом проекта стала публикация стандарта для оценки процессов ISO/IEC 15504-5-2012. В России существует гармонизированная версия этого стандарта ГОСТ Р ИСО/МЭК 15504-5-2016 [6]. После успеха моделей CMM и CMMI исследователи и организации по обеспечению качества разработали альтернативные модели зрелости, охватывающие многие области ИТ и бизнеса.

Из-за того, что технологии стали играть все более важную роль в бизнес-моделях, естественная эволюция моделей зрелости трансформировала последний термин в «цифровую зрелость» [4,7].

Два последних десятилетия можно охарактеризовать конвергенцией цифровых технологий, включая социальные сети, смартфоны, аналитику данных, облачные технологии и Интернет вещей. Сочетание этих технологий создало как возможности, так и серьезные угрозы для существующих компаний и стало основой для новых стартапов, меняющих способ работы бизнеса и образ жизни людей.

1.2 Модели цифровой зрелости

Первые методы оценки цифровой зрелости появились в начале 2010-х годов. На этом этапе, как правило, их разработчиками являлись различные консалтинговые компании. В этой связи подавляющее большинство таких методов в своей основе не имели какого-либо теоретического обоснования. Вместе с тем они строились на широкой накопленной статистической базе, которой, как правило, обладали компании, практикующие управленческий консалтинг. Начиная с этого времени, были опубликованы различные исследования и обзоры в области оценки цифровой зрелости как на русском [2,8,9] , так и на английском языках [10-13]. Для исключения повторений приведем лишь некоторые из них.

1.Модель цифровой зрелости (Digital Maturity Model) компании Deloitte оценивает цифровые возможности по пяти ключевым измерениям [10]:

· потребители (Customer);

· cтратегия (Strategy);

· технологии (Technology);

· операции, в том числе производство (Operations);

· структура и культура организации (Organisation & Culture).

Пять основных измерений разделены на 28 субизмерений, которые, в свою очередь, разбиты на 179 показателей, и именно по ним оценивается цифровая зрелость. Акцент делается на стратегию (Business Strategy), определяющую фокус преобразований. Последовательными шагами конкретизации стратегии являются определение бизнес-модели (Business Model) и операционной модели (Operating Model), которые и определяют требуемый уровень цифровой зрелости по выделенным измерениям. Однако такая модель является чересчур громоздкой, сложной при расчетах и сопоставлениях,

2. Индекс цифровой трансформации (Digital Transformation Index), разработанный аналитическим агентством Arthur D. Little, имеет следующие направления оценки [11]:

· стратегию и руководство (Strategy & Governance);

· продукты и сервисы (Products & Services);

· управление клиентами (Customer Management);

· операции и цепочки поставок (Operations & Supply Chain);

· корпоративные сервисы и контроль (Corporate Services & Control);

· информационные технологии (Information Technology);

· рабочее место и культуру (Workplace & Culture).

Для каждой компании результаты оценки представляются в виде радара, на котором с учетом отраслевой специфики также отмечаются уровень «виртуальных звезд» (Virtual Star) и среднеотраслевой уровень (Average).

3.Модель оценки цифровых способностей (Digital Business Aptitude — DBA) компании KPMG использует пять областей оценки [12]:

· стратегию, встроенную в цифровую ДНК (Strategy embedded with digital DNA);

· критическую массу цифровых талантов (Critical mass of Digital Talent);

· ключевые цифровые процессы (Digital First Processes);

· гибкие источники и технологии (Flexible and agile sourcing and infrastructure);

· руководство(Governance ­fit for purpose).

Каждая из выделенных областей включает несколько составляющих. Результаты оценки представляются в виде радара, каждый оценочный сектор имеет свой цвет.

Особенностью и преимуществом данной модели является диагностический инструмент самооценки, находящийся в свободном доступе.

4. Модель цифровой зрелости Форестера 4.0, где применяются четыре параметра для оценки уровня цифровой зрелости [13]:

· корпоративная культура (отношение организации к цифровым инновациям и качество взаимодействия сотрудников с ИКТ, применяемой в работе);

· технологии (использование организацией ИКТ);

· организация (формулировка, реализация стратегии и тактики в части цифровой трансформации);

· инсайты (применение организацией данных о пользовательском опыте и внутренних бизнес-процессах при принятии управленческих решений).

В рамках каждого параметра авторы методологии в процессе интервьюирования предлагают задавать по семь вопросов, которые подразумевают выбор из четырех вариантов ответов (полностью не согласен; частично не согласен; частично согласен; полностью согласен).

В зависимости от количества набранных баллов организация может быть отнесена к одной из четырех групп:

· скептики (Skeptics) – организации, имеющие минимальный уровень цифровизации и недавно начавшие задумываться над возможностями цифровой трансформации.

· последователи (Adopter) – организации, которые активно инвестируют в развитие информационных технологий и соответствующих навыков у сотрудников.

· коллабораторы (Collaborator) – организации, которые активно используют цифровые решения в целях создания конкурентных преимуществ.

· дифференциаторы (Differentiator) – организации, использующие цифровые данные для построения эффективных каналов взаимодействия с клиентами.

После кратного хронологического обзора по цифровой зрелости, изложенного во введении, сформируем цель работы, которая состоит в демонстрации приемов машинного обучения для получения оценки цифровой зрелости предприятия. При этом под оценкой подразумевается принадлежность организации к выделенной категории цифровой зрелости, т.е. в работе рассматривается решение традиционной задачи классификации в пока еще новой области менеджмента.

Нужно отметить, что авторы статьи (преподаватели кафедры менеджмента) уже длительное время для решения задач в области менеджмента используют методы и приемы искусственного интеллекта (ИИ), в частности, машинное обучение, являющееся составной частью ИИ [14-16]. По существу, в различных работах меняется лишь объект исследования и применяемые методы, но общая идея остается неизменной: формирование базы примеров для обучения, подбор моделей и выбор наилучшей, определение категории (класса) нового наблюдения.

2 Методология

Машинное обучение по базе примеров формирует модель, которая в дальнейшем может быть использована для других задач, например, прогнозирования.

2.1 Формирование базы данных

Здесь рассматривается смоделированный набор данных (toy dataset), поскольку в машинном обучении важно научиться правильно применять игрушечные наборы данных, так как обучение алгоритма на реальных данных сопряжено с трудностями и может закончиться неудачей [17]. Разыгранные наборы данных играют решающую роль для понимания работы алгоритмов. При наличии простой синтетической выборки данных достаточно просто оценить, обучился алгоритм нужному правилу или нет. На реальных данных получить такую оценку сложно.

Отобранными переменными были выбраны признаки, соответствующие модели цифровой зрелости Форестера: Х1 - корпоративная культура; Х2 – технологии; Х3 – организация; Х4 – инсайты. Каждая из переменных оценивалась в баллах в диапазоне от 1 до 10. Общей объем базы примеров составлял 40 строк, по 10 строк для каждого класса.

Отметим, что авторы сознательно упростили реальную модель Форестера, исключив из нее процесс интервьюирования и получения ответов по каждому параметру. По существу, в статье речь идет об изучении возможностей машинного обучения для формирования оценок цифровой зрелости. В реальной ситуации полученные ответы образуют базу примеров, используемую для подбора модели.

Качество смоделированных данных оценивалось с помощью дендрограммы наблюдений, показанной на рис.1, откуда видно, что при уровне рассечения около 5 единиц образуются 4 кластера, как и было задумано при подготовке методики. Отметим, что в реальных ситуациях данные могут быть более искажены шумом, но на цель создания методики оценки цифровой зрелости это обстоятельство не оказывает существенного значения.

Рис.1 Дендрограмма наблюдений (получено авторами)

2.2 Методы классификации

Среди методов машинного обучения для составления методики были выбраны следующие: дерево решений, метод k-ближайших соседей, метод опорных векторов, нейронная сеть. Отметим, что более полное описание приведенных здесь методов можно найти в специализированной литературе [18, 19].

Деревья решений – это непараметрический контролируемый метод обучения, используемый для классификации и регрессии. Цель состоит в том, чтобы создать модель, которая предсказывает значение целевой переменной, изучая простые правила принятия решений. Дерево можно рассматривать как кусочно-постоянную аппроксимацию.

Преимущества деревьев решений:

· метод прост для понимания, интерпретации и визуализации;

· проверка модели проводится с помощью статистических тестов, что позволяет учитывать надежность модели.

К недостаткам модели относятся:

· создание слишком сложных деревьев при поиске решения, которые плохо обобщают данные (переобучение);

· полученные решения могут быть нестабильными, т.к. небольшие изменения в данных могут привести к созданию другого дерева.

Принцип, лежащий в основе метода ближайших соседей, заключается в том, чтобы найти предопределенное количество обучающих выборок, ближайших по расстоянию до новой точки, и предсказать метку на их основе. Количество выборок может быть заданной пользователем константой (обучение k-ближайших соседей) или варьироваться в зависимости от локальной плотности точек (обучение соседей на основе радиуса). В общем случае расстояние может быть любой метрической мерой: наиболее распространенным выбором является стандартное евклидово расстояние. Классификация выполняется простым большинством голосов ближайших соседей каждой точки: точке запроса назначается класс данных, который имеет наибольшее количество представителей среди ближайших соседей.

Преимущества метода:

· простота интерпретации;

· успешность в ситуациях, когда граница решения нерегулярна.

Недостатки модели:

· необходимость хранить выборку целиком, что приводит к неэффективному использованию памяти;

· качество классификации зависит от выбранной метрики.

Метод опорных векторов – это алгоритм, обычно используемый для моделей машинного обучения с учителем. Ключевым преимуществом метода по сравнению с другими алгоритмами классификации является высокая степень точности, которую они обеспечивают. Концептуально этот метод прост для понимания. По существу, машины опорных векторов разделяют данные на разные классы с помощью гиперплоскости. Эта гиперплоскость поддерживается опорными векторами, которые используются для обеспечения максимальной ширины отступа между классами.

Преимущества метода опорных векторов:

· эффективность при больших размерностях входного пространства;

· принцип оптимальной разделяющей гиперплоскости приводит к максимизации ширины разделяющей полосы, и , следовательно, к более уверенной классификации.

К недостаткам метода относятся:

· неустойчивость к шуму: выбросы в исходных данных становятся опорными объектами-нарушителями и влияют на построение разделяющей гиперплоскости;

· нет общих методов построения ядер и спрямляющих пространств наиболее для конкретной задачи.

Нейронные сети представляют собой подмножество машинного обучения и лежат в основе алгоритмов глубокого обучения. Их название и структура в определенной степени отражают строение человеческого мозга. Нейронные сети состоят из слоев элементов, содержащих входной слой, один или несколько скрытых слоев и выходной слой. Каждый элемент или искусственный нейрон соединяется с другим и имеет соответствующий вес и порог. Если выход любого отдельного элемента превышает указанное пороговое значение, этот узел активируется, отправляя данные на следующий слой сети.

Преимущества метода:

· нейронная сеть может аппроксимировать любые непрерывно дифференцируемые функции;

· возможность сетей обучаться на примерах.

Недостатки нейронных сетей:

· природа «черного ящика» сетей (проще говоря, вы не знаете, как и почему сеть дала определенный результат);

· требования больших вычислительных ресурсов по сравнению с традиционными алгоритмами.

3. Результаты

В табл.1 показаны результаты использования четырех указанных выше методов для формирования модели по разыгранным данным в программном продукте Matlab 2021.

Таблица 1 Результаты классификации (получено авторами)

Номер модели
Название модели
Точность классификации, %
1
Дерево решений
77,5
2
Метод опорных векторов
92,5
3
Метод ближайших соседей
95,0
4
Нейронная сеть
95,0

Как видно из табл.1, лучшую точность классификации, равную 95%, показали метод ближайших соседей и нейронная сеть. Воспользуемся последним методом и покажем некоторые результаты.

По умолчанию в программе Matlab классификатор на нейронной сети имеет следующую послойную структуру (рис.2).

Рис.2 Структура нейронной сети (получено авторами)

Как видно из рис.2, представленная сеть относится к классу глубоких нейронных сетей, так как имеет более одного скрытого слоя [20]. Первый слой - входной, на который поступают данные из обучающей выборки. В структуре сети имеются два полносвязных слоя (Fully Connected Layer), которые умножают входные данные или данные после слоя активации на матрицу весов. Между двумя этими слоями находится слой активации ReLu, который выполняет пороговую операцию для каждого элемента входа: любое значение меньше нуля устанавливается равным нулю. Слой SoftmaxLayer является выходом функции активации после последнего полносвязного слоя. И, наконец, последний выходной слой Output формирует метку класса в задаче классификации.

На рис.3 приведена матрица ошибок для данного классификатора. Здесь матрица ошибок приведена с добавлением «Доли верных положительных классификаций» ( True Positive Rates –TPR) и «Доли ложных отрицательных классификаций» (False Negative Rates –FNR), размещенных в правой части рисунка. В последних двух столбцах справа показаны сводные данные по каждому классу, откуда видно, что объекты второго и четвертого классов разделены безошибочно: для них значения TPR = 100%.

Рис.3 Матрица ошибок (получено авторами)

Подав на вход нейронной сети вектор X1 = [2 3 3 7], модель выдает принадлежность данного наблюдения к классу 2:

>> X1 = [2 3 3 7]

>> yfit = trainedModel.predictFcn(X4)

yfit =

2.

Таким образом, организацию с таким набором входных признаков нейронная сеть отнесла к классу 2.

4. Обсуждение

Результаты исследования получены на смоделированных данных, и в дальнейшем целесообразно при решении задачи применять реальные данные. В задаче использованы входные и выходные переменные, аналогичные модели Форестера, но такой же подход может быть применен и к другим атрибутам. Кроме того, переход к нечеткой логике даст возможность сформировать количественную оценку цифровой зрелости, выраженную, например, в баллах по установленной шкале. Однако в этой ситуации возникают трудности с построением функций принадлежности всех переменных и составлением базы правил. Авторы полагают, что использование нейронечеткой системы позволит избежать таких трудностей, и в последующем планируют обратиться к такой задаче.

5.Заключение

Таким образом, в работе продемонстрировано применение методов машинного обучения с использованием программного продукта MatLab для решения задачи по оценке цифровой зрелости. Показана принципиальная возможность использования такого подхода в реальных ситуациях. Машинное обучение является составным элементом искусственного интеллекта, поэтому примененный в работе подход может служить начальным элементом при переходе к цифровой экономике. Различные задачи из области менеджмента и экономики могут быть решены аналогичным образом.


Источники:

1. Абдрахманова Г.И., Вишневский К.О., Гохберг Л.М. и др. Цифровая трансформация: ожидания и реальность. - М.: Изд. дом Высшей школы экономики, 2022. – 221 c.
2. Мерзлов И.Ю. Методы оценки цифровой зрелости: обзор международной практики // Креативная экономика. – 2022. – № 2. – c. 503-520. – doi: 10.18334/ce.16.2.114163.
3. Kane G.C., Palmer D., Phillips,A.N. et al. Achieving digital maturity. Adapting your company to a changing world. research report. MIT Sloan Manag. [Электронный ресурс]. URL: https://sloanreview.mit.edu/projects/achieving-digital-maturity.
4. Kupilas K.J., Montequín V. R., Villanueva-Balsera J. et al. Industry 4.0 and Project Management and Engineering. Researchgate.net. [Электронный ресурс]. URL: https://www.researchgate.net/publication/347984417_Industry_40_and_Project_Management_and_Engineering (дата обращения: 10.10.2022).
5. Nolan R. L. Managing the crises in data processing. Harvard Business Review. [Электронный ресурс]. URL: https://hbr.org/1979/03/managing-the-crises-in-data-processing.
6. ГОСТ Р ИСО/МЭК 15504-5-2016 «Информационные технологии. Оценка процессов. Образец модели оценки процессов жизненного цикла программного обеспечения». Федеральное агентство по техническому регулированию и метрологии. [Электронный ресурс]. URL: https://docs.cntd.ru/document/1200141154.
7. Cusick J. Survey of Maturity Models from Nolon to DevOps and Their Applications in Process Improvement. Academia.edu. [Электронный ресурс]. URL: https://www.academia.edu/39756678 (дата обращения: 26.09.2022).
8. Гилева Т.А. Цифровая зрелость предприятия: методы оценки и управления // Вестник УГНТУ. Наука, образование, экономика. Серия: Экономика. – 2019. – № 1(27). – c. 38-52. – doi: 10.17122/2541-8904-2019-1-27-38-52.
9. Балахонова И.В. Оценка цифровой зрелости как первый шаг цифровой трансформации процессов промышленного предприятия. / Монография. - Пенза: Изд-во Пензенского государственного университета, 2021. – 276 c.
10. Achieving Digital Maturity to Drive Grow. Digital Maturity Model. [Электронный ресурс]. URL: https://www2.deloitte.com/content/dam/Deloitte/global/Documents/Technology-MediaTelecommunications/deloitte-digital-maturitymodel.pdf.
11. Digital Transformation — How to Become Digital Leader. Study 2015 Results. Adlittle.com. [Электронный ресурс]. URL: http://www.adlittle.com/sites/default/files/viewpoints/ADL_HowtoBecomeDigitalLeader_02.pdf.
12. Are You Ready for Digital Transformation? Measuring Your Digital Business Aptitude. Assets.kpmg. [Электронный ресурс]. URL: https://assets.kpmg/content/dam/kpmg/pdf/2016/04/measuring-digital-businessaptitude.pdf (дата обращения: 18.10.2022).
13. Gill M., VanBoskirk S. Digital Maturity Model 4.0. Benchmarks: Digital Transformation Playbook. Dixital.cec.es. [Электронный ресурс]. URL: https://dixital.cec.es/wp-content/uploads/presentacions/presentacion06.pdf (дата обращения: 31.10.2022).
14. Кричевский М.Л., Дмитриева С.В., Мартынова Ю.А. Выбор модели оценки текучести персонала // Лидерство и менеджмент. – 2022. – № 2. – c. 391-404. – doi: 10.18334/lim.9.2.114741.
15. Krichevsky M., Martynova J., Dmitrieva S. Use of Neural Networks to Assess Competitiveness of Organizations // International Scientific Conference Energy Management of Municipal Facilities and Sustainable Energy Technologies EMMFT 2019. 2019. – p. 72-82.– doi: 10.1007/978-3-030-57453-6_8.
16. Кричевский М.Л., Мартынова Ю.А. Выбор варианта развития предприятия методами машинного обучения // Вопросы инновационной экономики. – 2022. – № 2. – c. 1099-1110. – doi: 10.18334/vinec.12.2.114449.
17. Рамсундар Б., Заде Р. TensorFlow для глубокого обучения. - СПб.: БХВ-Петербург, 2019. – 256 c.
18. Alpaydin E. Introduction to machine learning. - Massachusetts: Institute of Technology, 2010. – 579 p.
19. Haykin S. Neural Networks and Learning Machines. - New York: Pearson Education, 2009. – 938 p.
20. Гудфеллоу Я., Курвилль А., Бенджио И. Глубокое обучение. - М.: ДМК Пресс, 2017. – 652 c.

Страница обновлена: 25.01.2023 в 20:08:37