Анализ методов оценки эффективности и разработка подхода к выбору оптимального метода для стадии планирования проекта внедрения информационной системы

Проблемная область, исследуемая в работе, относится к оценке эффективности проектов по внедрению информационных технологий. В последний год (2008–2009) четко прослеживается тенденция снижения количества проектов, связанных с информационными технологиями (ИТ), особенно на предприятиях отраслей, где ИТ не являются профильным направлением.

По данным аналитических агентств, пик падения в области ИТ-проектов в Российской Федерации придется на 2009 год. Так, на пятилетний период (2008–2013) ожидаемый объем снижения составит около 10%, или 490 миллионов долларов [1]. Парадоксом в указанных условиях является тот факт, что работы, связанные с оценкой и обоснованием эффективности проектов в сфере информационных технологий, остаются слабо проработанными и формализованными.

Понятие экономической эффективности

Анализ источников нормативно-справочной информации в целом подтверждает предположение о слабой разработанности темы оценки эффективности в Российской Федерации, особенно применительно к информационным технологиям. Так, например понятия эффективности, экономической эффективности и эффективности ИТ, в ключевых нормативных документах проработаны следующим образом.

1. В соответствии с ГОСТ Р ИСО 9000-2001 [1] эффективность на любом этапе жизненного цикла информационной системы можно определять соотношением результата и затраченных ресурсов [2].

2. Федеральный закон «Об информации, информационных технологиях и о защите информации» лишь очерчивает понятия «информационные технологии» и «информационная система» [3].

В целом же понятие экономической эффективности принято определять как результат экономической деятельности, экономических программ и мероприятий, характеризуемый отношением полученного экономического эффекта к затратам факторов, ресурсов, обусловившим получение этого результата, достижение наибольшего объема производства с применением ресурсов определенной стоимости [4].

Методы оценки эффективности ИТ-проектов

Анализ методов оценки эффективности, показавший наличие групп методов, разных по своей природе и подходу к оценке, еще раз подтверждает распространенное мнение, что руководителей не устраивают обоснования необходимости инвестиций в ИТ, сделанные лишь на основе расчета чисто экономической эффективности. В общем случае выделяют три класса методов оценки эффективности инвестиций в информационные технологии:

1) традиционные количественные методы (например, чистая приведенная стоимость, период возврата инвестиций, индекс рентабельности);

2) методы качественного анализа (система сбалансированных показателей (ССП));

3) вероятностные методы (прикладная информационная экономика (ПИЭ)).

В качестве дополнительной классификации введем классификацию в разрезе этапов жизненного цикла проекта. По результатам анализа стандартов, описывающих жизненный цикл проектов по созданию информационной системы [5, 6] отметим, что у каждого проекта можно выделить стадии инициализации, реализации и завершения.

С точки зрения оценки эффективности на стадии инициализации производится сопоставление предполагаемого проекта с миссией и целями предприятия, производится анализ выгод и затрат, рисков проекта (стратегический уровень). На стадии внедрения доминирующей функцией является контроль (затрат, сроков, соответствия целям) (операционный уровень). На стадии завершения производится анализ достигнутых результатов, формируется перечень необходимых изменений (стратегический уровень).

На операционном уровне можно предположить высокое значение эффективности метода сравнительного анализа (benchmarking) для поставленной задачи. Необходимо регламентировать процесс операционного контроля, разработать набор метрик, релевантный конкретной предметной области, организовать мониторинг в необходимые временные промежутки и выполнять сравнительный анализ получаемых значений метрик.

Оценка эффективности на стадии инициации проекта

При анализе методов, применимых к стратегическому уровню, столь очевидного ответа не существует. В рамках статьи ограничим исследуемую область до анализа оптимальности методов оценки эффективности на стадии инициации проекта внедрения информационной технологии.

Фаза, на которой происходит инициализация проекта, характеризуется слабой исследованностью окружения проекта, и, как следствие, неполнотой и противоречивостью информации, на основании которой производятся расчеты и происходит принятие решений. На данной стадии проекта практически невозможно (или достаточно трудоемко и сложно) обойтись только лишь количественной оценкой, например выгод проекта, и, основываясь на этом, доказать его необходимость и эффективность.

Ошибки, допущенные на данной стадии, потенциально имеют максимальное влияние на общий результат проекта. Тем самым повышается актуальность вопроса о выборе метода исследования эффективности проекта на этом этапе. А также актуальность вопроса об оптимальности конфигурации (размера затрат на каждом из шагов) метода для решения поставленной задачи.

В качестве определения оптимальности используем оптимальность по Парето — такое состояние системы, при котором значение каждого частного критерия, описывающего состояние системы, не может быть улучшено без ухудшения положения других элементов. Под системой при этом понимается набор действий (элементов), составляющих метод оценки эффективности в применении к указанной стадии жизненного цикла. Так, анализ наборов действий для двух методик (ПИЭ и ССП) показывает расхождения в выполняемых действиях на этапе начальной стадии проекта (см. табл.) [7].

Таблица

Сравнительный анализ методов ПИЭ и ССП в разрезе выполняемых операций на начальной стадии проекта

Поиск оптимального метода

Для поиска оптимума распределения затрат на элементы метода оценки эффективности представим любой метод оценки эффективности ИТ в виде последовательности шагов, каждый из которых имеет оценку трудозатрат (стоимость шага). При введении критерия «точность» возможно ранжировать методы, например по затратам на достижение заданной точности. Минимизация затрат или максимизация точности, очевидно, не будут объективно характеризовать методы. Необходимо построение интегрального показателя, составляющими которого будут являться критерии выбора решений в условиях неопределенности (теория игр), например: критерий Вальда (минимаксных затрат или максиминной точности), критерий Лапласа (минимум среднеарифметических затрат) и другие [8].

Дальнейшее решение задачи по поиску оптимального метода и его конфигурации для указанной стадии жизненного цикла сводится к следующему:

– построению интегрального показателя (из критериев выбора решений в условиях неопределенности);

– проработке методов оценки эффективности до последовательности операций, не поддающихся дальнейшей детализации;

– подготовке дескриптивных и математических моделей для каждого из методов.

С использованием имитационного моделирования возможно построение массива статистической информации, на основании которого можно провести анализ оптимальности методов для ряда частных случаев. Резюмируя вышесказанное, отметим, что степень актуальности указанной проблематики не показывает сигналов к снижению, тем самым повышая важность попыток научного и практического анализа методов оценки эффективности с использованием различных подходов к анализу.

[1] Речь идет о стандарте ГОСТ Р ИСО 9000-2001 «Системы менеджмента качества. Основные положения и словарь», утвержденном постановлением Госстандарта России от 15.08.2001 № 332-ст. Указанный документ утратил силу в связи с введением в действие с 10 сентября 2009 аналогичного стандарта ГОСТ Р ИСО 9000-2008 «Системы менеджмента качества. Основные положения и словарь» — прим. ред.