Система прогнозирования технико-экономических показателей мероприятий жизненного цикла образца: структура, погрешности, верификация

Вопросам прогнозирования посвящено большое количество публикаций, в которых отражены различные его аспекты. Так, в [1] приводится подробная классификация методов научного прогнозирования в зависимости от целей управления, специфики объекта управления и его среды, а также дается их сравнительный анализ и изложена проблема верификации прогноза, а книга [2] посвящена описанию количественных методов прогнозирования, применяемых в эмпирическом экономическом анализе.

Процесс формирования регрессионных моделей, включающий выбор независимых переменных (факторов) и вида функциональной зависимости, связывающей их с результирующим показателем, изложен в [3, 4, 5]. Следует отметить публикации [6, 7], в которых наряду с формированием прогнозных моделей рассмотрен порядок формирования доверительных интервалов оцениваемых показателей, являющихся, наряду с точечным прогнозированием, неотъемлемой частью процесса прогнозирования.

Кроме того, необходимо отметить монографии [8, 9], в которых изложен методический аппарат определения прогнозных цен на высокотехнологичную продукцию военного назначения; [10, 11], посвященные изложению прикладных аспектов прогнозирования и верификации прогнозов в инженерной области; [12, 13, 14], в которых приведен методический аппарат оценки погрешности определения исследуемых показателей; [15], посвященную анализу точности экономико-математических моделей; [16], в которой изложены способы обработки экспериментальных данных на примере физических величин, а также методы обнаружения грубых и систематических погрешностей измерений.

Также большой интерес представляют публикации: [17], посвященная учету неопределенности при прогнозировании экономических индикаторов и вариантности экономических процессов; [18], в которой показано место прогнозирования при моделировании задач принятия решений; статья [19], в которой рассмотрены методические подходы к разработке научно-технических прогнозов и этапности их проведения.

Тем не менее представляется целесообразным вернуться к указанному вопросу. Это обусловлено тем, что несмотря на изложение в существующих публикациях различных методических аспектов прогнозирования, которые применяются в разнообразных областях научной и инженерной деятельности, в них недостаточно детальное показана системная сторона прогнозирования, а также не указаны основные составные части системы прогнозирования технико-экономических показателей (ТЭП) и их взаимосвязь. Кроме того, в них недостаточно полно представлена классификация погрешностей, которые могут иметь место при прогнозировании стоимостных и временных показателей мероприятий, а также недостаточно полно раскрыта суть понятия «верификация».

В этой связи представляется актуальным более детальное изложение сути и содержания процесса прогнозирования с системных позиций.

Функциональная структура системы прогнозирования ТЭП показана на рисунке 1.

Комплексный учет на практике приведенных на указанном рисунке ее составных частей является важным условием получения адекватных прогнозных оценок. Рассмотрим их роль и взаимосвязь в прогнозировании ТЭП.

К процессу прогнозирования, результатом которого являются точечные оценки значений ТЭП мероприятий жизненного цикла образца, к которым относятся их стоимость и продолжительность, необходимо подходить системно, то есть рассматривать его как результат взаимодействия определенных составных частей, образующих систему прогнозирования. Каждая из составных частей обладает своими особенностями и характеризуется определенными качественными и количественными характеристиками, влияющими на результат прогнозирования. При этом также необходимо учитывать взаимодействие системы прогнозирования с внешней средой.

Рисунок 1. Функциональная структура системы прогнозирования ТЭП

Источник: составлено автором

Указанный процесс реализуется системой прогнозирования посредством применения трех входящих в нее составных частей, первой из которых является математическая модель, включающая одну или несколько аналитических зависимостей и логических операторов, отражающих выбранную экономическую концепцию взаимосвязи учитываемых в модели факторов и оцениваемого результирующего показателя, которая применяется для получения прогнозных оценок, в том числе с использованием специального программного обеспечения.

Второй составной частью системы прогнозирования является база исходных данных, которая включает в себя три массива. Первый массив представляет собой систематизированную совокупность фактических значений ТЭП, характеризующих выполненные мероприятия. Второй и третий массивы включают в себя значения управляемых переменных соответственно по выполненным и планируемым мероприятиям. Четвертый массив содержит макроэкономические показатели внешней среды – индексы-дефляторы, которые в модели играют роль параметров, формируемых за прошедший период Росстатом России, а на плановом периоде - Минэкономразвития России.

Информация, содержащаяся в базе исходных данных, используется для построения математической модели. Чем больше имеется данных в указанной базе, тем меньше будет погрешность прогнозирования. Но это справедливо только в том случае, если фактические значения ТЭП, заносимые в базу исходных данных, не искажены различного рода форс-мажорными событиями природного, организационно-технического и производственно-технологического характера, а также событиями, связанными с нецелевым расходованием ресурсов: финансовых, временных, материальных, человеческих.

В этой связи для получения адекватных прогнозных оценок важно, чтобы содержащиеся в базе исходных данных стоимостные и временные показатели мероприятий не были искажены негативными событиями, препятствующими эффективному использованию финансовых ресурсов.

Этого можно достичь путем проведения верификации фактических значений затрат финансовых ресурсов и временных показателей на реализацию мероприятия.

Третьей составной частью системы прогнозирования является научный коллектив. Человеческий фактор оказывает существенное влияние на величину погрешности прогнозирования, так как с его участием осуществляется формирование первых двух указанных составных частей системы прогнозирования.

Так, с участием человека выполняется формирование массива исходных данных, используемых для построения прогнозной модели, и их ввод. Некорректность вводимой в базу данных информации негативно отражается на точности создаваемой для прогнозирования модели.

Научные работники осуществляют выбор вида модели (формы аналитической зависимости и учитываемых в ней факторов). Здесь важно правильно применять теоретический аппарат построения прогнозных моделей, например, аппарата регрессионного анализа [3], что непосредственно влияет на величину погрешности прогнозирования.

Кроме того, человек принимает участие в анализе результатов моделирования, которые он может изменить исходя из каких-либо соображений, например, с целью снижения возникновения рисковых ситуаций при реализации мероприятия, или с целью удовлетворения конъюнктурных интересов.

Результат прогнозирования зависит от функционирования каждой из трех указанных составных частей.

Погрешность прогнозирования, является одним из важнейших показателей качества функционирования системы прогнозирования. Поэтому целесообразно рассмотреть каким образом она формируется и от чего зависит.

Оскар Моргенштерн [14] указал на следующие источники погрешностей (ошибок):

- упрощение рассматриваемого процесса;

- ошибки, допущенные в процессе наблюдения;

- погрешности, вызванные формализацией исследуемого процесса;

- погрешности, возникающие в процессе расчетов с использованием вычислительных устройств.

Результаты анализа погрешностей прогнозирования ТЭП и публикаций [12, 13,15,16] позволили сформировать их структуру, показанную на рисунке 2, что сделало возможным дополнить приведенный в [14] перечень источников погрешностей и изложить их суть.

Первым видом погрешности является случайная погрешность, возникновение которой обусловлено следующими причинами, во-первых, выбранная модель учитывает ограниченное число факторов, во-вторых, вид модели приближенно отражает взаимосвязь факторов с результирующим показателем, в-третьих, малый объем данных, использованных для построения модели. Ее величину невозможно достоверно предсказать. Она носит вероятностный характер и, как правило, имеет нормальное распределение.

Рисунок 2. Структура погрешности прогнозирования ТЭП

Источник: составлено автором на основе источников [12, 13, 15, 16]

Необходимо иметь в виду, что уменьшение случайной погрешности требует затрат человеческих ресурсов, которые могут негативно повлиять на качество решения других научных задач. Поэтому ставя задачу по уменьшению случайной погрешности необходимо соизмерять величину возможного ее снижения с теми затратами человеческих, а, следовательно, и финансовых ресурсов, которые для этого потребуются и могли бы быть направлены на решение других научных задач. В то же время стремление сэкономить трудозатраты и время на формировании прогнозных значений ТЭП может привести к ошибочным управленческим решениям, негативно влияющим на эффективность расходования финансовых ресурсов и реализуемость мероприятий. Таким образом, здесь должно приниматься компромиссное решение.

Вторым видом погрешности является систематическая погрешность, которая вызвана, во-первых, неправильным видом математической зависимости, описывающей взаимосвязь управляемых переменных и результирующего показателя, а также включением в модель зависимых переменных.

Систематическая погрешность приводит к постоянному смещению прогнозной оценки в сторону завышения или занижения и может быть определена визуально на графике, так как характеризуется постоянным отклонением рассчитанных по модели значений от значений, использованных для построения регрессии.

Два первых вида рассмотренных погрешностей в совокупности образуют методическую погрешность прогнозирования.

Третьим видом погрешности является грубая погрешность, которая может быть вызвана сбоями в работе вычислительной системы, невнимательностью (усталостью) оператора, осуществляющего формирование массива исходных данных и их ввод в вычислительную систему.

Следует также указать на четвертый вид погрешности - субъективную погрешность. Ее источником является лицо, принимающее решение, которое при формировании окончательного значения ТЭП может руководствоваться одним из следующих мотивов или даже двумя мотивами одновременно.

Первым мотивом является стремление снизить финансовые и временные риски невыполнения мероприятия. Для этого рассчитанные по модели прогнозные значения стоимостных и временных показателей увеличиваются на величину, которая по мнению лица, принимающего решение, снизит финансовый и временной риски до приемлемого для него уровня.

Второй мотив обусловлен конъюнктурным аспектом, например, стремлением сделать предложение на конкурс более привлекательным из-за более низкой, чем у конкурентов стоимости мероприятия и продолжительности его выполнения.

Выше изложенное относится к формированию точечных прогнозных оценок ТЭП, которые используются для формирования планового документа. В то же время в процессе планирования и последующей реализация плановых мероприятий осуществляется не только определение точечных оценок ТЭП, но и интервальное прогнозирование.

Интервальное прогнозирование

Наряду с точечным прогнозированием, применяемым для получения единственного ожидаемого значения показателя, характеризующего мероприятие, в качестве которого может рассматриваться, например, стоимость разработки или производства перспективного высокотехнологичного образца техники, имеющего заданные характеристики, следует особо выделить интервальное прогнозирование, которое может осуществляться с применением экономико-математической модели – формализованное интервальное прогнозирование, или экспертным методом.

Формализованное интервальное прогнозирование возможных значений показателя мероприятия может принимать статичную или динамичную форму в зависимости от цели исследования и специфики используемой статистической информации.

Динамичная форма формализованного интервального прогнозирования возможных значений показателя имеет место при использовании, например, регрессионного уравнения, для которого размер доверительного интервала при фиксированном значении доверительной вероятности меняется в зависимости от значений, которые принимают независимые переменные.

Для линейной регрессии границы доверительного интервала определяются по формуле [7]:

(1)

где: – матрица наблюдений независимых переменных;

- транспонированная матрица наблюдений независимых переменных;

– вектор заданных значений независимых переменных;

– оценка среднего квадратического отклонения уравнения регрессии;

– статистика Стьюдента для доверительной вероятности .

На рисунке 3 показано изменение размера доверительного интервала, соответствующего фиксированному значению доверительной вероятности , в зависимости от величины независимой переменной для случая, когда уравнение регрессии является линейным.

Рисунок 3. Доверительный интервал линейного уравнения регрессии

Источник: составлено автором.

Статичная форма интервального прогнозирования имеет место, если рассматривается интервал варьирования определенного показателя, характеризующего, например, расход финансовых ресурсов на выполнение мероприятия, связанного с производством образца, объем которых зависит от ряда факторов, обладающих свойством вариабельности, например, инфляция или объем продаж товара за фиксированное время.

Формализованное представление рассматриваемой формы интервального прогнозирования имеет вид:

(2)

где: – оценка математического ожидания показателя;

– оценка среднего квадратического отклонения показателя;

– доверительная вероятность;

– квантиль нормального распределения для доверительной вероятности .

Значения квантиля приведены в специальной таблице, например [20].

Интервальное прогнозирование, выполненное экспертным методом, имеет место, когда не представляется возможным осуществить формализованное интервальное прогнозирование, например, в случае оценивания стоимости разработки или производства перспективного образца, не имеющего аналога. В этом случае с применением экспертного метода формируется интервал возможных значений показателя , где: , – соответственно минимальное и максимальное возможные значения показателя.

Результатом интервального прогнозирования является формирование интервала неопределенности (полосы неопределенности [17]) значений показателя. Его наличие позволяет сформировать возможные сценарии реализации мероприятия, некоторые из которых могут носить негативный характер, способствуя повышению риска нереализуемости запланированного мероприятия. Анализ таких возможных сценариев и последствий их реализации позволяет выработать рекомендации по парированию указанного риска. Размер интервала неопределенности позволяет охарактеризовать степень неопределенности значения показателя, характеризующего мероприятие.

Одна или обе границы сформированного интервала неопределенности могут характеризовать не просто разброс возможных значений показателя, а являться индикаторами (пороговыми значениями показателя), отклонение от значений которых в большую (меньшую) сторону приводит к принятию нерационального управленческого (планового) решения, например, неэффективному расходованию финансовых ресурсов при заключении контракта на разработку или закупку образца по цене, превышающей значение индикатора, или нереализуемости мероприятия, если цена заключенного контракта окажется при его исполнении значительно меньше себестоимости.

Отсюда следует важное практическое значение контроля положения текущего значения комплексного показателя процесса реализации мероприятия внутри полосы неопределенности, ограниченной указанными пороговыми значениями, и его изменения во времени, состоящее в своевременном выявлении возможности возникновения рисковой ситуации, а, следовательно, в возможности принятия превентивных мер по ее недопущению, например, создание резервного фонда (подушки безопасности).

Таким образом, интервальное прогнозирование является важным инструментом проведения как количественного, так и качественного анализа экономических процессов способствуя эффективному расходованию финансовых ресурсов и принятию обоснованных плановых (управленческих) решений.

Верификация прогноза

В [1] под верификацией понимается процедура оценки достоверности прогноза. С практической точки зрения достоверность прогноза характеризует возможность его принятия для формирования планового документа.

В Большой экономической энциклопедии термин «верификация» трактуется более широко – «проверка правильности чего-либо» [21]. В свою очередь, термин «правильный» в Толковом словаре русского языка трактуется как «не отступающий от правил, норм, пропорций» [22]. С этой точки зрения «эффективное расходование финансовых ресурсов» можно рассматривать как правило, которым следует руководствоваться при формировании прогнозных стоимостных показателей мероприятий. Исходя из этого в ходе верификации должна быть осуществлена проверка на эффективность расходования финансовых ресурсов, при которой осуществляется комплексный учет как результативной, так и затратной сторон выполнения мероприятия.

Таким образом, верификация должна включать два этапа, первый из которых направлен на оценку достоверности ТЭП, а второй - на проверку эффективности использования финансовых ресурсов, выделяемых на выполнение мероприятия при формировании планового документа, и проверку эффективности их расходования по окончании реализации мероприятия.

Рассмотрим суть первого этапа верификации.

Авторами [1] дается характеристика нескольких способов проведения верификации, которые базируются на:

- мнениях оппонентов (способ «адвоката дьявола»);

- экспертных оценках (инверсная верификация);

- данных, опубликованных в литературе (косвенная верификация);

- сопоставлении с результатами другого прогноза, который является ответом на аналогичный по сути вопрос, но сформулированный по иному;

- выявлении и минимизации систематической ошибки;

- сопоставлении с результатом применения другого метода прогнозирования (прямая верификация).

Из перечисленных способов верификации только последний может быть реализован на вычислительной машине, когда требуется верифицировать большое количество технико-экономических показателей, достигающее несколько сотен и даже тысяч.

Исходя из этого, а также для обеспечения обоснованности суждения об уровне достоверности прогноза, предлагается верификацию прогнозных оценок ТЭП проводить в два этапа (далее описана процедура верификации на примере стоимостных показателей мероприятий), первый из которых направлен на проверку достоверности прогнозной оценки, а второй – на проверку эффективности использования финансовых ресурсов при планировании мероприятия и эффективности их расходования при окончании реализации мероприятия.

На первом шаге первого этапа осуществляется верификация модели, которая применяется для прогнозирования. Для этого осуществляется выбор одной или нескольких образцов-аналогов, разработанных в прошедший период. Пусть их количество равно . На основе факт-затрат формируются стоимостные показатели соответствующих мероприятий, приведенные к расчетному году .

Обозначим множество типов образцов, являющихся образцами-аналогами для перспективного образца, прогнозная стоимость создания которого верифицируется, , а фактические затраты, приведенные к расчетному году , на выполнение мероприятия по созданию образца-аналога -го типа, принадлежащего указанному множеству, . При этом указанные затраты не должны включать в себя элементы затрат, вызванных форс-мажорными обстоятельствами и нецелевым использованием финансовых ресурсов.

Далее для каждого образца-аналога -го типа определяется величина относительного отклонения фактических данных по стоимости реализации мероприятия от прогнозной оценки по формуле:

(3)

где – прогнозная оценка стоимости создания образца-аналога -го типа (в ценах расчетного года ), полученная по модели, примененной для прогнозирования верифицируемого значения стоимости создания перспективного образца.

Находится максимальное относительное расхождение фактических и прогнозных оценок затрат на выполненные мероприятия по созданию образцов, принадлежащих множеству :

. (4)

Если выполняется неравенство , где – максимально допустимое расхождение между прогнозной стоимостной оценкой выполненного в прошлом мероприятия, полученной с применением модели, используемой для получения верифицируемой оценки стоимости создания перспективного образца, и фактическим значением стоимости выполненного мероприятия, при превышении которого считается, что модель неадекватно отражает процесс формирования затрат.

Величина показателя определяется экспертным методом.

Предположим, что неравенство выполняется. Тогда принимается, что модель адекватно отражает процесс формирования затрат на выполнение мероприятия по созданию образца, а, следовательно, принимается, что прогнозная оценка затрат на реализацию запланированного мероприятия по созданию перспективного образца может быть допущена для дальнейшей верификации, которая выполняется на втором шаге.

Количественной характеристикой уровня достоверности прогноза помимо значения показателя , определяемого по выше приведенной формуле, может служить показатель, характеризующий среднее относительное отклонение фактических значений стоимости реализации мероприятий от рассчитанных по модели значений

(5)

Второй шаг первого этапа выполняется для повышения обоснованности суждения об уровне достоверности прогнозных оценок. Он также осуществляется при отсутствии у перспективного образца хотя бы одного аналога, когда первый шаг не может быть реализован.

Второй шаг первого этапа верификации прогнозной оценки ТЭП состоит в следующем.

Проводится прогнозирование стоимости выполнения мероприятия по созданию перспективного образца с применением альтернативных моделей (модели), множество которых обозначим . Полученные прогнозные оценки сравниваются с верифицируемым прогнозным значением стоимости создания перспективного образца . В качестве меры расхождения указанных оценок рассматривается относительное отклонение, определяемое по формуле:

(6)

где – прогнозная оценка стоимости создания перспективного образца (в ценах расчетного года ), полученная с применением альтернативной модели -го вида.

Находится максимальное расхождение между верифицируемой стоимостной оценкой и прогнозными оценками стоимости создания перспективного образца, полученными с применением альтернативных моделей, по формуле:

. (7)

Если выполняется неравенство , где – максимально допустимое расхождение между верифицируемой стоимостной оценкой и прогнозными оценками стоимости создания перспективного образца, полученными с применением альтернативных моделей, при превышении которой считается, что оно вызвано неадекватностью верифицируемой прогнозной оценки, то принимается, что верифицируемая оценка адекватно отражает процесс формирования стоимости создания перспективного образца, то есть обладает приемлемым уровнем достоверности и может быть использована для формирования планового документа. В противном случае следует проверить процесс получения прогнозной верифицируемой оценки, в том числе модель, и, если будет осуществлена ее корректировка, снова должен быть выполнен второй этап.

Величина показателя определяется экспертным методом.

Чем меньше значения показателей и , тем выше достоверность прогнозных оценок ТЭП.

Рассмотрим суть второго этапа верификации.

На этом этапе для проверки эффективности использования при формировании планового документа и их расходования при завершении реализации мероприятия, применяется комплексный технико-экономический показатель, равный отношению эффекта от выполнения мероприятия к затратам на его реализацию, то есть количество эффекта, приходящегося на единицу затрат.

В основе его определения лежит положение: эффективность использования (расходования) финансовых ресурсов на выполнение планируемого мероприятия не должна быть меньше эффективности использования (расходования) финансовых ресурсов на реализацию завершенного мероприятия по созданию образца одного функционального назначения с перспективным образцом, то есть должно выполняться неравенство

(8)

где: – ожидаемый эффект от выполнения мероприятия по созданию перспективного образца (применения образца по своему функциональному назначению);

– вектор характеристик перспективного образца;

– достигнутый эффект от реализации мероприятия по созданию образца, имеющего общее функциональное назначение с перспективным образцом;

– вектор фактически достигнутых характеристик в результате реализации мероприятия по созданию образца, имеющего общее функциональное назначение с перспективным образцом;

– прогнозируемые затраты (в ценах расчетного года ) на выполнение мероприятия по созданию перспективного образца, прошедшие проверку достоверности на первом этапе верификации и обладающие приемлемым уровнем достоверности;

– фактические затраты (в ценах расчетного года ) на реализацию завершенного мероприятия по созданию образца, имеющего общее функциональное назначение с перспективным образцом;

- для реализованного мероприятия

(9)

где: – фактически достигнутый эффект от реализации мероприятия по созданию перспективного образца (применения образца по своему функциональному назначению);

- фактически достигнутые в результате реализации мероприятия характеристики перспективного образца;

- фактические затраты (в ценах расчетного года ) на реализацию завершенного мероприятия по созданию перспективного образца.

Выполнение верификации с применением изложенного методического аппарата обеспечит как оценку достоверности прогнозных оценок ТЭП, так и эффективности использования (расходования) финансовых ресурсов.

Таким образом, в статье рассмотрены такие важные аспекты процесса прогнозирования как структура системы прогнозирования ТЭП мероприятий жизненного цикла образца, роль точечного и интервального прогнозирования, виды погрешностей прогнозирования, которые оказывают существенное влияние на эффективность расходования финансовых ресурсов и реализуемость мероприятий, а также процедура верификации ТЭП. Использование изложенных материалов в практической деятельности будет способствовать повышению уровня обоснованности прогнозных значений ТЭП планируемых мероприятий, а также бережливому расходованию финансовых ресурсов.