Инструменты оценки качества прогнозов показателей экономической деятельности организаций

Прогнозирование показателей экономической деятельности является неотъемлемой составляющей экономического процесса. В этой связи встает вопрос об оценке качества прогнозов. Существует стандартный набор простейших статистик качества прогнозов и ряд довольно простых тестов, позволяющих ответить на вопрос о значимости различия прогнозов того или иного показателя, если их было несколько. Необходимо отметить, что предложенные методы не зависят от способа получения прогнозов: это могут быть и экспертные оценки, и эконометрические прогнозы, и любые другие.

К простейшим статистикам качества прогнозов относятся: средняя абсолютная процентная ошибка прогнозирования (Mean Absolute Percent Error — MAPE), средняя абсолютная ошибка прогнозирования (Mean Absolute Error — MAE), корень квадратный из средней квадратичной ошибки прогнозирования (Root Mean Squared Error — RMSE).

Пусть — фактическое значение показателя в момент T+i; — прогноз этого показателя в момент Т на i шагов вперед; — ошибка прогноза в момент Т на i шагов вперед; h — горизонт прогнозирования. Средняя абсолютная процентная ошибка прогнозирования рассчитывается по формуле:

.

Данная мера качества прогнозов является абсолютной в том смысле, что позволяет оценить его независимо от других прогнозов: достаточно выбрать некий уровень средней ошибки (например, 5%) и сравнивать рассчитанное по статистике значение с этим тестовым уровнем. Если расчетное значение меньше тестового, то прогноз считается хорошим, если больше — плохим.

Средняя абсолютная ошибка прогнозирования рассчитывается как

и является относительной мерой качества прогнозов, т.е. может быть использована для сравнения двух (или более) различных прогнозов одного и того же показателя между собой: лучшим считается тот прогноз, у которого МАЕ меньше. При этом, очевидно, этот лучший прогноз может быть хорошим или плохим с точки зрения МАРЕ.

Наиболее часто используемой статистикой качества прогнозов является корень квадратный из средней квадратичной ошибки прогнозирования

,

который также является относительной мерой качества прогнозов.

Главным достоинством всех перечисленных выше статистик является простота их расчета, главным недостатком то, что они не позволяют получить ответ на вопрос о том, являются ли два прогноза показателя разными со статистической точки зрения. Для ответа на этот вопрос необходимо использовать специальные тесты: F–тест, тест Моргана–Грейнджера–Ньюболда, тест Миза–Рогоффа, тест знаков и ранговый тест знаков Вилкоксона. Остановимся на них более подробно.

Самым простым способом проверки гипотезы о совпадении прогнозов по двум моделям (А и В) является F-тест, который можно использовать, если функция потерь имеет квадратичный вид (т.е. используется RMSE), а ошибки прогнозирования удовлетворяют всем стандартным требованиям: имеют нулевой средний уровень, являются нормальными, а также серийно и одновременно некоррелированны. Тогда тестовая статистика выглядит следующим образом:

,

где h — горизонт прогнозирования;

и — — векторы ошибок прогнозирования по моделям А и В, соответственно.

Следовательно, если математическое ожидание каждой ошибки прогнозирования равно нулю, можно говорить о том, что тестовая статистика представляет собой отношение выборочной ковариации между ошибками прогнозирования, полученным по различным моделям, к выборочной дисперсии ошибки прогнозирования, полученной по модели В.

В тесте Моргана–Грейнджера–Ньюболда требуется выполнение всех предположений F-теста, за исключением последнего об одновременной некоррелированности ошибок прогнозирования. При этом, Диболд и Мариано показали, что единственным из предположений о характере ошибок прогнозирования, которое не может быть ослаблено в данном случае, является предположение о том, что функция потерь имеет квадратичный вид. Статистика Моргана–Грейнджера–Ньюболда рассчитывается по формуле:

,

где — выборочный коэффициент корреляции между суммой (x) и разностью (z) ошибок прогнозирования различных моделей.

В случае если ошибки прогнозирования являются и серийно, и одновременно коррелированными, можно использовать тест Миза–Рогоффа:

где — выборочный коэффициент ковариации между суммой и разностью ошибок прогнозирования моделей A и B; — состоятельная оценка ковариационной матрицы. Можно показать, что если ряды ошибок не являются серийно коррелированными, то статистика Миза–Рогоффа асимптотически совпадает со статистикой Моргана–Грейнджера–Ньюболда.

Диболд и Мариано предложили тест, являющийся устойчивым к различным отклонениям от стандартных предположений о свойствах ошибок прогнозирования. В данном тесте допускается, что ошибки прогнозирования могут не удовлетворять классическим критериям, т.е. могут не быть нормальными, иметь ненулевой средний уровень, а также быть автокоррелированными и коррелированными между собой. Кроме того, снимается ограничение с функции потерь: теперь она не должна быть квадратичной.

Все рассмотренные тесты дают хорошие результаты, если в наличии имеются длинные ряды прогнозов. Но чаще всего это условие не выполняется. В таком случае можно использовать тест знаков и ранговый тест знаков Вилкоксона.

При условии, что математическое ожидание разности функций потерь не равно нулю, в тесте знаков тестируется гипотеза о равенстве нулю медианы разности функций потерь, против альтернативы о ее отличия от нуля. Если же математическое ожидание разности функций потерь равно нулю и разность функций потерь есть независимая одинаково распределенная случайная величина, то исходную нулевую гипотезу можно заменить проверкой равенства медиан (или математических ожиданий) разности функций потерь разных прогнозов и соответствующих им альтернативных гипотез. В предположении о симметричности распределения разности функций потерь число положительных наблюдений в выборке размера h имеет биноминальное распределение с параметрами h и ½. Тогда тестовая статистика имеет вид:

где , а и характеризует разность функций потерь прогнозов А и В, — функция потерь, характеризующая отклонения прогнозных значений показателя в момент Т на i шагов вперед, оцененных на основе модели k (например, по модели А либо В), от истинного значения в этот момент времени. Нередко в качестве функции потерь берется некоторая функция от ошибки прогнозирования, т.е. . Например, в качестве функции потерь может выступать одна из стандартных характеристик качества прогнозов: МАРЕ, МАЕ или RMSE. Таким образом, тестовая статистика в тесте знаков есть количество значений функции потерь от ошибки прогнозирования по модели А в момент времени i=1,…,h, превышающих значение функции потерь от ошибки прогнозирования по модели В в соответствующий момент времени. В случае больших выборок используется статистика:

.

В случае отсутствия значимых различий прогнозных свойств моделей, статистика должна быть приблизительно равна 0,5h, а тогда принимает значение около нуля.

Ранговый тест знаков Вилкоксона является более мощным тестом по сравнению с тестом знаков, и его можно использовать, если выполняются условия симметричности разности функций потерь ошибок прогнозирования различных моделей и разность функций потерь ошибок прогнозирования является независимой одинаково распределенной случайной величиной. В этом случае тестовая статистика может быть рассчитана как:

где — ранг абсолютной величины значения разности функций потерь ошибок прогнозирования различных моделей в момент времени i = 1 ,…, h. Тогда, — сумма рангов положительных значений разности функций потерь ошибок прогнозирования разных моделей. Критические значения для небольших выборок (h – мало) можно найти в специальных таблицах, для больших выборок (асимптотически) статистика имеет стандартное нормальное распределение.

Вывод

Все рассмотренные тесты хорошо работают при большом количестве наблюдений и при выполнении необходимых условий дают адекватные со статистической точки зрения результаты. Понятие большой выборки определить довольно сложно и для разных тестов пороговые значения могут быть различными. Например, для теста Миза-Рогоффа Диболд и Мариано показали, что достаточный размер выборки достигается при h больше 64. Нарушение различных предположений тестов ведет к различным потерям, и мы не будем останавливаться на этом подробно. При наличии малого числа наблюдений лучше использовать тесты знаков и , поскольку в этой ситуации они дают более адекватные результаты по сравнению с другими рассмотренными тестами.