Big Data: новые горизонты и вызовы для центральных банков

Введение. В настоящее время центральные банки все больше заинтересованы в использовании больших объемов данных, доступных в современных обществах, в качестве источника и потребителя статистической информации [2]. Тем не менее, они также осознают важность решения серьезных проблем, связанных с обработкой детализированных наборов данных. Эти наборы Big Data включают записи на микроуровне и дезагрегированные данные, которые могут быть идентифицированы на более высоком уровне, чем агрегированная статистика. Проблемы, связанные с этими наборами данных, включают их объём и ограниченное качество, а также сложность из-за высокой детализации и разнообразия форматов.

Несмотря на указанные проблемы, детализированные данные, вызывают заинтересованность по множеству причин. Наиболее заметным аспектом является то, что они способны обеспечить высокую точность и понимание экономических процессов, которые агрегация обычно маскирует или скрывает. Детализированные данные обеспечивают достаточную гибкость и адаптивность для решения широкого круга проблем. Кроме того, они способны поддерживать создание новых экономических показателей (например, уровня экономической стабильности или неопределенности) и проведение экспериментов с различными вариантами.

Хотя детализированные данные обеспечивают адекватный уровень детализации и понимания, ранее невозможный с агрегированными источниками, центральным банкам приходится сталкиваться с двумя непосредственными проблемами. Во-первых, эти данные по сути лишены производственных процессов и оценок качества по отношению к типичной макроэкономической статистики. Во-вторых, чтобы обеспечить эффективность, они должны находится в согласованной структуре и контекстуализированы. Тем не менее, опыт центральных банков показывает, что наука о данных и ее широкий спектр новых инструментов и методов могут быть очень эффективны в решении этих проблем. Следующие аспекты заслуживают особого рассмотрения [3]:

– детализированные данные в их необработанном виде часто не структурированы, не проверены и разбросаны. Следовательно, для получения, преобразования и проверки собранной информации, прежде чем она может быть полезной, необходимы определённые операции. Из-за обширности данных, эти операции требуют высокой степени автоматизации. Между тем, «последние достижения в области искусственного интеллекта (ИИ) и машинного обучения (МО) открывают большие возможности для использования информации из детализированных данных путем выполнения широкого спектра задач, таких как обнаружение аномалий, мониторинг в реальном времени, распознавание образов и предиктивная аналитика» [10];

– определяющей особенностью детализированных данных является возможность идентификации отдельных отчетных единиц. Несмотря на серьезные соображения, связанные с конфиденциальностью, центральные банки в изоляции могут не иметь возможности обрабатывать огромное количество данных и в полной мере использовать предлагаемые ими идеи. Поиск средств для сотрудничества с другими органами, отраслью и/или академическими кругами без ущерба для конфиденциальности требует новых и инновационных способов работы с подобными данными и обмена ими [5];

– важный аспект касается управления и стандартизации детализированных данных. В отличие от агрегированной статистики, для которой обычно существуют общие структуры, обеспечивающие согласованность и сопоставимость, гармонизация детализированных данных между странами является более сложной задачей по ряду причин. К ним относятся различные уровни технологической инфраструктуры, своеобразные нормативные и правовые рамки, а также различные степени доступности данных и доступа к ним. Учитывая взаимосвязанную природу интегрированного мира, разработка универсально принятых структур и норм, связанных с детализированными данными, представляется существенной [1];

– большинство традиционных моделей политики и аналитических процессов в центральных банках были созданы на протяжении многих лет в основе макроэкономической статистики. Вследствие чего необходимо обновить или разработать новые модели, которые будут использовать детализированные данные, и согласовать их с агрегированными аналогами.

Цель исследования обосновать новые горизонты и вызовы для центральных банков в контексте Big Data.

Задачи исследования:

– рассмотреть своевременные источники информации в основе детализированных данных;

– уточнить новые экономические показатели в контексте Big Data;

– проанализировать перспективы Big Data в аспекте устранения рисков и разработки адекватных мер по их смягчению.

Новизна исследования в области Big Data открывает новые горизонты для центральных банков. Это способствует получению более точной и полной информации о состоянии экономики и финансовой системы, а также о поведении потребителей и рынков. Такой подход позволяет принимать более эффективные решения в области монетарной политики и финансового регулирования. Однако, вместе с новыми возможностями, Big Data представляют вызовы для центральных банков. Один из них – это необходимость разработки и внедрения новых технологий и инструментов для обработки и анализа больших объемов данных, что требует значительных инвестиций и усилий со стороны центральных банков.

Big Data представляют огромный потенциал для центральных банков, в связи с чем, практическая значимость исследования в этой области содержится в возможности получения более точной и полной информации для принятия обоснованных решений и развития новых технологий.

Своевременные источники информации в основе детализированных данных. В современном мире, где все больше и больше информации генерируется каждую секунду, Big Data становится неотъемлемой частью общественной жизни. Центральные банки, как ключевые игроки в мировой экономике, не могут остаться в стороне от этой тенденции. Они сталкиваются с огромным объемом данных, связанных с финансовыми транзакциями, экономическими показателями и макроэкономической статистикой. Детализированные данные предлагают достаточный спектр преимуществ для центральных банков, подчеркивая следующие ключевые области интересов:

– детализированные данные обеспечивают более глубокие и гибкие идеи по широкому спектру тем;

– огромный спектр детализированных данных способствует быстрому сбору и использованию статистики с более своевременным и устойчивым производственным процессом;

– наряду с улучшениями в технологических возможностях, детализированные данные могут предложить совершенно новые типы экономических показателей, а также улучшать статистические методологии для существующих данных;

– детализированные данные могут выступать в качестве дополнения к имеющимся статистическим агрегатам, помогая решать такие проблемы, как ошибка измерения в реальном времени и пробелы в данных.

Разнообразие детализированных данных, как по объему, так и по детализации, может способствовать более полному пониманию экономических явлений, возникающих закономерностей, тенденций и взаимосвязей.

Первый способ, которым детализированные наборы данных могут помочь центральным банкам, – это точность в информации. В случае с традиционными данными, агрегация приводит к потере информации и ограничивает круг вопросов, на которые можно дать адекватные ответы. Основная причина этого связана с неоднородностью, особенно в разных секторах, географических регионах или демографических группах. Например, объединение различных индивидуальных позиций в «нормальные» макроагрегаты повышает риски упущения «хвостовых» рисков, как это было продемонстрировано во время мирового финансового кризиса [16]. Напротив, детализированные данные позволяют получить гораздо более полное представление об экономическом развитии и влиянии политических решений не только на макроэкономические агрегаты, но и на их распределение [23]. Другим примером является широкое использование детализированных данных, охватывающих кредитные и банковские транзакции. Они могут обеспечить высокочастотную информацию о поведении домохозяйств и моделей расходов, позволяя политикам оценивать экономические события и на их основе формулировать соответствующие меры реагирования.

Второй способ, которым детализированные данные могут обеспечить более глубокое понимание информации, – это адаптивность. Адаптивность особенно важна для проведения политики, основанной на фактических данных. Например, поскольку влияние решений денежно-кредитной политики может иметь длительные и переменные лаги, необходимо чтобы центральные банки знали не только о текущем состоянии экономики, но и о том, как экономика будет развиваться в последующие месяцы и годы.

Например, индекс потребительских цен (ИПЦ) рассчитывается с использованием фиксированной корзины товаров/услуг, при этом веса расходов обычно обновляются каждые два года, однако модели потребления резко изменились во время пандемии [9]. Это вызвало опасения, что сообщаемые цифры могут сильно отличаться от инфляции, которую испытывали домохозяйства. Для решения этой проблемы Центральные Банки и Статистические управления объединились для построения скорректированного показателя ИПЦ на основе корзины товаров/услуг в реальном времени, используя различные источники информации, включая покупки по потребительским кредитным картам, данные опросов и данные о транзакциях от розничных продавцов. Вследствие данного эксперимента – альтернативный индикатор показал, что «после корректировки изменений в моделях потребления – инфляция, с которой столкнулись потребители, была намного выше, чем сообщалось в официальных источниках [6].

Тем не менее, чтобы максимально использовать гибкость, предоставляемую детализированными данными, необходимо иметь согласованную статистическую структуру для обеспечения правильной интеграции наблюдений на микроуровне в макроэкономические агрегаты. Одним из примеров такого двустороннего микро-макро – взаимодействия является проект, разработанный в Корее для использования детализированных данных сканера [19]. Другой пример – растущий интерес центральных банков к разработке детализированных баз данных по каждой ценной бумаге, которые можно использовать для получения значимых макроагрегатов [18].

В дополнение к предоставлению более подробной и понятной информации, которая в противном случае была бы недоступна, детализированные данные позволяют более эффективно использовать статистическую информацию. Основная причина заключается в том, что многие источники данных на микроуровне теперь формируются как побочный продукт технологических инноваций, цифровизации и Интернета вещей. Примерами таких «финансовых Big Data» являются показатели цифрового следа [22]:

– такие как продажи в электронной коммерции, тенденции поиска Google, взаимодействия в социальных сетях и использование мобильных телефонов;

– сигналы от электронных «умных» устройств, таких как термостаты, физические датчики и сети;

– финансовые операции, такие как транзакции по кредитным картам, банковские переводы и платежи;

– данные о логистике цепочки поставок, такие как уровни запасов, деятельность по доставке и транспортные сети.

Ещё один из привлекательных аспектов, детализированных данных – их своевременность. «В отличие от агрегированной статистики, такой как данные национальных счетов, которые вычисляются с регулярными интервалами (ежеквартально/ежегодно), микроданные могут собираться и компилироваться с гораздо более высокой частотой, а в некоторых случаях на непрерывной основе» [14]. Кроме того, период между сбором и обработкой может быть мгновенным, то есть, можно наблюдать за изменяющимися условиями или возникающими тенденциями почти в реальном времени и реагировать на ситуации с большей скоростью и точностью.

Другая особенность детализированных данных связана с устойчивостью. Поскольку во многих случаях информация возникает как побочный продукт цифровой деятельности, она может быть более устойчивой к сбоям, чем традиционная экономическая статистика, которая требует адекватных компиляционных процессов (переписей, опросов). Ярким примером устойчивости детализированных данных стал период Covid-19, когда пандемия нарушила производство официальной статистики во многих странах. Однако, статистические органы смогли устранить информационные пробелы, и связанные с ними методологические и качественные проблемы с данными, используя различные альтернативные источники, включая данные о транзакциях, данные веб-сайтов и социальных сетей, а также другие показатели цифрового следа, и это лишь некоторые из них. И, хотя детализированные данные могут быть более устойчивыми к сбоям, в потоке информации в определенных случаях необходимо проявлять осторожность в отношении потенциальных изменений в их базовом процессе производства и последствий для их анализа.

Новые экономические показатели в контексте Big Data. Новые экономические показатели, полученные благодаря Big Data, стали неотъемлемой частью стратегического планирования и принятия решений в различных отраслях. Они позволяют компаниям и организациям получать более точные и полные данные о рынке, потребителях, конкурентах и других факторах, влияющих на их деятельность. Количество доступных политикам экономических показателей значительно увеличилось благодаря обилию новых данных, которые генерируются цифровизацией, а также расширенному использованию традиционных наборов информации, таких как административные регистры и текстовый контент, за счет усовершенствования технологий и методологических инноваций [8].

Центральные банки теперь уделяют большое внимание составлению и анализу «мягких» показателей, например, восприятию и ожиданиям агентов относительно экономики [7]. Хотя варианты таких показателей были доступны до недавнего распространения детализированных данных, они как правило, основывались на опросах. Сейчас существуют новые методы, например, использование инструментов обработки естественного языка (NLP), которые позволяют получать информацию из новостей и СМИ, что более эффективно и не требует больших затрат.

Другое важное событие связано с новыми типами индикаторов, происходящих из «жестких» детализированных данных. Одним из примеров является «Индекс давления на глобальную цепочку поставок», который формируется на основе различных источников микроданных, включая информацию о глобальных транспортных расходах, индексы стоимости авиаперевозок и обследования, связанные с цепочками поставок. Новые экономические показатели также могут быть получены из спутниковых снимков высокого разрешения; например, проект «Глобального мониторинга сельского хозяйства» использует спутниковые снимки для измерения состояния посевов, использования сельскохозяйственных земель и оценки будущей урожайности [15].

Непримененные детализированные данные могут быть использованы для расширения и разнообразия экономических показателей, чтобы удовлетворить новые информационные потребности в зависимости от ситуации. Следовательно, позволяя интегрировать широкий спектр детализированных данных в существующие аналитические структуры, центральные банки могут иметь больше гибкости для удовлетворения потенциальных информационных потребностей, которые трудно предсказать на текущем этапе. Один из пробелов в данных, выявленных в поддержке анализа политики по климату, связан с отсутствием геопространственных прогнозных показателей физического риска. Эти показатели необходимы для оценки развития экологических угроз и их возможных последствий для финансовой устойчивости [4; 12].

Перспективы Big Data: устранение рисков и разработка адекватных мер по их смягчению. Детализированные данные несомненно облегчают деятельность центральным банкам, тем не менее с их использованием также связан ряд рисков и проблем. Опыт центральных банков подчеркивает, в частности, следующие аспекты, заслуживающие тщательного рассмотрения и соответствующих мер по смягчению вызовов в будущем: вопросы безопасности и конфиденциальности данных; аспекты качества данных и рациональный обмен данными.

Вопросы безопасности и конфиденциальности данных. Ключевой областью является безопасность и необходимость защиты конфиденциальной информации от несанкционированного доступа, коррупции, мошенничества. Работа с микроданными очевидно усиливает риски, с которыми приходится сталкиваться в этой области, отражая следующие основные причины.

Во-первых, детализированные данные являются привлекательной целью для кибератак. Чем больше информации, тем она ценнее для злоумышленников, которые хотят использовать ее в различных целях. Следовательно, центральные банки, которые собирают, управляют и распространяют данные, должны внедрять надежные меры безопасности.

Во-вторых, несмотря на то, что инновации могут помочь решить проблему, они также могут вызвать новые, неожиданные трудности, особенно в отношении рисков повторной идентификации, связанных с детализированными данными. Разработка более продвинутых методов и алгоритмов, способность моделей ИИ включать широкий спектр наборов информации, а также более высокая вычислительная мощность (например, квантовые вычисления) могут стать переломным моментом с этой точки зрения [13].

Третий важный аспект заключается в том, что вопросы безопасности не должны ограничиваться только организациями, собирающими информацию, так как они затрагивают множество заинтересованных сторон. Необходимо, чтобы люди и компании, предоставляющие свои личные данные, были осведомлены о рисках и имели возможность контролировать свои записи. Решение этих проблем требует комплексного подхода, включающего современные технологии и надежные системы управления данными, в целях обеспечения общего доверия к таким процессам.

Ключевым аспектом является соблюдение нормативных и этических принципов. Однако, при работе с детализированными данными, правила конфиденциальности становятся все более сложными. Центральные банки должны ориентироваться в многообразии юридических требований, касающихся сбора, обработки, хранения и распространения данных, и при этом контролировать соответствие своей практики принципам и правам конфиденциальности.

Аспекты качества данных. Обычной проблемой при работе с источниками детализированной информации является их ограниченное качество, при этом термин «качество» охватывает различные характеристики, включая их точность и надежность, целостность и безопасность, а также необходимость надлежащего документирования и простоты поиска и доступа [24]. Фактически, детализированные данные могут содержать ошибки, несоответствия или предубеждения, приводящие к неверным политическим решениям или экономическим оценкам. Поэтому обеспечение их точности и надежности имеет решающее значение для поддержания эффективности и авторитетности операций центрального банка. Более того, ограниченное качество детализированных данных может привести к несоответствиям с макроагрегатами. Расхождения могут возникать по разным причинам, включая проблемы двойного учета или неточные справочные данные, например, по контрагентам. Такие несоответствия затрудняют возможность использования микро- и макроданных в качестве взаимозаменяемых источников. Типичным примером является использование данных по ценным бумагам для составления портфельных инвестиций в платежном балансе и международной инвестиционной позиции.

Для улучшения этих проблем необходимо разработать надежные процессы управления данными. Это важно для рационального сбора информации и, прежде всего, для процессов интеграции данных в целях эффективной связи между доменами и источниками, например, путем соотнесения геопространственной информации с бизнес-реестрами и финансовыми отчетами. Они также влекут за собой создание проверок достоверности, как внутренних (для проверки согласованности на основе собранной детализированной информации), так и внешних (для сравнения с другими источниками детализированных или агрегированных данных). Главный аспект связан с автоматизацией и упрощением рабочих процессов и развертываний по всей цепочке статистического производства, например, в разработке программного обеспечения («DevOps») и конвейерах производства машинного обучения («MLOps»).

Рациональный обмен данными. Одним из ключевых аспектов, детализированных данных являются ограниченные возможности их совместного использования. Основная проблема заключается в том, что, в отличие от агрегированных данных, детализированная информация не гармонизирована между различными секторами и/или странами. В результате отсутствует общая и универсальная структура для работы с детализированными данными, которая бы обеспечивала согласованность определений, классификаций и методологий. Это резко контрастирует с макроэкономической статистикой, которая обычно опирается на общую методологическую структуру для обеспечения сопоставимости и согласованности.

Связанная с этим проблема заключается в ограниченной стандартизации детализированных данных, что препятствует их адекватному моделированию и обмену. Это требует установления международных стандартов с целью разработки общих структур данных. Для решения этой проблемы уже реализуются важные инициативы, например, «Инициатива по документированию данных (DDI) и XBRL (язык деловой отчетности), являющаяся международным стандартом, разработанный для описания социально-экономических процессов и других мероприятий по сбору микроданных, а также для поддержки деловой отчетности [1]. Одним из ключевых проектов, одобренных мировым сообществом стал запуск идентификатора юридического лица (LEI) – справочного кода для уникальной идентификации юридически отдельных субъектов, участвующих в финансовых транзакциях. Стандарт обмена статистическими данными и метаданными (SDMX), который поддерживает составление макростатистики, был адаптирован для облегчения их согласования с базовыми микроисточниками [25]. Тем не менее, принятие статистических стандартов для детализированных данных остается крайне ограниченным и неоднородным. Например, использование SDMX для работы с микроданными все еще находится в зачаточном состоянии среди центральных банков, в основном из-за отсутствия достаточных международных руководств [17].

Рациональному обмену детализированными данными также препятствует ряд технических барьеров, особенно в странах с низким и средним уровнем дохода, отражая различия в технологической инфраструктуре, мощности и статистических системах. Конкретные примеры включают неисправные системы репозиториев, проблемы с загрузкой и отсутствие гармонизированного программного обеспечения и форматов файлов. Возможно, более фундаментальное препятствие связано с этическими проблемами, возникающими при работе с отдельными записями, а также культурными особенностями.

На глобальном уровне в этом отношении были инициированы следующие меры:

– рекомендации, принятые G-20 в контексте третьего этапа «Инициативы по пробелам в данных (DGI-3)» [11];

– разработка международного стандарта обмена микроданными [20];

– создана общая целевая группа, объединяющая центральные банки, статистические управления и международные организации, для разработки руководящих принципов и улучшения использования SDMX для микроданных [21].

Несмотря на этот прогресс, принятие единого подхода к стандартизации или гармонизации статистических концепций, на базе детализированных данных остается проблемой, требующей серьезных скоординированных усилий и международного сотрудничества.

Заключение

Исследование Big Data является одной из наиболее актуальных тем в современном мире, особенно для центральных банков. В условиях быстрого развития технологий и увеличения объема данных, которые генерируются каждый день, применение Big Data становится необходимостью для эффективного функционирования финансовой системы. Big Data позволяет центральным банкам улучшить свою деятельность в области мониторинга и прогнозирования экономической ситуации. Благодаря анализу больших данных, банки могут более точно оценивать риски и оперативно принимать меры для предотвращения кризисных ситуаций.

Передача политикам точной статистики является постоянной проблемой, особенно при работе с сложными, многомерными и объемными наборами детализированных данных, что затрудняет извлечение четких и эффективных выводов. Сложные методы обработки данных могут усугубить проблемы. Например, подходы на основе МО/ИИ могут быть непрозрачными и затруднять понимание принимаемых решений и получаемых результатов. Недостаток прозрачности может подорвать доверие, особенно если выводы на основе недостоверных данных могут серьезно повлиять на социально-экономическую жизнь граждан, например, в здравоохранении, финансах или уголовном правосудии.

Еще одной проблемой является то, что детализированные данные могут неумышленно сохранять предвзятость и дискриминацию, к примеру, если данные, используемые для обучения систем ИИ, отражают общественные стереотипы или содержат ошибки. Более того, постоянный поток микроуровневой информации в сочетании с ограниченной прозрачностью методов обработки данных и повышенным вниманием к «альтернативным фактам», увеличивает риск разрушения общественных знаний.

Ключевым моментом является признание того, что новые методы должны быть надлежащим образом управляемы. Одно из многих решений, заключается в разработке специальной структуры управления рисками данных и аналитики в центральном банке. В более общем плане потребуется использование новых данных, доступных в современном обществе, проявляя осторожность при их создании и распространении среди государственных органов.