Прозрачность алгоритмов в государственном секторе: основные аспекты

Введение

Алгоритмы широко используются для принятия решений в различных областях в качестве автоматизированных систем, оказывающих прямое и существенное влияние на разные измерения социальной жизни: рынок жилья, торговля, занятость и др. Автоматизированные инструменты являются сложными системами, для объяснения моделей и принципов действия которых требуется большое количество информации. Однако в определенной степени для авторов и собственников алгоритмов (прежде всего, корпораций) текущие стимулы для публикации подробностей о принципах действия алгоритмов могут быть недостаточными, поскольку это может привести к раскрытию бизнес-модели компании – как следствие, на данный момент действие алгоритмов представляет собой «черный ящик», принципы действия которого недоступны пользователям платформ и сервисов.

В контексте развития технологий искусственного интеллекта и роста количества предиктивных систем в управлении прозрачность алгоритмов приобретает новое значение. Становится недостаточным фокусироваться только на рекомендательных алгоритмах, которые используются крупными цифровыми платформами, критикуемыми за распространение таргетированной рекламы и создающими информационные пузыри и эхокамеры. Не мнее важным является акцент на алгоритмах, которые используются в публичной политике и управлении – в данном случае внимание смещается с роли рекомендательных алгоритмов для таргетированной рекламы в сторону предвзятости предиктивных алгоритмов и их вклада в сохранение/воспроизводство социального неравенства.

Текущие исследования инициатив прозрачности алгоритмов включают такие направления, как (1) анализ кейсов и примеров внедрения алгоритмов в публичное управление и администрирование, (2) предложение принципов прозрачности в рамках рекомендательных алгоритмов, которые используют производители цифровых продуктов и социальные медиа.

В рамках первого направления выделяются результаты использования интеллектуальных систем и предиктивных моделей в разных сферах управления, включая предиктивную безопасность [1, 2] (Berk, 2021; Sandhu, Fussey, 2021), прогнозирование потребления электроэнергетики [3] (Sharma, 2022), предиктивные модели управления в образовании [4, 5] (Yağcı, 2022; Pallathadka, 2023), инновации с использованием алгоритмов в транспортной отрасли [6] (Bharadiya, 2023), предиктивные системы в суде [7, 8] (Lazar, Stone, 2024; Ugwudike, 2022). Авторы исследований подчеркивают, что интеллектуальные системы позволяют повысить эффективность управления, снижая временные и финансовые издержки при принятии решений, а также повышают качество стратегического планирования за счет предоставления данных о поведении сложных социальных и технических систем в долгосрочной перспективе. В то же время использование данных систем в социально чувствительных сферах (образование, здравоохранение, безопасность) зачастую сопровождается дискуссией о предвзятости алгоритмов и наличии ошибок в обучающих данных, вследствие чего их использование воспроизводит социальное неравенство.

Второе направление отражает корпоративные и государственные инициативы в обеспечении прозрачности рекомендательных алгоритмов, которые используются в современных социальных медиа, а также цифровых продуктах наподобие маркетплейсов, стриминговых платформ и др. [9–11] (Kuznetzov 2020; Kharitonova, 2022; Mochalov, 2023). Также отмечается, что преодоление эффектов «черного ящика» и повышение прозрачности во многом возможно с ростом подотчетности цифровых платформ регуляторным инициативам, среди которых наиболее значимыми являются Общий регламент по защите данных (GDPR) [12] (Mougdir, 2024).

Обобщая результаты текущих исследований, можно говорить о том, что наиболее изученными являются вопросы регулирования алгоритмов, которые используют собственники цифровых платформ. Однако в исследованиях автоматизированных систем принятия решений в государственном секторе сохраняется дисбаланс между ростом примеров их использования и недостаточностью обзора существующих инициатив прозрачности алгоритмов. Данная статья направлена на преодоление этого дисбаланса с фокусом на выявление основных аспектов, которые обеспечивают подобную прозрачность.

Цель исследования – проанализировать ключевые аспекты прозрачности, которые включают современные инициативы транспарентности алгоритмов в публичной политике и управлении. Для этого в работе первоначально рассматриваются алгократия и возникающие конфликты относительно неравенства и ограничения социальной мобильности, после чего анализируются текущие инициативы прозрачности автоматизированных систем в политическом управлении. В заключении обобщаются основные аспекты, которые обеспечивают прозрачность алгоритмов в государственном секторе.

Новизна исследования заключается в анализе инициатив прозрачности алгоритмов применительно к государственному сектору, выходя за рамки существующих исследований транспарентности систем сбора и анализа данных при регулировании цифровых платформ. Организации государственного сектора принимают решения в социально значимых отраслях, поэтому

Формирование алгократии: использование автоматизированных систем в публичной политике и появление новых социальных конфликтов

Внедрение интеллектуальных систем в государственное и муниципальное управление обусловило формулирование концепта алгократии для описания власти алгоритмов, процесса их внедрения в процессы принятия решений. Алгократия характеризует переход к модели управления, в которой алгоритмы выполняют не рутинные функции, а профессиональные, являющиеся основой бюрократии как группы с управленческими компетенциями и знаниями [13, 14] (Lorenz et al., 2021; Slavin, 2023). Алгоритмы становятся агентами, решающими разные управленческие задачи: определение социальных групп для получения государственной поддержки, распределение финансовых ресурсов между организациями, распределение представителей правопорядка между городскими районами и др. – в совокупности это порождает новые конфликты относительно источников и информационной полноты используемых данных для принятия решений, а также транспарентности (прозрачности) действия алгоритмов для недопущения дискриминационной или неадекватной экономическим реалиям политики.

Проблема транспарентности алгоритмов актуализируется при внедрении алгоритмов в управленческие процессы: преимущества алгоритмов в этой сфере заключаются в способности обрабатывать большое количество данных и предоставлять вариант решения намного быстрее. Широко распространенным примером является задача найма персонала, которая предполагает подбор сотрудников, обладающих необходимыми навыками и качествами и разделяющих организационную культуру компании. Преодоление трансакционных и финансовых издержек при найме сотрудников происходит через алгоритм, который обрабатывает совокупность резюме и выделяет наиболее подходящие заявки для прохождения собеседования [15] (Meijerink, Bondarouk, 2023). Основной проблемой выступает недостаточность технических объяснений, если заявка кандидата отклонена алгоритмом – алгоритмам не делегирована задача объяснений и это остается в компетенции рекрутеров. В свою очередь, для подробных объяснений должна обеспечиваться прозрачность алгоритмов и предоставляться информация о том, каким образом алгоритм учитывает следующие параметры:

1) этническая принадлежность;

2) пол;

3) возраст и опыт работы;

4) сопоставление навыков кандидатов;

5) личные качества;

6) образование.

Если алгоритмы найма сотрудников разработаны с учетом только демографического набора критериев или обрабатывают информацию по ограниченному набору профессиональных атрибутов, то возможны конфликты относительно эффективности подобных алгоритмов и создания равных возможностей для кандидатов. В целом, рассмотрение проблемы прозрачности алгоритмов актуально именно в тех сферах, где присутствует конфликт между технической/финансовой эффективностью и социальной реакцией.

Более сложные социальные конфликты, обусловленные непрозрачностью алгоритмов, связаны с государственным управлением и прогнозированием развития ситуаций. Примером подобного конфликта является ситуация 2020 года в Великобритании, когда из-за эпидемии коронавирусной инфекции были отменены экзамены, а для выставления оценок выпускникам использовали алгоритм, который основывается на исторических данных об успеваемости школы и данных внутренних рейтингов учеников в школах. Итогами выставления оценок алгоритмом стали массовые заниженные оценки и высокие оценки выпускников частных школ, что было обусловлено прежде всего несовершенством самого алгоритма, учитывающего в качестве влияющей переменной уровень школы обучающихся. Реакцией на ситуацию стали протесты школьников и последующая отмена выставленных оценок.

Наибольший вклад в дискуссию о необходимости прозрачности автоматизированных систем внесли кейсы предиктивной безопасности, в частности, предиктивной полиции. В этом контексте необходимо выделить кейс системы Geolitica (прежнее название – Predpol), которая является системой прогнозирования преступлений, разработанной компанией PredPol, и внедрена в Калифорнии с 2012 года. Она анализирует данные о преступлениях за последние пять лет, основываясь на трех ключевых параметрах: тип преступления, мест и время его совершения. Для более точного прогнозирования система делит территорию города на ячейки и определяет вероятность преступлений для каждой из них. После этого полицейские патрули получают размеченные карты Google Maps, что позволяет им быстрее реагировать на потенциальные угрозы.

Однако использование данной технологии сопровождается множеством конфликтов. Критики отмечают расовую дискриминацию в отношении латиноамериканцев и афроамериканцев, что поднимает важные вопросы о справедливости подобных подходов. Кроме того, высокая стоимость внедрения системы и неподтвержденная точность ее прогнозов вызывают дополнительные сомнения и требования предоставить возможность для независимой оценки работы алгоритмов. В результате, в нескольких городах был введен мораторий на использование этой технологии, что подчеркивает необходимость тщательного анализа и обсуждения всех аспектов применения системы прогнозирования преступлений.

Таким образом, внедрение алгоритмов в публичное управление связывается с потенциальным влиянием на создание/воспроизводство неравенства и ограничение социальной мобильности отдельных категорий граждан. Автоматизированные системы принятия решений, несмотря на преимущества для сокращения издержек, могут вносить вклад в усиление существующих социальных дисбалансов, что порождает опасения среди общественности и правозащитников. Несмотря на то, что собственники систем предоставляют информацию о типах данных и в некоторых случаях открыты к независимым тестированиям, остаются актуальными запросы о большей прозрачности алгоритмов и оформление данной политики в системные инициативы и проекты с вовлечением разных агентов политики. Далее будут рассмотрены подобные инициативы, которые внедрены или имеют потенциал стать ролевыми моделями для государственного сектора – анализ данных инициатив позволит выявить ключевые аспекты, которые составляют прозрачность алгоритмов в политическом управлении и администрировании.

Принципы прозрачности алгоритмов АСМ

Среди международных инициатив в сфере прозрачности алгоритмов можно выделить Положение ассоциации вычислительной техники (Association for Computing Machinery – ACM) о прозрачности и ответственности алгоритмов [16], принципы которого могут быть имплементированы в национальные программы и стандарты транспарентности в государственном секторе. Положение включает следующие пункты об использовании алгоритмов:

1) осведомленность, в соответствии с которой владельцы, проектировщики, разработчики и пользователи аналитических (алгоритмических) систем должны знать о возможных ошибках, связанных с их разработкой, внедрением и использованием;

2) доступ и возмещение ущерба – структуры, отвечающие за контроль и регулирование алгоритмических систем, должны стимулировать принятие решений и правил, позволяющих обеспечивать прозрачность действий систем и возмещать ущерб отдельным лицам и группам, которые несут экономический и социальный ущерб из-за ошибок алгоритмически обоснованных решений;

3) подотчетность, предполагающая ответственность организаций за решения, принимаемые с помощью алгоритмов, даже если невозможно подробно объяснить, каким образом алгоритмы оценивают результаты;

4) организации и учреждения, использующие алгоритмические системы принятия решений, должны давать объяснения как в отношении принципов, в соответствии с которыми действует алгоритм, так и в отношении уже принятых решений;

5) разработчики алгоритмов должны обеспечивать доступность информации и способах сбора обучающих данных для алгоритмов, а также проводить исследования на предмет возможных искажений при принятии решений – наиболее желательным является институт общественного контроля за данными, однако его внедрение сталкивается с проблемами обеспечения конфиденциальности данных, защиты коммерческой тайны, раскрытия аналитических данных;

6) модели, алгоритмы, данные и принятые решения должны быть официально зарегистрированы и сохранены в корпоративных реестрах, чтобы существовала возможность их проверки в случае причинения вреда, нанесения ущерба или выявления ошибки в работе алгоритма;

7) организации должны использовать строгие методы для проверки своих моделей и документирования результатов – в частности, целесообразно проводить регулярные тестирования моделей на возможные ошибки или дискриминационный характер решений.

Пункты положения демонстрируют, что обеспечение прозрачности алгоритмов включает два измерения. Первое – определение процедур, выполнение которых необходимо для прозрачности алгоритмически принимаемых решений. Данное измерение является наиболее изученным и на сегодняшний день уже признаны важными (необходимыми) процедуры публикации сведений об источниках данных, результатах тестирования алгоритмов, регистрации принятых решений, доступе к системе со стороны общественных и государственных структур. Второе – создание системы сдержек и противовесов между институтами, регулирующими использование алгоритмов в управленческих процессах. В этом отношении требуется определение функционала структур управления разных уровней и отраслей, однако пока политика внедрения и обеспечения прозрачности алгоритмов в государственном секторе находится на стадии обсуждении и тестирования.

Принципы прозрачности алгоритмов в Великобритании

На сегодняшний день наиболее системной и масштабной является инициатива о прозрачности и ответственном использовании алгоритмов в Великобритании. Базовым проектом является «Фреймворк этики, прозрачности и подотчетности для автоматизированного принятия решений» [17], который указывает 7 основных принципов-действий, которые должны учитываться государственными структурами при внедрении автоматизированных систем.

1. Тестирование для предотвращения нежелательных последствий. Перед внедрением автоматизированных систем необходимо проводить тестирование, чтобы убедиться в их устойчивости и способности достигать поставленных целей. Важно, чтобы тестирование проводилось с учетом потенциальных нежелательных последствий, что требует вовлечения людей с соответствующей квалификацией.

2. Предоставление справедливых услуг. Разработка автоматизированных систем должна осуществляться с учетом многообразия и предотвращения предвзятости. Для этого важно вовлекать многофункциональные и разнообразные команды, которые смогут выявлять и преодолевать предвзятости и дискриминацию в обучающих данных и решениях автоматизированных систем.

3. Установление ответственности при принятии решений. Каждое значимое решение, принятое с использованием алгоритмических систем, должно быть согласовано с назначенным ответственным лицом (например, министром). Это помогает установить четкие линии подотчетности и обеспечивает возможность аудита принятых решений.

4. Безопасное обращение с данными и защита интересов граждан. Все данные, используемые в автоматизированных системах, должны обрабатываться и храниться в соответствии с законодательством о защите данных. Необходимо предусмотреть меры по защите данных и соблюдению этики в их использовании, чтобы избежать социального и финансового ущерба для граждан.

5. Информирование пользователей и граждан о воздействии автоматизированных систем. Важно предоставлять пользователям ясную и доступную информацию о функциях алгоритмических решений. Это включает в себя объяснение работы алгоритмов, которые могут повлиять на их жизни с возможностью запроса человеческого вмешательства в случае необходимости.

6. Соответствие законодательству. Автоматизированные системы должны соответствовать существующим законам и нормативным актам. На этапе разработки необходимо вовлекать юридических консультантов для обеспечения правомерности принимаемых решений.

7. Создание устойчивых систем. Необходимо регулярно пересматривать и обновлять алгоритмы, обеспечивая их соответствие изменяющимся условиям и требованиям. Это включает в себя регулярный мониторинг и пересмотр данных, чтобы гарантировать соответствие алгоритмов первоначальным целям и отсутствие/минимальную вероятность нежелательных последствий.

Разработанный фреймворк фокусируется на необходимости разных форматов прозрачности автоматизированных систем принятия решений. В первую очередь прозрачность обеспечивается через качественную коммуникацию и информирование граждан о принятии решений с помощью автоматизированных систем, при этом для недопущения вклада в «алгоритмическое неравенство» сохраняется возможность вмешательства человека. Также важным аспектом является доступность обучающих данных и регулярный аудит алгоритмических систем с вовлечением разных агентов политики, включая экспертов и IT-специалистов.

Выводы

Таким образом, можно выделить несколько аспектов, которые составляют прозрачность алгоритмов в государственном секторе и имеют значение для недопущения роста неравенства в условиях алгократии:

1) этические принципы и ответственность имеют первостепенную значимость при использовании алгоритмических систем;

2) участие различных заинтересованных сторон в процессе разработки автоматизированных систем принятия решений, а также привлечение многосоставных гражданских и экспертных групп при оценке влияния данных систем на социальные дисбалансы;

3) информирование граждан о принципах работы автоматизированных систем и предоставление опции вмешательства человека при выявлении ошибок;

4) оценка, прогнозирование и управление рисками, потенциально возникающими при использовании автоматизированных систем;

5) долгосрочный мониторинг алгоритмических систем для обеспечения их соответствия первоначальным целям, возможного пересмотра и обновления алгоритмов для гарантии эффективности и соответствия этическим нормам.

Реализация данных аспектов позволяет снизить асимметрию знаний о работе автоматизированных систем принятия решений между разными агентами политики, что должно повысить доверие технологическим новациям в государственном секторе.

Разработка стандартов прозрачности алгоритмов является логичным продолжением интеграции цифровых технологий в политический процесс и их институционализации для предсказуемости социальных последствий решений. Задача подобных стандартов – обеспечить доверие граждан к системе управления, а также недопущение социально-экономического неравенства вследствие ошибок в автоматизированных системах. В настоящий момент проблема прозрачности алгоритмов только начинает актуализироваться в политической повестке. В контексте политического и антимонопольного давления на корпоративные платформы следует ожидать вовлечения государственных структур в регулирование прозрачности алгоритмов в том числе в публичном управлении: несмотря на немногочисленность текущих национальных проектов и инциатив, значимость темы транспарентности алгоритмов будет только расти – к примеру, прозрачность автоматизированных систем и возможность альтернативного принятия решений гражданскими служащими учитываются при оценке управления данными в кросс-страновой перспективе [18] (Mukhametov, 2023). Выявленные в данной работе основные аспекты прозрачности алгоритмов могут рассматриваться в качестве базовых требований для подобных инициатив в государственном секторе.