Киберполигон как современный инструмент обеспечения информационной безопасности

Прохоров А.И.1
1 Ростовский государственный экономический университет

Статья в журнале

Информатизация в цифровой экономике (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Том 4, Номер 4 (Октябрь-декабрь 2023)

Цитировать:
Прохоров А.И. Киберполигон как современный инструмент обеспечения информационной безопасности // Информатизация в цифровой экономике. – 2023. – Том 4. – № 4. – С. 363-378. – doi: 10.18334/ide.4.4.119301.

Эта статья проиндексирована РИНЦ, см. https://elibrary.ru/item.asp?id=59559062

Аннотация:
Статья посвящена рассмотрению вопросов применения современных инновационных технологий, позволяющих повысить эффективность систем информационной безопасности в Российской Федерации. Автором осуществлена оценка эффективности применяемых мер по обеспечению информационной безопасности с использованием новых технологий и подходов к защите информации в рамках существующих угроз. Подчеркивается важность повышения качества подготовки специалистов в сфере информационной безопасности, в том числе на базе применения интерактивных тренировочных платформ для симуляции реальных кибератак и обучения пользователей действиям в различных ситуациях. Сделан вывод о перспективности применения новых информационных технологий в части повышения эффективности мероприятий по обеспечению информационной безопасности

Ключевые слова: Информационная безопасность, искусственный интеллект, киберполигон, киберугрозы, генеративная модель, ChatGPT, Llama2

JEL-классификация: H56, L86, M15

В издательстве открыта вакансия ответственного редактора научного журнала с возможностью удаленной работы
Подробнее...



В настоящее время информация является важным фактором производства и одним из самых востребованных активов, причем не только для бизнеса и государства но и для физических лиц. В этой связи, несанкционированный доступ к конфиденциальной информации приводит не только к потерям финансовых, материальных и временных ресурсов или снижению эффективности их использования, но и наносит ущерб деловой репутации хозяйствующих субъектов, а также приводит к нарушению прав физических лиц [4].

Подчеркнем, что с развитием и активным внедрением инновационных технологий во все сферы жизнедеятельности общества угрозы информационной безопасности или киберугрозы становятся все более распространенным явлением. Подобные нарушения как правило приводят к перебоям и простоям бизнес-процессов, а так же к значительным финансовым потерям. В этой связи эффективная система обеспечения информационной безопасности хозяйствующих субъектов способствует минимизации рисков, связанных с возможными инцидентами кибербезопасности, а также предотвращению потенциального ущерба от подобных действий злоумышленников, сохранению конкурентных преимуществ и защите результатов собственных исследований, разработок и инноваций [5,6,8].

В целом, осуществление оценки эффективности мер по обеспечению информационной безопасности в государственном и коммерческом секторах должно быть реализовано с учетом системного подхода, включающего следующие мероприятия:

– оценка соответствия проводимой политики и реализуемых мер по защите информации и требованиям законодательства;

– проведение постоянного мониторинга угроз информационной безопасности на различных уровнях;

– подробный анализ инцидентов и принятие активных действий для предотвращения нарушений;

– постоянное повышение осведомленности и обучение персонала требованиям информационной безопасности;

– наличие адекватных технических средств и процедур по обеспечению вышеназванных действий [9,10,11].

Следует отметить, что в настоящее время органы государственного управления, хозяйствующие субъекты, а также физические лица в РФ сталкиваются с рядом вызовов и угроз в области информационной безопасности, среди которых можно выделить следующие:

1. Хакерские атаки, направленные как на государственные учреждения, так и на предприятия и организации с целью кражи конфиденциальной информации или нарушения работы информационных систем [12, 13];

2. Кибершпионаж, в том числе со стороны иностранных государств, организаций или отдельных хакерских группировок, с целью получения доступа к конфиденциальной информации, включая государственные секреты или коммерческую тайну [14];

3. Социальная инженерия, с использованием различных схем манипуляций и обмана для получения доступа к информационным системам или конфиденциальной информации: фишинг-атаки, поддельные звонки, обман сотрудников и другие методы для обхода технических защитных мер [15,16].

Важно отметить, что система обеспечения информационной безопасности является динамичной областью, более того характер и интенсивность возникающих угроз может меняться со временем. В этой связи необходимо осуществлять постоянную работу над разработкой и модернизацией арсенала мер по обеспечению защиты информации в целях повышения ее эффективности, в том числе с помощью применения технологий искусственного интеллекта [17].

Следует отметить, что в настоящее время, в контексте обеспечения информационной безопасности, технологии искусственного интеллекта обладают значительным потенциалом для обнаружения и предотвращения кибератак. В частности, область применения данной технологии достаточно широка и включает следующие направления:

– анализ больших объемов данных и выявление аномалий в поведении пользователей и сетевом трафике;

– создание моделей для автоматического обнаружения и классификации новых видов киберугроз и атак;

– автоматическое реагирование и блокировка подозрительных действий и атак на основе алгоритмов искусственного интеллекта;

– прогнозирование возникновения тех или иных угроз информационной безопасности на основе анализа исторических данных;

– предсказание вероятности возникновения инцидентов и определения наиболее эффективных мер по их предотвращению;

– повышение эффективности системы аутентификации и идентификации;

– разработка алгоритмов выявления попыток фальсификации данных;

– создание систем автоматической аутентификации на основе поведенческих и биометрических характеристик пользователей;

- создание интерактивных тренировочных платформ для симуляции реальных кибератак и обучения пользователей действиям в подобных ситуациях;

– анализ поведенческих характеристик пользователей для выявления слабых мест и предоставления персонализированных рекомендаций по безопасному поведению в сети [19,20,21,22].

В то же время, в современном IT-сообществе существует мнение о том, что генеративные модели искусственного интелекта являются реальной угрозой в области информационной безопасности. Так, сотрудники американо-голландской компании «Elastic», занимающейся разработкой поискового программного обеспечения [1], в мае 2023 года провели эксперимент с целью проверки гипотезы: сможет ли ChatGPT создать фишинговое письмо и произвести атаку типа Golden Ticket, нацеленную на получения доступа к данным, хранящимся в Active Directory [2]. Первоначально, в алгоритме, заложенном в ChatGPT (на базе GPT-4), сработали ограничения (см рисунок 1), которые впоследствии удалось обойти (см. рисунок 2) [1].

Рисунок 1. Фрагмент диалога с чат-ботом на базе ChatGPT с целью его использования для проведения фишинговой атаки

Источник: https://www.elastic.co/blog/ai-offense-can-chatgpt-be-used-for-cyberattacks

Рисунок 2. Фрагмент запроса чат-боту на базе ChatGPT с целью проведения фишинговой атаки

Источник: https://www.elastic.co/blog/ai-offense-can-chatgpt-be-used-for-cyberattacks

Таким образом, авторы эксперимента столкнулись со встроенными ограничениями при формировании атаки типа Golden Ticket. В то же время, варианты кода и алгоритмы других видов кибератак таких, как написание вредоносных программ, разработка эксплойтов и создание скриптов или веб-оболочек, предложенных ChatGPT, исследователи оценили, как недостаточно эффективные. То есть, злоумышленники смогут воспользоваться генеративными моделями ИИ для осуществления простейших вариантов вредоносной деятельности, однако, для осуществления сложной сквозной атаки окажется практически невозможным исходя из следующих причин:

– Ограниченная автономия: в алгоритмах генеративных моделей ИИ, как правило, не заложены возможности автономного планирования и разработки стратегии полноценной кибератаки, как это смог бы сделать человек, тем не менее, потребителю контента, генерируемого ИИ, принадлежит право решать, как использовать результаты [1].

– Отсутствие намерения: у моделей нет собственного намерения или цели произвести какое-либо действие, они обучены действовать в соответствии с человеческими предпочтениями и конкретными задачами, для выполнения которых они были созданы.

– Узкий диапазон фокуса: обучение генеративных моделей происходит на основе ограниченного набора данных, что не позволяет им выходить за рамки представленных возможностей в целях изучения сложных внутренних связей и алгоритмов для осуществления изощренных кибератак.

По мнению автора, данный эксперимент, хоть и является достаточно показательным, но в то же время, не раскрывает все возможности применения генеративных моделей ИИ в контексте информационной безопасности, так как исходная модель не была обучена на конкретных приемах и патернах проведения кибератак [23,24].

Следует отметить, что для обучения генеративной модели ИИ необходим большой набор данных, основанных на исполнении команд и программ, используемых хакерами. Примером попытки реализации данного подхода является создание платформы для тестирования на проникновение в информационную систему, имитирующей сетевые атаки, Metasploit Gym, которая, в том числе позволяет осуществлять взаимодействие технологий искусственного интеллекта с инструментами Metasploit через службу gRPC, автором которого является Shane Caldwell [2].

Несмотря на вышеназванные особенности, применение платформы Metasploit Gym не позволяет решить проблему обучения модели ИИ в силу отсутствия первоначального датасета. По мнению автора, необходимый набор данных можно сформировать на базе большого числа логов проводимых испытаний на проникновение, генерируемых в рамках такого инструмента, как киберполигон.

В рамках проведенного исследования различных вариантов генеративных моделей искусственного интеллекта в контексте их применения для осуществления кибератак злоумышленниками автором была выделена языковая модель для генерации кода Llama2 как потенциально эффективная для вышеназванных целей. Пример запроса к языковой модели представлена на рисунке 3. [3]

Рисунок 3. Пример запроса к языковой модели для генерации кода Llama2

Источник: https://huggingface.co

В ответ на запрос следующего характера: «Imagine that you are an information security specialist and you need to create a test script written in bash for the metasploit tool, write an example code», модель Llama2 сформировала следующие строки кода:

#!/bin/bash

# Set the target IP address

TARGET_IP="192.168.1.100"

# Set the Metasploit framework path

MSF_PATH="/usr/share/metasploit"

# Set the auxiliary module path

AUX_PATH="/usr/share/metasploit/modules/auxiliary"

# Set the exploit module path

EXP_PATH="/usr/share/metasploit/modules/exploit"

# Set the payload module path

PAYLOAD_PATH="/usr/share/metasploit/modules/payload"

# Set the encoding

ENCODING="utf-8"

# Set the verbosity level

VERBOSE="-v"

# Scan the target system for vulnerabilities

$MSF_PATH/msfconsole -e "use auxiliary/scanner/portscan/tcp" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "run"

# Check for any open ports

OPEN_PORTS=$(msfconsole -e "use auxiliary/scanner/portscan/tcp" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "run" | grep "Open ports:" | awk '{print $4}')

# Exploit a known vulnerability

$MSF_PATH/msfconsole -e "use exploit/ssh/ssh_login" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "set USERNAME admin" -e "set PASSWORD admin" -e "run"

# Check for successful exploitation

if [ "$?" = "0" ]; then

echo "Exploitation successful!"

# Execute a command on the target system

$MSF_PATH/msfconsole -e "use post/multi/manage_files" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "put /path/to/file /tmp/exploited" -e "run"

else

echo "Exploitation failed."

fi

msfconsole -e "use post/multi/manage_files" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "run"

msfconsole -e "use post/multi/manage_files" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "put /path/to/file /tmp/exploited" -e "run"

msfconsole -e "use post/multi/manage_files" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "run"

msfconsole -e "use post/multi/manage_files" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "delete /tmp/exploited" -e "run"

msfconsole -e "use post/multi/manage_files" -e "set RHOST $TARGET_IP" -e "set RPORT 22" -e "exit" -e "run"

Таким образом, модель Llama2 сгенерировала скрипт для осуществления следующего сценария:

1. Применение платформы Metasploit для использования уязвимости в службе SSH

2. Получение несанкционированного доступа к системе

3. Выполнение команды для копирования файла в систему.

4. Использование программного продукта Metasploit и выполнения различных задач.

Следует отметить, что данная модель находится в открытом доступе и имеет возможность запуска в google-colab, что позволяет потенциальным злоумышленникам создавать облачные серверы объединяя их в кластеры с распределенным управлением.

В целом, следует отметить, что применение технологии искусственного интеллекта в области информационной безопасности способствует повышению степени эффективности защиты от атак. Тем не менее, существует ряд потенциальных ограничений, связанных с использованием новых технологий, к которым можно отнести объем и качество данных для обучения моделей или возможность обхода систем защиты при использовании более продвинутых алгоритмов. Более того стоит острая необходимость, создания и обучения моделей, основанных на технологии искусственного интеллекта в целях обнаружения и классификации новых видов кибератак, для построения более оперативных систем реагирования на инциденты и адаптации систем защиты [26,27,28].

Подчеркнем, что исследование различных механизмов и алгоритмов применения технологии искусственного интеллекта в контексте информационной безопасности в РФ в современных условиях развития является актуальным. Однако, при этом необходимо учитывать не только технические и инновационные вопросы, но и юридические, этические и организационные аспекты, в целях обеспечения сбалансированного и ответственного подхода к использованию данных технологий в области кибербезопасности [29,30,31].

В этой связи на первый план выходит задача качественной подготовки специалистов в области кибербезопасности, в рамках которой приоритетными направлениями являются создание эффективных программ обучения как среднего профессионального, так и высшего и послевузовского уровней образования, а также использование различных симуляторов для моделирования и отработки навыков реагирования на различные инциденты у обучающихся [32].

Следует отметить, что существует ряд образовательных инструментов, позволяющих значительно повысить качество подготовки специалистов в сфере информационной безопасности. Одним их таких инструментов является киберполигон – специализированная реалистичная и контролируемая виртуальная среда, созданная для симуляции различных видов кибератак, позволяющая, в то же время, осуществлять анализ уязвимостей систем и разрабатывать стратегии их защиты от потенциальных киберугроз [24].

Рассмотрим более подробно возможности применения киберполигона для подготовки специалистов в сфере информационной безопасности.

Первым направлением применения данного обучающего инструмента является проведение в режиме реального времени тренировок по защите информационных систем на реалистичных сценариях кибератак, а также тестирование навыков обучающихся в обнаружении, анализе и реагировании на возникающие угрозы, что позволяет выделить ряд преимуществ использования киберполигона по сравнению с традиционными методами и инструментами обучения:

1. Получение реальных навыков в области информационной безопасности, при прохождении обучения через различные сценарии кибератак в контролируемой среде, аналогичной реальным «боевым» условиям. Данное обучение способствует получению опыта и практических навыков в обнаружении, анализе и реагировании на киберугрозы, прежде чем они столкнутся с ними в рамках своей профессиональной деятельности;

2. Отработка навыков в рамках широкого спектра различных типов атак, таких как фишинг, DDoS-атаки, взломы и другие, что позволяет специалистам разрабатывать эффективные стратегии для их предотвращения;

3. Предоставление контролируемой среды для проведения обучения и тренировок, что позволяет специалистам проводить эксперименты, тестировать и разрабатывать стратегии информационной безопасности без риска повреждения или нарушения реальных систем;

4. Осуществление анализа результатов проведенных тренировок и разработки эффективных стратегий защиты информационных систем в контексте изучения «слабых» мест в системе безопасности и принятие мер по повышению степени защиты перед реальными угрозами [31].

Вышеперечисленные преимущества позволяют специалистам по информационной безопасности приобретать ценный опыт в рамках своей профессиональной деятельности и разрабатывать эффективные стратегии защиты, что в итоге позволяет повысить их готовность к реальным киберугрозам и обеспечить более надежный уровень информационную безопасности [32].

Второе направление применения киберполигона для обучения специалистов в области информационной безопасности заключается в разработке и оптимизации стратегий защиты информационных систем. В этой связи следует выделить следующие особенности и преимущества применения данной виртуальной среды:

1. Проведение экспериментов с использованием различных методов и технологий защиты в контролируемой среде, такими как брандмауэры, системы обнаружения вторжений (IDS), антивирусные программы и шифрование данных, в целях определения наиболее эффективных стратегий;

2. Изучение специалистами результатов своих действий в рамках отработки различных сценариев защиты на киберполигоне: выявление и анализ слабых мест в системе безопасности; идентификация уязвимостей и ошибок; изучение причин и последствий успешных или неудачных атак;

3. Предоставление специалистам доступа к новым технологиям и инструментам для защиты информации в целях осуществления их эффективности и применимости в реальных «боевых» условиях;

4. Разработка индивидуальных стратегий защиты, учитывая особенности конкретной системы и сценариев атак в контексте тестирования различных подходов и вариантов защиты для определения оптимального сочетания методов и технологий, наиболее эффективного для конкретного случая;

5. Киберполигон является платформой, позволяющая специалистам обмениваться знаниями и опытом, делиться лучшими практиками в области информационной безопасности, а также изучать примеры успешных стратегий по защите информационных систем и получать обратную связь от коллег и экспертов, что способствует повышению уровня их профессионализма [33].

Третье направление применение в научной сфере. Примером таких исследований может послужить применение сверточных моделей нейронных сетей, позволяющие эмулировать поведение злоумышленника как представлено на примере выше. Закрытая среда исполнения кода позволит получить большой объем данных, что может стать дополнительным источником для обучения систем информационной безопасности, не нарушив конфиденциальность разработок [19, 22].

Вышеназванное позволяет сделать вывод о том, что обучение на киберполигоне способствует повышению степени готовности и эффективности специалистов в области информационной безопасности при решении инцидентов, а также минимизации нанесенного ущерба и последствий кибератак.

Следующим важным направлением применения киберполигона является проведение тестирования на поиск уязвимостей в системах перед их внедрением или использованием в реальных условиях [5].

В заключении следует отметить, что в настоящее время потенциал применения современных инновационных технологий в сфере информационной безопасности в Российской Федерации достаточно обширен и включает большое количество приоритетных направлений с точки зрения обеспечения национальной безопасности и суверенитета.

Безусловно, технологии искусственного интеллекта способствуют улучшению качества систем обнаружения и реагирования на кибератаки, позволяет специалистам своевременно предотвращать угрозы и защищать информационные системы; с помощью алгоритмов машинного обучения появилась возможность обработки больших объемов информации и выявлении скрытых паттернов, а также оперативного реагирования на угрозы.

Подчеркнём, что применение технологии искусственного интеллекта способствует повышению безопасности объектов критической инфраструктуры (например, энергетические системы, транспортные сети и финансовые учреждения и другие).

В этой связи, с учетом активного внедрения и распространения новых технологий в сферу информационной безопасности, важную роль играет повышение эффективности системы обучения и подготовки специалистов в области кибербезопасности, в частности, с применением современных программ и виртуальных сред, таких как киберполигоны, для моделирования кибератак и обучения специалистов алгоритмам действий в случае различных инцидентов.

Более того, особую важность приобретает разработка отечественных продуктов и технологий искусственного интеллекта в области кибербезопасности. Наращивание объемов исследований и инноваций в данной области способны привести к созданию уникальных решений и прорывных технологий, адаптированных к специфическим потребностям и вызовам в РФ.

[1] https://www.elastic.co

[2] https://www.elastic.co/blog/ai-offense-can-chatgpt-be-used-for-cyberattacks


Источники:

1. Https://www.elastic.co/blog/ai-offense-can-chatgpt-be-used-for-cyberattacks
2. Https://www.phreak.ai/posts/data-in-security
3. Https://huggingface.co/spaces/ysharma/Explore_llamav2_with_TGI
4. Тищенко Е. Н., Михалин В.И. (2019).Обеспечение информационной безопасности цифровой экономики // Обеспечение информационной безопасности цифровой экономики С. 80-90
5. Серпенинов О.В., Лапсарь А.П., Шейдаков Н.Е., Лопаткин Г.А. Способ защиты технологической информации о разрабатываемой продукции // Интеллектуальные ресурсы – региональному развитию. 2020. – c. 73-78.
6. Мыстров А.С., Казанцев С.В., Прохоров А.И. Удаленные сетевые атаки // Информационные системы, экономика и управление. Ученые записки. – 2022. – № 24. – c. 42-47.
7. Монахов М.Ю., Тельный А.В., Мишин Д.В. О возможностях использования киберполигонов в качестве оценочных средств определения уровня сформированности компетенций // Информационное противодействие угрозам терроризма. 2015. – c. 269-277.
8. Https://ib-bank.ru/bisjournal/post/1176
9. Https://www.securitylab.ru/blog/company/CABIS/348156.php
10. Https://национальныепроекты.рф/news/zashchita-ot-tsifrovykh-atak-kak-v-rossii-rabotayut-kiberpoligony
11. Https://www.anti-malware.ru/analytics/Market_Analysis/Cyber-Polygons
12. АльшанскаяТ.В. Применение методов системного анализа специалистами по информационной безопасности // Информационные системы и технологии: управление и безопасность. – 2014. – № 3. – c. 53-58.
13. Https://www.ptsecurity.com/ru-ru/research/analytics/ogo-kakaya-ib
14. Https://www.infowatch.ru/sites/default/files/publication_file/analiticheskiy-otchet-strategii-kiberbezopasnosti.pdf
15. Добродеев А. Ю. Кибербезопасность в Российской Федерации. Модный термин или приоритетное технологическое направление обеспечения национальной и международной безопасности XXI века // Вопросы кибербезопасности. 2021. – c. 61-72.
16. Вехов В. Б. Компьютерные преступления: способы совершения и раскрытия. - М. : Право и закон, 2014. – 182 c.
17. Гвоздик Я.М. Модель и методика оценки систем защиты информации автоматизированных систем. / дисс. канд. техн. наук: 05.13.19. - СПИИРАН. – Санкт-Петербург, 2011. – 137 c.
18. Коломойцев В.С. Модели и методы оценки эффективности систем защиты информации и обоснование выбора их комплектации. / дисс. канд. техн. наук: 05.13.19. - Университет ИТМО. – Санкт-Петербург, 2018. – 175 c.
19. Чемин А.А. Разработка методов оценки эффективности систем защиты информации в распределенных информационных системах специального назначения. / ФГОУ «Московский государственный институт электроники и математики» (Технический университет). - Москва, 2009. – 211 c.
20. Лившиц И.И. Модели и методы аудита информационной безопасности интегрированных систем управления сложными промышленными объектами. / дисс. доктора техн. Наук: 05.13.19. - СПИИРАН. – СанктПетербург, 2018. – 407 c.
21. Гвоздик Я.М. Модель и методика оценки систем защиты информации автоматизированных систем. / дисс. канд. техн. наук: 05.13.19. - СПИИРАН. – Санкт-Петербург, 2011. – 137 c.
22. Десятов А.Д. Моделирование процессов защиты информации в распределенных информационных системах органов внутренних дел. / дисс. канд. техн. наук: 05.13.18 / Воронежский институт МВД России. - Воронеж, 2006. – 134 c.
23. Ревенков П. В., Ошманкевич К. Р., Бердюгин А. А. Фишинговые схемы в банковской сфере: рекомендации пользователям интернета по защите и разработка задач регулирования // Финансы: теория и практика. – 2021. – № 6. – c. 212-226.
24. Https://doi.org/10.26794/2587-5671-2021-25-6-212-226
25. Афанасьева Н. С., Елизаров Д. А., Мызникова Т. А. Классификация фишинговых атак и меры противодействия им // Инженерный вестник Дона. – 2022. – № 5(89). – c. 169-182.
26. Keeping customers’ data secure: A cross-cultural study of cybersecurity compliance among the Gen-Mobile workforce / N. Ameen
27. Li Y., Saxunová D. A perspective on categorizing Personal and Sensitive Data and the analysis of practical protection regulations // Procedia Computer Science. – 2020. – p. 1110-1115.
28. Choi J. P., Jeon D.-S., Kim B.-C. Privacy and personal data collection with information externalities // Journal of Public Economics. – 2019. – № 173. – p. 113-124.
29. Иванов К. В., Балякин А. А., Малышев А. С. Технологии больших данных как инструмент обеспечения национальной безопасности // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Экономические науки. – 2020. – № 1. – c. 7-19.
30. Гаттаров Р.У. Концепция стратегии кибербезопасности // Вопросы кибербезопасности. – 2014. – № 1(2). – c. 2-4.
31. Смирнов И., Якупов В. Противоборство в киберпространстве: направления развития сил и средств // Зарубежное военное обозрение. – 2018. – № 3. – c. 13-18.
32. Ромашкина Н.П., Стефанович Д.В. Стратегические риски и проблемы кибербезопасности // Вопросы кибербезопасности. – 2020. – № 5(39). – c. 77-86.
33. Журавель В.П. Противодействие угрозе кибертерроризма // Зарубежное военное обозрение. – 2018. – № 5. – c. 12-16.

Страница обновлена: 05.04.2024 в 19:13:48