Russian Journal of Innovation Economics

Вопросы инновационной экономики

2222-0372

BIBLIO-GLOBUS Publishing House

122269

10.18334/vinec.14.4.122269

TQHARV

Articles

Статьи

Research Article

Data Lake technology as a way to increase the efficiency of industrial companies

Применение технологии Data Lake как способ повышения эффективности деятельности промышленных предприятий

https://orcid.org/0000-0003-4320-6239

5655-4109

Drobkovaa

Oksana Sergeevna

Дробкова

Оксана Сергеевна

Доцент кафедры бизнес-информатики, к.э.н.

odrobkova@yandex.ru

https://orcid.org/0009-0002-2460-9286

Mirokhina

Darya Maksimovna

Мирохина

Дарья Максимовна

студент

mirokhina_d@mail.ru

Bauman Moscow State Technical University Московский государственный технический университет им. Н.Э. Баумана

24 12 2024

14 4

VOL 14, NO4 (2024)

ТОМ 14, №4 (2024)

1381 1400 05 12 2024 05 12 2024

2024

Drobkovaa O.S., Mirokhina D.M.

Дробкова О.С., Мирохина Д.М.

https://1economic.ru/lib/122269

The article analyzes the application of Data Lake technology in the activities of modern industrial companies. The authors describe the nature and characteristics of the Data Lake application. The authors discuss the key benefits and challenges of Data Lake implementation. Two of the most popular technologies (Data Lake and Data Warehouse) are compared. The main goals and effects of the introduction of Data Lake technology in modern industrial companies are indicated. The successful experience of implementing Data Lake in foreign companies is presented. The practice of Data Lake application at industrial companies in Russia is given. The example of JSC URALCHEM, PJSC Gazprom Neft, PJSC Severstal, and PJSC RusHydro are considered.

Статья посвящена анализу применения технологии Data Lake (озеро данных) в деятельности современных промышленных предприятий. Изложены сущность и особенности применения Data Lake, а также основные преимущества и проблемы внедрения. Проведено сравнение двух наиболее популярных технологий: озеро данных и хранилище данных. Указаны основные цели и эффекты от внедрения технологии Data Lake. Представлен успешный опыт реализации Data Lake в зарубежных компаниях. Приведена практика применения Data Lake на промышленных предприятиях в России на примере АО «ОХК «Уралхим», ПАО «Газпром нефть», ПАО «Северсталь», ПАО «РусГидро».

Data Lake Data Warehouse Big Data Industrial Internet of Things data analytics industrial company

Data Lake озеро данных Data Warehouse хранилище данных большие данные IIoT (Industrial Internet of Things) промышленный интернет вещей аналитика данных промышленное предприятие

1. Михненко П.А. Мультимодальная бизнес-аналитика: концепция и перспективы использования в экономической науке и практике // Управленец. – 2023. – № 6. – c. 2-18. – doi: 10.29141/2218-5003-2023-14-6-1.

2. Серебряков Е.С. IoT на промышленных предприятиях для оптимизации производства и обеспечения конфиденциальности данных // Наука молодых - будущее России: Сб. научных статей 7-й Международной научной конференции перспективных разработок молодых ученых. Юго-Западный государственный университет. Том 4. Курск, 2022. – c. 255-259.

3. Плюс индустриализация всего интернета. Официальный сайт информационного издательства Коммерсант. [Электронный ресурс]. URL: https://www.kommersant.ru/doc/6455358?ysclid=m2253nzg7y855879121 (дата обращения: 20.10.2024).

4. How Many IoT Devices Are There (2024-2032). Demandsage. [Электронный ресурс]. URL: https://www.demandsage.com/number-of-iot-devices/ (дата обращения: 20.10.2024)).

5. Об утверждении Концепции технологического развития на период до 2030 года»: Распоряжение Правительства Российской Федерации от 20.05.2023 г. №1315-р. Официальный сайт Правительства России. [Электронный ресурс]. URL: http://government.ru/news/48570/ (дата обращения: 20.10.2024).

6. Как прошел съезд РСПП с участием Путина. Главное. Официальный сайт мультимедийного холдинга ГК РБК. [Электронный ресурс]. URL: https://www.rbc.ru/business/16/03/2023/641334ad9a794717a8020057 (дата обращения: 20.10.2024).

7. Data Lake. Официальный сайт публичной облачной платформы Yandex Cloud. [Электронный ресурс]. URL: https://yandex.cloud/ru/docs/glossary/datalake?ysclid=m49xf4cp3j676839051 (дата обращения: 20.11.2024).

8. Sawadogo P., Darmont J. On data lake architectures and metadata management // Journal of Intelligent Information Systems. – 2021. – № 1. – p. 97-120. – doi: 10.1007/s10844-020-00608-7.

9. Nambiar A., Mundra D. An Overview of Data Warehouse and Data Lake in Modern Enterprise Data Management // Big Data Cognitive Computing. – 2022. – № 4. – p. 132. – doi: 10.3390/bdcc6040132.

10.

10. Errami S.A., Hajji H., El Kadi K.A., Badir H. Spatial big data architecture: from datawarehouses and data lakes to the Lakehouse // Journal of Parallel and Distributed Computing. – 2023. – № 176. – p. 70-79. – doi: 10.1016/j.jpdc.2023.02.007.

11.

11. Maharaj K., Kumar K. Enhancing Data Warehouse Efficiency by Optimizing ETL Processing in Near Real Time Data Integration Environment // International Conference on Big Data Intelligence and Computing: Singapore: Springer Nature Singapore. 2022. – p. 289-304.

12.

12. Dibouliya A. Review on: Modern Data Warehouse amp; how is it accelerating digital transformation // International Journal of Advance Research, Ideas and Innovations in Technology. – 2023. – № 2. – p. 285-297.

13.

13. Wrembel R. Still Open Problems in Data Warehouse and Data Lake Research // Eighth International Conference on Social Network Analysis, Management and Security (SNAMS): IEEE. 2021. – p. 1-3.

14.

14. Море волнуется раз: как умнеет «морской бизнес» и где будущее уже наступило. Официальный сайт Автономной некоммерческой организации высшего образования Университет Иннополис. [Электронный ресурс]. URL: https://hightech.fm/2018/05/11/sea-business (дата обращения: 25.11.2024).

15.

15. Три зеттабайта: действительно так много?. Сообщество IT-специалистов Хабр. [Электронный ресурс]. URL: https://habr.com/ru/companies/seagate/articles/554028/ (дата обращения: 25.11.2024).

16.

16. Озеро знаний: зачем НЛМК построили data lake. Официальный сайт информационного портала ComNews. [Электронный ресурс]. URL: https://www.comnews.ru/digital-economy/content/205026/2020-03-16/2020-w12/ozero-znaniy-zachem-nlmk-postroili-data-lake (дата обращения: 25.11.2024).

17.

17. Тренды развития промышленного интернета вещей. Информационный портал РБК Тренды. [Электронный ресурс]. URL: https://trends.rbc.ru/trends/industry/66dac9389a79473cfa3eaa5a?ysclid=m3bl6x5qo4924663488 (дата обращения: 25.11.2024).

18.

18. Будущее big data: к 2025 году 60% мировых данных будет создавать бизнес. Официальный сайт российской версии финансово-экономического журнала Forbes. [Электронный ресурс]. URL: https://www.forbes.ru/tehnologii/341869-budushchee-big-data-k-2025-godu-60-mirovyh-dannyh-budet-sozdavat-biznes?ysclid=m3ac6sl780262361889 (дата обращения: 25.11.2024).

19.

19. Что такое Big Data?. Официальный сайт корпорации-разработчика программного обеспечения Oracle Corporation. [Электронный ресурс]. URL: https://www.oracle.com/cis/big-data/what-is-big-data/ (дата обращения: 25.11.2024)).

20.

20. Заблуждения об озерах данных и их роли в корпоративном хранении данных. Официальный сайт российской версии финансово-экономического журнала Forbes. [Электронный ресурс]. URL: https://www.forbes.com/councils/forbestechcouncil/2018/11/28/misconceptions-about-data-lakes-and-their-role-in-enterprise-data-storage/ (дата обращения: 25.11.2024).

21.

21. Пять примеров того, как Big Data меняет нашу жизнь к лучшему. Официальный сайт государственного информационного агентства ТАСС. [Электронный ресурс]. URL: https://tass.ru/obschestvo/16108007?ysclid=m3acxeg5ob110048373 (дата обращения: 25.11.2024).

22.

22. Реализация прототипа Озера производственных данных на базе компонентов Платформы управления данными. Официальный сайт ООО ТДата. [Электронный ресурс]. URL: https://data.rt.ru/projects/production-data-lake (дата обращения: 25.11.2024).

23.

23. Cloud Solutions for Manufacturing. Amazon Web Services Experience. [Электронный ресурс]. URL: https://aws-experience.com/emea/smb/media/admin-media/32f0fd54-b986-4495-a574-9c029683c62c (дата обращения: 25.11.2024).

24.

24. GE Announces First Data Lake Approach for Industrial Internet to Better Access, Analyze and Store Industrial-Strength Big Data. Официальный сайт информационного агентства Ореанда. [Электронный ресурс]. URL: https://www.oreanda-news.com/en/promyshlennost/article839307/ (дата обращения: 25.11.2024).

25.

25. Reports amp; Filings. Official website General Electric Vernova. [Электронный ресурс]. URL: https://www.gevernova.com/investors/reports-filings (дата обращения: 25.11.2024).

26.

26. For Procter amp; Gamble, data is at the heart of digital transformation. Official website Microsoft. [Электронный ресурс]. URL: https://ms-f1-sites-03-ea.azurewebsites.net/en-us/story/1402016901008352804-procter-and-gamble-consumer-goods-azure (дата обращения: 25.11.2024).

27.

27. 9 Essential Data Lake Use Cases You Must Know. Official website Atlan Pte Ltd. [Электронный ресурс]. URL: https://atlan.com/data-lake-use-cases/ (дата обращения: 25.11.2024).

28.

28. «УРАЛХИМ» при поддержке КРОК запустил единую систему управления на базе Big Data. Официальный сайт компании АО ОХК Уралхим. [Электронный ресурс]. URL: https://www.uralchem.ru/press/news/item22370/?SECT=corporate_events (дата обращения: 28.11.2024).

29.

29. ПАО «Газпром нефть» построило озеро данных на Arenadata Hadoop. Официальный сайт ООО Аренадата Софтвер. [Электронный ресурс]. URL: https://arenadata.tech/projects/gazprom/ (дата обращения: 28.11.2024).

30.

30. Новые победы вместе с Arenadata: 3 призера конкурса «Проект Года» от GlobalCIO-2020. Официальный сайт специализированного учебного центра по технологиям Big Data Школа больших данных. [Электронный ресурс]. URL: https://bigdataschool.ru/blog/arenadata-top-projects-of-globalcio-2020.html (дата обращения: 28.11.2024).

31.

31. Цифра и металл: зачем заводы Северстали снабдили диджитал-решениями. Официальный сайт интернет-журнала о бизнесе в России Секрет фирмы. [Электронный ресурс]. URL: https://secretmag.ru/cifrovaya-ekonomika/cifra-i-metall-zachem-zavody-severstali-snabdili-didzhital-resheniyami-1146057.htm?ysclid=m44bvg5h1p684992160 (дата обращения: 28.11.2024).

32.

32. Северсталь создает крупнейшее среди промышленных компаний России data lake. Официальный сайт ПАО Северсталь. [Электронный ресурс]. URL: https://severstal.com/rus/media/archive/2017-08-02-severstal-sozdaet-krupneyshee-sredi-promyshlennykh-kompaniy-rossii-data-lake/ (дата обращения: 25.11.2024).

33.

33. Реализация озера данных и дата каталога в рамках функционального развития Единой интеграционной платформы. Официальный сайт ООО Сатори. [Электронный ресурс]. URL: https://satorilab.ru/projects/rgits (дата обращения: 25.11.2024).