Instrumental methods for developing mobile applications with AR

Введение. На современном этапе взаимодействия коммерческих предприятий с клиентами важную роль играют инструменты дополненной реальности (AR) для демонстрации функционала объектов продажи без привлечения сотрудников и консультантов. Объем таких проектов растет не только в игровой индустрии. Сегодня AR-модули присутствуют в автоматизированных решениях социальной сферы, в образовании, в туризме, здравоохранении и т.д. [2] (Guazzaroni, Pillai, 2019).

В качестве направления исследования нами были выбраны коммерческие предприятия сферы продаж автомобилей. Основная деятельность автосалонов направлена на получение прибыли за счет эффективной организации процесса взаимодействия с потенциальными клиентами в торговом зале. Одним из способов повышения эффективности такого взаимодействия является быстрота, доступность и полнота информации [8] (Zhilina, Miroshnichenko, Saveleva, Veretennikova, 2017) о характеристиках автомобиля, выставленного на продажу. Поэтому разработка мобильного программного решения для автосалона с функциями дополненной реальности позволит минимизировать затраты на консультационные услуги при принятии решения клиентом о покупке того или иного автомобиля, а также сократить время на заключение сделки о купле-продаже. Функционал дополненной реальности детально ознакомит клиента с особенностями представленной автомодели, включая все характеристики комплектующих.

Основная часть

Разработка визуальной модели проекта

На основе анализа существующих современных программ в области визуального проектирования [11] (Veretennikova E.G.. Saveleva, Zhilina, 2014) в качестве среды разработки модели мобильного приложения автосалона использовался программный продукт IBM Rational Software Architect. На рисунке 1 изображена главная диаграмма прецедентов, на которой представлен основной функционал автосалона в рамках взаимодействия между подразделениями (отделами) организации. Клиенту доступен просмотр информации об автомобиле двумя способами: с помощью сотрудника или через subsystem мобильного приложения, которое, в свою очередь, находится под контролем subsystem desktop admin. Просмотр автомобилей осуществляется непосредственно в subsystem автосалона под контролем менеджера.

Рисунок 1. Главная диаграмма прецедентов

Источник: составлено авторами.

Следующим этапом визуального моделирования является разработка диаграмм действий в подсистемах или прецедентах [6] (Buch, Rambo, Yakobson, 2007).

На рисунке 2 изображен процесс добавления данных о новом автомобиле, выполняемый администратором. Начальный этап алгоритма отвечает за получение информации об автомобиле. Далее необходимо разработать 3D-модель автомобиля или псевдомодель [7] (Vasilev, Zhilina, 2020), или подготовить фотографии для дальнейшей виртуализации объекта в дополненной реальности. После создания модели администратору необходимо внести имеющиеся данные в базу данных (БД) для вывода ее в дальнейшем пользователю при наведении камеры на объект распознавания (автомобиль).

Рисунок 2. Диаграмма деятельности внесения изменения в БД

Источник: составлено авторами.

На рисунке 3 изображен процесс взаимодействия клиента и менеджера, где смоделирован алгоритм подбора автомобиля с точки зрения менеджера. Менеджер предлагает разные варианты автомобилей клиенту, пока тот не сделает выбор одного из них, после чего проверяется наличие данного автомобиля на складе. Если автомобиль есть на складе в наличии, менеджер показывает его клиенту. Далее идет подготовка автомобиля и сопутствующих документов на продажу, а также проверка документов клиента. После выбора клиентом способа оплаты менеджер отправляет данные бухгалтеру.

Рисунок 3. Диаграмма деятельности взаимодействия клиента и менеджера

Источник: составлено авторами.

Операция оформления заказа выполняется бухгалтером в subsystem бухгалтерии, которая включает в себя: формирование договора купли-продажи и расчет итоговой стоимости автомобиля.

На рисунке 4 изображен функционал просмотра автомобилей через мобильное приложение. Первым этапом является установка клиентом мобильного приложения на смартфон. Для быстрого доступа к установщику предполагается размещение QR-кода на демонстрационном стенде, расположенном в автосалоне. Далее после запуска приложения пользователь должен разрешить доступ к камере телефона, навести камеру на автомобиль, после чего будет доступна расширенная информация об автомобиле, при этом появляется возможность модификации объекта покупки (изменение цвета автомобиля, добавление сопутствующих комплектующих и т.д.).

Далее была разработана диаграмма классов со стереотипом «границы». На рисунке 5 изображен «граничный» класс мобильного приложения.

Рисунок 6. «Управляющие» классы модели

Источник: составлено авторами.

Диаграмма последовательности действий работы мобильного приложения автосалона приведена на рисунке 7. На ней изображен путь от получения данных пользователя, ответа сервера, до работы алгоритмов «искусственного интеллекта» по обработке действий клиента.

Рисунок 7. Диаграмма последовательности действий работы мобильного приложения

Источник: составлено авторами.

Важным этапом моделирования является разработка диаграммы компонентов [10] (Zhilina, Chastukhina, Ganzha, 2014), приведенной на рисунке 8. На ней изображены компоненты и пакеты данных, а также операционная система, необходимые для разработки мобильного приложения с функциями дополненной реальности.

Рисунок 8. Диаграмма компонентов

Источник: составлено авторами.

Разработка модуля дополненной реальности для мобильного приложения автосалона

В качестве IDE разработки проекта применялась MS Visual Studio, язык программирования C#. В качестве инструментария дополненной реальности – движок Unity и платформа Vuforia.

В процессе разработки алгоритмов с дополненной реальностью необходимо программно реализовать объект – цель распознавания [1] (Alamparambil, Larson, Ogle-Barrington, 2019). Основной коддинг направлен на обработку определенных точек объекта распознавания в матрице изображения [3].

Для функционирования алгоритма необходимо в основной сцене проекта добавить объект AR Camera через Vuforia Engine (меню Game Object -> Vuforia Engine ->AR Camera). Далее необходимо закрепить цель распознавания, для этого на сцене из списка игровых объектов в появившемся списке выбирается цель, например фотография автомобиля (или 3D-модель). После чего необходимо указать базу данных для распознавания объекта, для этого нужно зарегистрироваться на официальном сайте Vuforia [12] и добавить лицензионный ключ в проект Unity, чтобы связать аккаунт с приложением дополненной реальности.

Далее в Target Manager на официальном сайте Vuforia [13] в личном кабинете нужно добавить базу данных триггеров, на которые будет реагировать объект распознавания. После внесения данных будет доступно скачивание Unity Asset с необходимой базой данных.

Теперь для цели будет доступен выбор скриптов для обработки действий пользователя. Из списка целей необходимо выбрать название соответствующего изображения (3D-модели) объекта распознавания (рис. 9).

Рисунок 9. Добавление цели в приложение

Источник: составлено авторами.

Дальнейшим этапом разработки является добавление текста, чтобы при наведении камеры на объект выводилась необходимая информация об автомобиле. Для этого в основной сцене через меню игровых объектов и указатель на UI (User Interface) выбирается объект Text (меню Game Object->UI->Text) [4, 5] (Lammers, 2013; Thorn, 2015). Далее в текстовых полях формируется информационный контент об автомобиле (цена, основные характеристики и т.д.).

После сборки проекта приложение нужно установить на смартфон и разрешить доступ к камере. При наведении на объект, находящийся в базе данных, будет выводиться дополнительная информация об объекте. На рисунке 10 приведен фрагмент работоспособности приложения с дополненной реальностью для автосалона.

Рисунок 10. Мобильное приложение автосалона с функционалом дополненной реальности

Источник: составлено авторами.

Заключение

В результате исследования была разработана визуальная модель проекта мобильного приложения для автосалона в среде Rational Software Architect с использованием универсального языка моделирования UML, в том числе детально проработаны функции по работе с объектами дополненной реальности.

На основе объектно-ориентированной модели было разработано мобильное приложение для автосалона, позволяющее клиентам просматривать детальную информацию целевого автомобиля, представленного в торговом зале. Приложение создано на базе движка Unity с использованием библиотеки Vuforia. Алгоритм направлен на распознавание объекта, захваченного камерой мобильного устройства.

Разработанное программное решение предназначено для упрощения и ускорения процесса подбора и выбора объекта купли-продажи в автосалоне, а также для модификации существующих автопредложений и перерасчета цены автомобиля.