Semantic analysis of patient feedback to provide decision support in the medical services market

Введение

Актуальность настоящего исследования обосновывается тем, что в настоящее время одним из ключевых подходов к организации процессов оказания медицинской помощи является пациент-ориентированный подход. В рамках его реализации на практике возникает необходимость разработки пользовательских сервисов, платформенных решений, обеспечивающих повышение уровня информационного взаимодействия участников рынка медицинских услуг, автоматизацию процессов построения независимой оценки качества и доступности предоставленных медицинских услуг и поддержку принятия решений всеми участниками рынка медицинских услуг. Важнейшим аспектом в решении данных задач выступает независимая оценка качества медицинских услуг.

Проведенный литературный обзор показал, что независимая оценка качества и доступности медицинской помощи может проводиться как по разработанным анкетам социологического опроса, так и посредством анализа отзывов пациентов относительно качества и доступности услуг. Для населения сервис электронного анкетирования реализован на сайте Министерства Здравоохранения РФ, сайтах Территориальных фондов обязательного медицинского страхования (далее ОМС), сайтах медицинских организаций региона, отдельных сайтах страховых медицинских компаний. В отечественной литературе авторы также уделяют большое внимание проблеме построения независимой оценки качества медицинских услуг и в своих работах приводят результаты эмпирических исследований в этой предметной области [3, 4, 11, 17, 19, 22].

Вместе с тем научный пробел состоит в том, что получаемая в процессе анкетирования информация в большей степени носит структурированный характер, но зачастую, не позволяет получить общую и объективную картину причин низкого уровня удовлетворенности потребителей качеством предоставленной медицинской помощи. Это обусловлено, в первую очередь, тем, что анкетирование проводится в разрезе региона, отдельных видов медицинской помощи и значительно реже в разрезе конкретных медицинских организаций.

Для выявления механизмов повышения качества медицинских услуг медицинским учреждениям, страховым медицинским организациям требуется комплексный детальный анализ в разрезе не только учреждений здравоохранения, но и отдельных специалистов. В этой ситуации анализ отзывов пациентов о качестве предоставленных медицинских услуг позволит получить более широкое представление о возможных проблемах в организации оказания медицинской помощи, выявить оптимальные пути их решения. Если результаты анкетирования, как правило, представлены в структурированном виде и не вызывают сложностей в обработке, то отзыв пишется в свободной форме. Для построения оценки качества и доступности медицинских услуг в этом случае возникает необходимость обработки не только содержания отзывов, но и анализа их эмоциональной окраски.

В области обработки естественного языка оформилось отдельное направление по анализу эмоциональной окраски текстов – анализ тональности текста или сентимент-анализ. Проведенное авторами исследование литературных источников позволяет выявить методы, наиболее часто используемые для решения задачи сентимент-анализа. К ним относятся методы, основанные на словарях и правилах, методы машинного обучения, гибридные методы [2, 7, 9, 12, 14, 21, 23, 24, 26]. Использование методов первой группы базируется на составлении тонального словаря языка, в котором каждой единице соответствует оценка ее эмоциональной окраски. В случае применения методов машинного обучения задача анализа тональности текста сводится к задаче обучения с учителем – бинарной или мультиклассовой классификации, решение которой состоит в формировании обучающего множества, выбору алгоритма классификации, построению признаков, в виде которых будет представлен текст для заданного алгоритма.

Задача анализа тональности текста в настоящее время является достаточно актуальным направлением исследований в области методов обработки естественного языка. В отечественной литературе встречаются исследования, посвященные сентимент-анализу общественного мнения [16], отзывов пользователей социальных сетей [1, 5, 13, 15, 18], клиентов банка [6, 8, 10], отзывов о поставщиках [25]. Однако данная задача не нашла своего применения в анализе отзывов потребителей медицинских услуг.

В качестве математического инструментария в своих эмпирических исследованиях авторы используют методы машинного обучения [1, 5, 6, 8, 12, 14, 18, 21, 26], методы и технологии нейросетевого моделирования [13, 24, 25], методы нечетко-множественного моделирования [15].

Цель исследования состоит в разработке методологии построения независимой оценки качества медицинских услуг на основе отзывов потребителей с использованием методов машинного обучения и технологий искусственного интеллекта.

Научная новизна предлагаемой методологии заключается в обосновании: 1) необходимости быстрой обработки отзывов с негативной эмоциональной окраской для реализации механизмов повышения качества услуг руководителями медицинских организаций и контролирующими органами; 2) необходимости применения процессов алгоритмизации и автоматизации для обработки больших массивов неструктурированной информации (текстовых отзывов пациентов); 3) возможности реализации семантического анализа отзывов пациентов с применением методов предобработки данных, машинного обучения и технологий искусственного интеллекта для построения независимой оценки качества услуг на всех уровнях организации медицинской помощи.

Авторская гипотеза построена на предположении о необходимости проведения комплексного анализа обращений потребителей медицинских услуг, включая сентимент-анализ текстовых отзывов, что обеспечит эффективную поддержку принятия решений, как для потребителей, так и для поставщиков медицинских услуг на региональном рынке.

Методология исследования опирается на анализ, обобщение, предобработку текстовых данных, исследовательский анализ и визуализацию данных, моделирование, сравнительный анализ. Для достижения цели исследования проведен анализ публикаций и предложены авторские разработки.

Основная часть

Решение задачи анализа эмоциональной окраски отзывов пациентов о качестве и доступности медицинских услуг для обеспечения поддержки принятия решений на рынке медицинских услуг предполагает реализацию следующих основных этапов:

1. Сбор, анализ и первичная обработка данных. В современных условиях развития информационных технологий в сфере здравоохранения и обязательного медицинского страхования все большую популярность приобретают сервисы поддержки принятия решений по выбору врачей различных специальностей, медицинских услуг или медицинских организаций региона. Данные сервисы предоставляют возможность пользователям оставлять отзывы о качестве и доступности оказанных медицинских услуг и могут служить источником для сбора информации наряду с сайтами медицинских организаций, заинтересованных в контроле качества медицинских услуг.

На первом этапе решения поставленной задачи осуществляется сбор, анализ и первичная обработка данных, производится разведочный анализ, реализуется проверка условия сбалансированности классов, проводится анализ распределение оценок и количества отзывов во времени. Это позволит получить первичное представление об имеющейся структуре данных. В завершении первого этапа проводится токенизация объектов множества с последующим выделением нормальной формы слова. В результате формируется множество, в котором каждая запись характеризуется набором нормализованных слов и значением оценки пациента.

2. Построение моделей бинарной или мультиклассовой классификации с использованием методов и технологий машинного обучения, искусственного интеллекта. Для решения задачи сентимент-анализа на практике чаще всего используются методы обучения с учителем: метод k ближайших соседей, наивный байесовский классификатор, логистическая регрессия, деревья решений, случайный лес, градиентный бустинг, метод опорных векторов, рекуррентные нейронные сети, сети с долговременной и кратковременной памятью [1, 5, 6, 8, 12, 13, 14, 18, 21, 24, 25, 26].

3. Расчет метрик качества классификации (accuracy (доля правильных ответов), precision (точность), recall (полнота), f1-score (f1-мера)), сравнительный анализ прогностических возможностей моделей, выбор оптимальной модели для оценки позитивной и негативной эмоциональной окраски текста. Оценка качества построенных моделей классификации позволит выбрать оптимальную модель классификации для дальнейшей эксплуатации, выявить направления усовершенствования моделей для повышения точности прогнозных оценок.

Рассмотрим результаты апробации предложенной методики на основе сформированной выборки отзывов пациентов.

Первоначально на этапе формирования обучающего множества проведены сбор, анализ и первичная обработка неструктурированных текстовых данных. В качестве выборки данных были использованы отзывы пациентов о врачах специализации «терапевт», собранные с сайта «Продокторов» [17]. Выборка включает 255 записей-отзывов, каждая запись содержит дату обращения (с января 2022 года по март 2023 года), текстовый отзыв-комментарий, а также выставленную лингвистическую оценку качества услуг по шкале: «отлично», «хорошо», «нормально», «ужасно», «плохо».

Для программной реализации решения поставленной задачи сентимент-анализа использовались библиотеки языка программирования Python: Pandas, Matplotlib, Seaborn, Sklearn, Requests и другие.

Фрагмент выборки данных представлен в таблице 1.

Таблица 1

Фрагмент выборки данных

Распределение отзывов в динамике за рассматриваемый период (с января 2022 года по март 2023 года) представлено на рис. 1.

Рисунок 1. Распределение количества отзывов за исследуемый период Источник: составлено авторами

Можно заключить, что число отзывов пациентов по месяцам значительно различается. На рис. 2 приведено распределение количества отзывов пациентов на множестве лингвистических оценок.

Рисунок 2. Распределение количества отзывов на множестве оценок

Источник: составлено авторами

Анализ гистограммы позволяет заключить, что распределение положительных («отлично», «хорошо») и отрицательных («ужасно», «плохо») лингвистических оценок практически находятся в равном количестве (суммарно по каждому классу). В рамках исследования проводился анализ только позитивных и отрицательных оценок, нейтральные оценки во внимание не принимались. В виду этого все множество лингвистических оценок было преобразовано в бинарную количественную шкалу для реализации в дальнейшем моделей классификации. Лингвистическим оценкам «отлично», «хорошо» был присвоен класс «1», лингвистическим оценкам «ужасно», «плохо» – класс «0». В результате сформирована выборка из 233 записей-отзывов, где 123 имеют положительные оценки, 110 – отрицательные (рис. 3). Можно считать выборку сбалансированной. Сбалансированность выборки на практике снижает возможность переобучения моделей классификации, повышая точность классификации.

Рисунок 3. Распределение количества отзывов за исследуемый период

Источник: составлено авторами

На следующем этапе исследования была проведена предобработка текстовых данных с использованием библиотек nltk (для символьной и статистической обработки естественного языка) и pymorphy2 (морфологический анализатор для русского языка). Весь текст каждого отзыва был очищен от знаков пунктуации, слова приведены к нижнему регистру, проведена токенизация, лемматизация, удалены лишние пробелы, цифры, стоп-слова, а также проведена нормализация слов. Фрагмент выборки после обработки приведен в таблице 2.

Таблица 2

Фрагмент выборки данных после обработки

После проведения предобработки данных для построения моделей бинарной классификации выборка была разделена на обучающую (70%) и тестирующую (30%), проведена векторизация выборки (переход от естественного языка к числовому описанию структурных единиц с помощью схемы взвешивания tf-idf).

Для классификации отзывов на основе их тональности были использованы следующие модели машинного обучения и искусственного интеллекта: наивный байесовский классификатор, метод опорных векторов (SVM), логистическая регрессия, градиентный бустинг, случайный лес, рекуррентные нейронные сети.

Для каждой из построенных моделей вычислены метрики качества классификации: precision (точность), recall (полнота), f1-score (f1-мера), проведен сравнительный анализ качества построенных моделей.

В таблице 3 приведены метрики моделей классификации.

Таблица 3

Метрики моделей классификации

Источник: Составлено авторами по результатам исследования

Диапазон значений метрики precision по классам составляет от 0.85 (класс 0 для модели градиентного бустинга) до 1 (класс 1 для модели наивного байесовского классификатора). Для метрики recall значения варьируются в интервале от 0.81 (класс 0 для метода опорных векторов) до 1 (класс 1 для модели наивного байесовского классификатора). Наименьшую вариацию значений имеет метрика f1-score: от 0.88 (класс 0 для метода опорных векторов, модели градиентного бустинга) до 0.96 (класс 1 для модели наивного байесовского классификатора).

Наибольшую точность классификации показал наивный байесовский классификатор. Высокие значения метрик подтверждают высокую прогностическую способность моделей классификации.

В рамках эмпирического исследования была построена рекуррентная нейронная сеть, для этого использовалась модель Sequential библиотеки TensorFlow.Keras. На рис. 4 представлен график зависимостей доли верных ответов на обучающих и проверочных наборах данных от эпох обучения.

Рисунок 4. График зависимостей доли верных ответов на обучающих

и проверочных наборах данных от эпох обучения

Источник: составлено авторами

Доля правильных ответов на тестовой выборке составила 73%. Невысокие результаты моделирования могут обоснованы тем, что количество записей в выборке данных оказалось недостаточным для построенной нейросетевой модели классификации. Нейросетевые модели, как правило, хорошо работают на больших выборках данных.

В таблице 4 приведены результаты сравнительного анализа качества построенных моделей бинарной классификации с использованием метрики accuracy (доля правильных ответов). Отметим, что данная метрика достаточно информативна для сбалансированных выборок, и, наоборот, может показывать высокие прогностические способности только для одного класса для случая несбалансированных выборок в результате переобучения модели.

Таблица 4

Сравнительный анализ метрик качества классификации

Наибольшую точность на рассматриваемой выборке данных, как отмечалось, показывает наивный байесовский классификатор, далее по прогностической точности следуют модели логистической регрессии и случайного леса.

Выводы

С целью обеспечения поддержки принятия управленческих решений в вопросах поиска механизмов повышения качества услуг руководители медицинских организаций, страховые медицинские организации заинтересованы в быстрой обработке отзывов с негативной эмоциональной окраской. В условиях наличия больших объемов информации процесс анализа эмоциональной окраски требует алгоритмизации и автоматизации.

Результаты проведенного авторами эмпирического исследования обосновывают возможность использования предложенной методологии в решении задачи сентимент-анализа отзывов пациентов с целью выявления, в первую очередь, отзывов с негативной эмоциональной окраской.

Разработанный алгоритм семантического моделирования может выступать в качестве математического обеспечения модуля независимой оценки качества и доступности медицинских услуг. Результаты моделирования позволят страховым медицинским организациям, руководителям медицинских организаций всех уровней оперативно реагировать на проблемы по оказанию качественной медицинской помощи, принимать эффективные управленческие решения.