Семантический анализ отзывов пациентов для обеспечения поддержки принятия решений на рынке медицинских услуг

Русских Т.Н.1, Тинякова В.И.2, Кухарец Д.В.1
1 Орловский государственный университет им. И.С. Тургенева
2 Государственный университет управления

Статья в журнале

Креативная экономика (РИНЦ, ВАК)
опубликовать статью | оформить подписку

Том 18, Номер 2 (Февраль 2024)

Цитировать:
Русских Т.Н., Тинякова В.И., Кухарец Д.В. Семантический анализ отзывов пациентов для обеспечения поддержки принятия решений на рынке медицинских услуг // Креативная экономика. – 2024. – Том 18. – № 2. – doi: 10.18334/ce.18.2.120366.

Аннотация:
Важнейшими задачами в сфере здравоохранения и обязательного медицинского страхования выступают обеспечение информационного взаимодействия между всеми участниками, независимая оценка качества и доступности медицинских услуг. В статье рассматривается проблема построения независимой оценки качества и доступности медицинских услуг на основе семантического анализа отзывов пациентов с использованием методов машинного обучения и технологий искусственного интеллекта. Обосновывается необходимость реализации процессов алгоритмизации и автоматизации для обработки больших массивов неструктурированной текстовой информации. Предлагается методология, включающая процессы автоматизации сбора и обработки текстовых отзывов, построения моделей классификации, оценки качества моделей. На основе сформированной выборки отзывов пациентов программно реализуется алгоритм решения задачи сентимент-анализа отзывов пациентов с использованием методов и технологий искусственного интеллекта и машинного обучения.

Ключевые слова: качество медицинских услуг, независимая оценка качества, семантический анализ текста, машинное обучение

JEL-классификация: I11, I13, H51



Введение

Актуальность настоящего исследования обосновывается тем, что в настоящее время одним из ключевых подходов к организации процессов оказания медицинской помощи является пациент-ориентированный подход. В рамках его реализации на практике возникает необходимость разработки пользовательских сервисов, платформенных решений, обеспечивающих повышение уровня информационного взаимодействия участников рынка медицинских услуг, автоматизацию процессов построения независимой оценки качества и доступности предоставленных медицинских услуг и поддержку принятия решений всеми участниками рынка медицинских услуг. Важнейшим аспектом в решении данных задач выступает независимая оценка качества медицинских услуг.

Проведенный литературный обзор показал, что независимая оценка качества и доступности медицинской помощи может проводиться как по разработанным анкетам социологического опроса, так и посредством анализа отзывов пациентов относительно качества и доступности услуг. Для населения сервис электронного анкетирования реализован на сайте Министерства Здравоохранения РФ, сайтах Территориальных фондов обязательного медицинского страхования (далее ОМС), сайтах медицинских организаций региона, отдельных сайтах страховых медицинских компаний. В отечественной литературе авторы также уделяют большое внимание проблеме построения независимой оценки качества медицинских услуг и в своих работах приводят результаты эмпирических исследований в этой предметной области [3, 4, 11, 17, 19, 22].

Вместе с тем научный пробел состоит в том, что получаемая в процессе анкетирования информация в большей степени носит структурированный характер, но зачастую, не позволяет получить общую и объективную картину причин низкого уровня удовлетворенности потребителей качеством предоставленной медицинской помощи. Это обусловлено, в первую очередь, тем, что анкетирование проводится в разрезе региона, отдельных видов медицинской помощи и значительно реже в разрезе конкретных медицинских организаций.

Для выявления механизмов повышения качества медицинских услуг медицинским учреждениям, страховым медицинским организациям требуется комплексный детальный анализ в разрезе не только учреждений здравоохранения, но и отдельных специалистов. В этой ситуации анализ отзывов пациентов о качестве предоставленных медицинских услуг позволит получить более широкое представление о возможных проблемах в организации оказания медицинской помощи, выявить оптимальные пути их решения. Если результаты анкетирования, как правило, представлены в структурированном виде и не вызывают сложностей в обработке, то отзыв пишется в свободной форме. Для построения оценки качества и доступности медицинских услуг в этом случае возникает необходимость обработки не только содержания отзывов, но и анализа их эмоциональной окраски.

В области обработки естественного языка оформилось отдельное направление по анализу эмоциональной окраски текстов – анализ тональности текста или сентимент-анализ. Проведенное авторами исследование литературных источников позволяет выявить методы, наиболее часто используемые для решения задачи сентимент-анализа. К ним относятся методы, основанные на словарях и правилах, методы машинного обучения, гибридные методы [2, 7, 9, 12, 14, 21, 23, 24, 26]. Использование методов первой группы базируется на составлении тонального словаря языка, в котором каждой единице соответствует оценка ее эмоциональной окраски. В случае применения методов машинного обучения задача анализа тональности текста сводится к задаче обучения с учителем – бинарной или мультиклассовой классификации, решение которой состоит в формировании обучающего множества, выбору алгоритма классификации, построению признаков, в виде которых будет представлен текст для заданного алгоритма.

Задача анализа тональности текста в настоящее время является достаточно актуальным направлением исследований в области методов обработки естественного языка. В отечественной литературе встречаются исследования, посвященные сентимент-анализу общественного мнения [16], отзывов пользователей социальных сетей [1, 5, 13, 15, 18], клиентов банка [6, 8, 10], отзывов о поставщиках [25]. Однако данная задача не нашла своего применения в анализе отзывов потребителей медицинских услуг.

В качестве математического инструментария в своих эмпирических исследованиях авторы используют методы машинного обучения [1, 5, 6, 8, 12, 14, 18, 21, 26], методы и технологии нейросетевого моделирования [13, 24, 25], методы нечетко-множественного моделирования [15].

Цель исследования состоит в разработке методологии построения независимой оценки качества медицинских услуг на основе отзывов потребителей с использованием методов машинного обучения и технологий искусственного интеллекта.

Научная новизна предлагаемой методологии заключается в обосновании: 1) необходимости быстрой обработки отзывов с негативной эмоциональной окраской для реализации механизмов повышения качества услуг руководителями медицинских организаций и контролирующими органами; 2) необходимости применения процессов алгоритмизации и автоматизации для обработки больших массивов неструктурированной информации (текстовых отзывов пациентов); 3) возможности реализации семантического анализа отзывов пациентов с применением методов предобработки данных, машинного обучения и технологий искусственного интеллекта для построения независимой оценки качества услуг на всех уровнях организации медицинской помощи.

Авторская гипотеза построена на предположении о необходимости проведения комплексного анализа обращений потребителей медицинских услуг, включая сентимент-анализ текстовых отзывов, что обеспечит эффективную поддержку принятия решений, как для потребителей, так и для поставщиков медицинских услуг на региональном рынке.

Методология исследования опирается на анализ, обобщение, предобработку текстовых данных, исследовательский анализ и визуализацию данных, моделирование, сравнительный анализ. Для достижения цели исследования проведен анализ публикаций и предложены авторские разработки.

Основная часть

Решение задачи анализа эмоциональной окраски отзывов пациентов о качестве и доступности медицинских услуг для обеспечения поддержки принятия решений на рынке медицинских услуг предполагает реализацию следующих основных этапов:

1. Сбор, анализ и первичная обработка данных. В современных условиях развития информационных технологий в сфере здравоохранения и обязательного медицинского страхования все большую популярность приобретают сервисы поддержки принятия решений по выбору врачей различных специальностей, медицинских услуг или медицинских организаций региона. Данные сервисы предоставляют возможность пользователям оставлять отзывы о качестве и доступности оказанных медицинских услуг и могут служить источником для сбора информации наряду с сайтами медицинских организаций, заинтересованных в контроле качества медицинских услуг.

На первом этапе решения поставленной задачи осуществляется сбор, анализ и первичная обработка данных, производится разведочный анализ, реализуется проверка условия сбалансированности классов, проводится анализ распределение оценок и количества отзывов во времени. Это позволит получить первичное представление об имеющейся структуре данных. В завершении первого этапа проводится токенизация объектов множества с последующим выделением нормальной формы слова. В результате формируется множество, в котором каждая запись характеризуется набором нормализованных слов и значением оценки пациента.

2. Построение моделей бинарной или мультиклассовой классификации с использованием методов и технологий машинного обучения, искусственного интеллекта. Для решения задачи сентимент-анализа на практике чаще всего используются методы обучения с учителем: метод k ближайших соседей, наивный байесовский классификатор, логистическая регрессия, деревья решений, случайный лес, градиентный бустинг, метод опорных векторов, рекуррентные нейронные сети, сети с долговременной и кратковременной памятью [1, 5, 6, 8, 12, 13, 14, 18, 21, 24, 25, 26].

3. Расчет метрик качества классификации (accuracy (доля правильных ответов), precision (точность), recall (полнота), f1-score (f1-мера)), сравнительный анализ прогностических возможностей моделей, выбор оптимальной модели для оценки позитивной и негативной эмоциональной окраски текста. Оценка качества построенных моделей классификации позволит выбрать оптимальную модель классификации для дальнейшей эксплуатации, выявить направления усовершенствования моделей для повышения точности прогнозных оценок.

Рассмотрим результаты апробации предложенной методики на основе сформированной выборки отзывов пациентов.

Первоначально на этапе формирования обучающего множества проведены сбор, анализ и первичная обработка неструктурированных текстовых данных. В качестве выборки данных были использованы отзывы пациентов о врачах специализации «терапевт», собранные с сайта «Продокторов» [17]. Выборка включает 255 записей-отзывов, каждая запись содержит дату обращения (с января 2022 года по март 2023 года), текстовый отзыв-комментарий, а также выставленную лингвистическую оценку качества услуг по шкале: «отлично», «хорошо», «нормально», «ужасно», «плохо».

Для программной реализации решения поставленной задачи сентимент-анализа использовались библиотеки языка программирования Python: Pandas, Matplotlib, Seaborn, Sklearn, Requests и другие.

Фрагмент выборки данных представлен в таблице 1.

Таблица 1

Фрагмент выборки данных

Дата
Комментарий (содержание отзыва)
Оценка
23.01.2022
Проходил КТ грудной клетки, после направили к терапевту. Врач назначила лечение. Вылечился, здоров, очень благодарен! Приятно отозвался о человеке. Знающий своё дело, специалист высокого уровня, самоё главное – результат отличный. Буду обращаться ещё, рекомендую тем, кто хочет побыстрее выздороветь, ведь за этим мы ходим к врачам.
Отлично
25.01.2022
Терапевт оказалась весьма чутким специалистом, внимательно выслушала жалобы и назначила соответствующее лечение. Что примечательно, первая, кто за весь месяц смогла помочь в решении серьезной аллергии. Выражаю огромную благодарность за профессионализм и чуткость. Спасибо огромное. Рекомендую обращаться, специалист высшего класса.
Отлично
20.04.2022
На приёме я сопровождал дочку. Доктор внимательно нас выслушала, посмотрела результаты анализов, снимки ЭКГ, произвела внешний осмотр и вынесла свой вердикт. Предполагаемое заболевание выходит за рамки её специализации, поэтому доктор просто отправила нас к другому врачу. Но мне понравилось, как она относится к пациентам и как консультирует. Поэтому, если будет нужно, обратимся в дальнейшем именно к ней.
Хорошо
01.11.2022
На самом деле у меня сложилось неоднозначное впечатление, потому что я сомневаюсь на счет диагноза. Врач поставила его на основании осмотра, а также сказала пройти компьютерную томографию. Однако мы решили, что нам пока это не нужно. В принципе, лечение нам помогло. Единственное, у меня все-таки присутствуют подозрения по поводу диагноза, так как мне кажется, что у нас было что-то другое. Врач определила тонзиллит. Тем не менее я не видела, чтобы при тонзиллите была высокая температура и прочее. Вдобавок мы еще долго ожидали приема, так как доктора не было на месте и все сотрудники куда-то ушли. Нам это потом никак не прокомментировали. В целом, не могу сказать о ней ничего плохого, но и ничего хорошего тоже. На счет повторного приема она ничего не говорила. Я не могу сказать, вызывает ли этот специалист к себе доверие. Полагаю, что смогла бы это понять, если бы посещала ее больше одного раза.
Хорошо
Источник: составлено авторами по отзывам пользователей сайта [17]

Распределение отзывов в динамике за рассматриваемый период (с января 2022 года по март 2023 года) представлено на рис. 1.

Рисунок 1. Распределение количества отзывов за исследуемый период Источник: составлено авторами

Можно заключить, что число отзывов пациентов по месяцам значительно различается. На рис. 2 приведено распределение количества отзывов пациентов на множестве лингвистических оценок.

Рисунок 2. Распределение количества отзывов на множестве оценок

Источник: составлено авторами

Анализ гистограммы позволяет заключить, что распределение положительных («отлично», «хорошо») и отрицательных («ужасно», «плохо») лингвистических оценок практически находятся в равном количестве (суммарно по каждому классу). В рамках исследования проводился анализ только позитивных и отрицательных оценок, нейтральные оценки во внимание не принимались. В виду этого все множество лингвистических оценок было преобразовано в бинарную количественную шкалу для реализации в дальнейшем моделей классификации. Лингвистическим оценкам «отлично», «хорошо» был присвоен класс «1», лингвистическим оценкам «ужасно», «плохо» – класс «0». В результате сформирована выборка из 233 записей-отзывов, где 123 имеют положительные оценки, 110 – отрицательные (рис. 3). Можно считать выборку сбалансированной. Сбалансированность выборки на практике снижает возможность переобучения моделей классификации, повышая точность классификации.

Рисунок 3. Распределение количества отзывов за исследуемый период

Источник: составлено авторами

На следующем этапе исследования была проведена предобработка текстовых данных с использованием библиотек nltk (для символьной и статистической обработки естественного языка) и pymorphy2 (морфологический анализатор для русского языка). Весь текст каждого отзыва был очищен от знаков пунктуации, слова приведены к нижнему регистру, проведена токенизация, лемматизация, удалены лишние пробелы, цифры, стоп-слова, а также проведена нормализация слов. Фрагмент выборки после обработки приведен в таблице 2.

Таблица 2

Фрагмент выборки данных после обработки

Дата
Комментарий (содержание отзыва)
Результаты после обработки
23.01.2022
Проходил КТ грудной клетки, после направили к терапевту. Врач назначила лечение. Вылечился, здоров, очень благодарен! Приятно отозвался о человеке. Знающий своё дело, специалист высокого уровня, самоё главное – результат отличный. Буду обращаться ещё, рекомендую тем, кто хочет побыстрее выздороветь, ведь за этим мы ходим к врачам.
Проходить кт грудной клетка направить терапевт назначить лечение вылечиться здоровый очень благодарный приятно отозваться человек знающий свой дело специалист высокий уровень главное результат отличный обращаться ещё рекомендовать хотеть быстрый выздороветь это ходить врач
25.01.2022
Терапевт оказалась весьма чутким специалистом, внимательно выслушала жалобы и назначила соответствующее лечение. Что примечательно, первая, кто за весь месяц смогла помочь в решении серьезной аллергии. Выражаю огромную благодарность за профессионализм и чуткость. Спасибо огромное. Рекомендую обращаться, специалист высшего класса.
Терапевт оказаться весьма чуткий специалист внимательно выслушать жалоба назначить соответствовать лечение примечательно первый весь месяц смочь помочь решение серьёзный аллергия выражать огромный благодарность профессионализм чуткость спасибо огромный рекомендовать обращаться специалист высокий класс
20.04.2022
На приёме я сопровождал дочку. Доктор внимательно нас выслушала, посмотрела результаты анализов, снимки ЭКГ, произвела внешний осмотр и вынесла свой вердикт. Предполагаемое заболевание выходит за рамки её специализации, поэтому доктор просто отправила нас к другому врачу. Но мне понравилось, как она относится к пациентам и как консультирует. Поэтому, если будет нужно, обратимся в дальнейшем именно к ней.
Приём сопровождать дочка доктор внимательно выслушать посмотреть результат анализ снимок экг произвести внешний осмотр вынести свой вердикт предполагать заболевание выходить рамка её специализация поэтому доктор просто отправить врач понравиться относиться пациент консультировать поэтому нужно обратиться дальнейший именно
Источник: составлено авторами по отзывам пользователей сайта [17]

После проведения предобработки данных для построения моделей бинарной классификации выборка была разделена на обучающую (70%) и тестирующую (30%), проведена векторизация выборки (переход от естественного языка к числовому описанию структурных единиц с помощью схемы взвешивания tf-idf).

Для классификации отзывов на основе их тональности были использованы следующие модели машинного обучения и искусственного интеллекта: наивный байесовский классификатор, метод опорных векторов (SVM), логистическая регрессия, градиентный бустинг, случайный лес, рекуррентные нейронные сети.

Для каждой из построенных моделей вычислены метрики качества классификации: precision (точность), recall (полнота), f1-score (f1-мера), проведен сравнительный анализ качества построенных моделей.

В таблице 3 приведены метрики моделей классификации.

Таблица 3

Метрики моделей классификации

Модель классификации
Метрики
precision
recall
f1-score
0
1
0
1
0
1
Наивный байесовский классификатор
1.00
0.93
0.91
1.00
0.95
0.96
Метод опорных векторов
0.96
0.86
0.81
0.97
0.88
0.91
Логистическая регрессия
0.97
0.90
0.88
0.97
0.92
0.94
Градиентный бустинг
0.85
0.92
0.91
0.87
0.88
0.89
Случайный лес
0.97
0.90
0.88
0.97
0.92
0.94

Источник: Составлено авторами по результатам исследования

Диапазон значений метрики precision по классам составляет от 0.85 (класс 0 для модели градиентного бустинга) до 1 (класс 1 для модели наивного байесовского классификатора). Для метрики recall значения варьируются в интервале от 0.81 (класс 0 для метода опорных векторов) до 1 (класс 1 для модели наивного байесовского классификатора). Наименьшую вариацию значений имеет метрика f1-score: от 0.88 (класс 0 для метода опорных векторов, модели градиентного бустинга) до 0.96 (класс 1 для модели наивного байесовского классификатора).

Наибольшую точность классификации показал наивный байесовский классификатор. Высокие значения метрик подтверждают высокую прогностическую способность моделей классификации.

В рамках эмпирического исследования была построена рекуррентная нейронная сеть, для этого использовалась модель Sequential библиотеки TensorFlow.Keras. На рис. 4 представлен график зависимостей доли верных ответов на обучающих и проверочных наборах данных от эпох обучения.

Рисунок 4. График зависимостей доли верных ответов на обучающих

и проверочных наборах данных от эпох обучения

Источник: составлено авторами

Доля правильных ответов на тестовой выборке составила 73%. Невысокие результаты моделирования могут обоснованы тем, что количество записей в выборке данных оказалось недостаточным для построенной нейросетевой модели классификации. Нейросетевые модели, как правило, хорошо работают на больших выборках данных.

В таблице 4 приведены результаты сравнительного анализа качества построенных моделей бинарной классификации с использованием метрики accuracy (доля правильных ответов). Отметим, что данная метрика достаточно информативна для сбалансированных выборок, и, наоборот, может показывать высокие прогностические способности только для одного класса для случая несбалансированных выборок в результате переобучения модели.

Таблица 4

Сравнительный анализ метрик качества классификации

Алгоритм классификации
Доля правильно спрогнозированных
ответов (accuracy), %
Наивный байесовский классификатор
96%
Метод опорных векторов
90%
Логистическая регрессия
93%
Градиентный бустинг
89%
Случайный лес
93%
Рекуррентная нейронная сеть (LSTM)
73%
Источник: составлено авторами по результатам исследования

Наибольшую точность на рассматриваемой выборке данных, как отмечалось, показывает наивный байесовский классификатор, далее по прогностической точности следуют модели логистической регрессии и случайного леса.

Выводы

С целью обеспечения поддержки принятия управленческих решений в вопросах поиска механизмов повышения качества услуг руководители медицинских организаций, страховые медицинские организации заинтересованы в быстрой обработке отзывов с негативной эмоциональной окраской. В условиях наличия больших объемов информации процесс анализа эмоциональной окраски требует алгоритмизации и автоматизации.

Результаты проведенного авторами эмпирического исследования обосновывают возможность использования предложенной методологии в решении задачи сентимент-анализа отзывов пациентов с целью выявления, в первую очередь, отзывов с негативной эмоциональной окраской.

Разработанный алгоритм семантического моделирования может выступать в качестве математического обеспечения модуля независимой оценки качества и доступности медицинских услуг. Результаты моделирования позволят страховым медицинским организациям, руководителям медицинских организаций всех уровней оперативно реагировать на проблемы по оказанию качественной медицинской помощи, принимать эффективные управленческие решения.


Источники:

1. Авдеева Т.Г. Разработка системы анализа тональности сообщений в социальной сети Twitter // Инновации в науке. – 2017. – № 10(71). – c. 20-24.
2. Андрианов И.А., Майоров В.Д., Турдаков Д.Ю. Современные методы аспектно-ориентированного анализа эмоциональной окраски // Труды Института системного программирования РАН. – 2015. – № 5. – c. 5-22. – doi: 10.15514/ISPRAS-2015-27(5)-1.
3. Бабенко А.А. Маркетинговые исследования степени удовлетворенности потребителей платных медицинских услуг // Наука и бизнес: пути развития. – 2015. – № 11(53). – c. 34-36.
4. Берсенева Е.А., Мендель С.А., Савостина Е.А., Таирова Р.Т. Результаты анкетирования пациентов с целью оценки организации процессов в медицинском учреждении // Вестник современной клинической медицины. – 2018. – № 2. – c. 59-65. – doi: 10.20969/VSKM.2018.11(2).59-65.
5. Богданов А.Л., Дуля И.С. Сентимент-анализ коротких русскоязычных текстов в социальных медиа // Вестник Томского государственного университета. Экономика. – 2019. – № 47. – c. 220-241. – doi: 10.17223/19988648/47/17.
6. Бойко М.В. Исследование удовлетворенности потребителей в банковской сфере на основе анализа текстовых отзывов // Вестник Уфимского государственного авиационного технического университета. – 2014. – № 5(66). – c. 139-145.
7. Болтачева Е.Р., Никитина С.А. О некоторых подходах к решению задачи классификации текстов по тональности на примере анализа англоязычных отзывов // Вестник кибернетики. – 2022. – № 2(46). – c. 14-19. – doi: 10.34822/1999-7604-2022-2-14-19.
8. Брунова Е.Г., Бидуля Ю.В. Клиент всегда прав: анализ тональности в отзывах о качестве банковского обслуживания // Вестник Тюменского государственного университета. Гуманитарные исследования. Humanitates. – 2017. – № 1. – c. 72-89. – doi: 10.21684/2411-197X-2017-3-1-72-89.
9. Васильев В.Г., Кривенко М.П. Методы автоматизированной обработки текстов. - М.: ИПИ РАН, 2008. – 305 c.
10. Воробьева А.А., Гафарова Я.К., Самоследов Г.А. Исследование возможности снижения репутационных рисков банковских организаций на основе анализа тональности отзывов на русском языке // Научно-технический вестник Поволжья. – 2021. – № 4. – c. 123-125.
11. Гудименко Г.В., Кондрашова Р.А. Удовлетворенность медицинскими услугами как фактор конкурентоспособности региональных учреждений здравоохранения // Казанский медицинский журнал. – 2017. – № 2. – c. 251-256. – doi: 10.17750/KMJ2017-251.
12. Ермаков П.Д., Федянин Р.В. Исследование методов машинного обучения в задаче автоматического определения тональности текстов на естественном языке // Новые информационные технологии в автоматизированных системах. – 2015. – № 18. – c. 600-615.
13. Константинов А.А., Мошкин В.С. Разработка подхода к сентимент-анализу текстовых ресурсов социальных сетей // Вестник Ульяновского государственного технического университета. – 2021. – № 3(95). – c. 40-44.
14. Котельников Е.В., Клековкина М.В. Автоматический анализ тональности текстов на основе методов машинного обучения // Компьютерная лингвистика и интеллектуальные технологии: Труды XVIII Международной конференции «Диалог 2012»: в 2-х томах. Том Выпуск 11 (18), Том 2. Бекасово, 2012. – c. 27-36.
15. Лунева Е.Е., Ефремов А.А., Банокин П.И. Автоматизированная оценка эмоций пользователей социальных сетей на основе нечеткой логики // Экономика, статистика и информатика. Вестник УМО. – 2015. – № 3. – c. 249-254.
16. Посевкин Р.В., Бессмертный И.А. Применение сентимент-анализа текстов для оценки общественного мнения // Научно-технический вестник информационных технологий, механики и оптики. – 2015. – № 1. – c. 169-171. – doi: 10.17586/2226-1494-2015-15-1-169-171.
17. Русских Т.Н. Математическое обеспечение мониторинга удовлетворенности потребителей качеством и доступностью медицинских услуг в регионе. / Монография. - Орел: Картуш, 2018. – 120 c.
18. Рязанова Н.Ю., Сперцян К.М. Сравнительный анализ методов определения эмоциональной окраски сообщений в социальных сетях с применением обучения с учителем // Новые информационные технологии в автоматизированных системах. – 2018. – № 21. – c. 417-423.
19. Садовой М.А., Кобякова О.С., Деев И.А., Куликов Е.С., Табакаев Н.А., Тюфилин Д.С., Воробъева О.О. Удовлетворенность качеством медицинской помощи: «всем не угодишь» или «пациент всегда прав»? // Бюллетень сибирской медицины. – 2017. – № 1. – c. 152-161. – doi: 10.20538/1682-0363-2017-1-152-161.
20. Сайт «Продоктров». [Электронный ресурс]. URL: https://prodoctorov.ru/ (дата обращения: 20.04.2023).
21. Самигулин Т.Р., Джурабаев А.Э.У. Анализ тональности текста методами машинного обучения // Научный результат. Информационные технологии. – 2021. – № 1. – c. 55-63. – doi: 10.18413/2518-1092-2021-6-1-0-7.
22. Санина Н.П., Гуров А.Н., Давронов И.В. Анализ причин неудовлетворенности пациентов медицинской помощью на основе обращений граждан и независимой оценки качества оказания услуг медицинскими организациями // Проблемы социальной гигиены, здравоохранения и истории медицины. – 2019. – № 1. – c. 31-35. – doi: 10.32687/0869-866X-2019-27-1-31-35.
23. Тутубалина Е.В., Иванов В.В., Загулова М., Мингазов Н., Алимова И., Малых В. Тестирование методов анализа тональности текста, основанных на словарях // Электронные библиотеки. – 2015. – № 3-4. – c. 138-162.
24. Фадеева А.А., Сиякина В.В., Салахутдинов Э.Р. Применение искусственных нейронных сетей для анализа тональности текста // Социально-экономические и технические системы: исследование, проектирование, оптимизация. – 2020. – № 1(84). – c. 164-171.
25. Шимохин А.В. Семантический анализ отзывов о поставщиках на основе применения нейросетевой технологии // Фундаментальные исследования. – 2021. – № 5. – c. 117-121. – doi: 10.17513/fr.43048.
26. Юсупова Н.И., Богданова Д.Р., Бойко М.В. Алгоритмическое и программное обеспечение для анализа тональности текстовых сообщений с использованием машинного обучения // Вестник Уфимского государственного авиационного технического университета. – 2012. – № 6(51). – c. 91-99.

Страница обновлена: 25.01.2024 в 14:45:31