Интеллектуальная система поддержки принятия решений для формирования схем лечения на основе методов машинного обучения с подкреплением


Download 1.07 Mb.
Pdf ko'rish
bet10/11
Sana14.04.2023
Hajmi1.07 Mb.
#1357560
TuriАвтореферат
1   2   3   4   5   6   7   8   9   10   11
Bog'liq
autoref-intellektualnaya-sistema-podderzhki-prinyatiya-reshenii-dlya-formirovaniya-skhem-lecheniya

Четвертая глава посвящена разработке СППР для автоматизированного 
динамического формирования и корректировки стратегий лечения и апробации 
разработанных алгоритмов на ее основе.
Апробация алгоритмов производилась на основе данных электронных ме-
дицинских карт пациентов с атеросклерозом. Конкретизируем ключевые поня-
тия модели обучения с подкреплением при решении задачи автоматизирован-
ного формирования схем лечения пациентов, госпитализированных с атероскле-
розом.
− Эпизод лечения представляет собой историю госпитализации пациента, 
в течение периода которой фиксируются измерения показателей пациентов и 
производится назначение лечения (лекарственных препаратов). Исходный набор 
содержит 1470 эпизодов лечения, среди которых была выделена обучающая 
часть ~67% (945 эпизодов) для тренировки алгоритма, тестовая часть ~33% (466 
эпизодов) для валидации алгоритма. 
Состояния 𝑆: |𝑆| = 𝑁, где 𝑁 = 𝐾 + 4 (𝐾 нетерминальных, 4 терминаль-
ных). При этом 𝐾 = 20 и 𝐾 = 45 – найденное оптимальное число кластеров для 
разбиения методами k-медоидов и k-средних, соответственно. Основные (нетер-
минальные) состояния соответствуют кластерам состояний здоровья пациентов, 
терминальные состояния соответствуют исходу лечения (выписке, выписке со 
специализированным домашним лечением, перевод пациента в другое отделение 
с целью специализированного ухода, летальный исход). 
Действия 𝐴(𝑆) - набор назначаемых пациентам медицинских предписа-
ний в состоянии 𝑆, являющихся множеством наиболее частых комбинаций пре-
паратов, применяемых в терапии атеросклероза.
Вознаграждения 𝑅−1 ≤ 𝑅 ≤ 0 в нетерминальных состояниях (соответ-
ственно степени тяжести состояния), 𝑅 = 2 в случае выписки пациента, 𝑅 = −2 
в случае летального исхода, 𝑅 = 0.5 в случае выписки со специализированным 
лечением, 𝑅 = 0 в случае перевода в отделение специализированного ухода. 
В таблице 2 приведен фрагмент таблицы, содержащей вероятности пере-
ходов, вычисленные на основе исходных данных (для 5 состояний и 16 возмож-
ных вариантов лечения, сформированных на основе анализа электронных меди-
цинских карт). 
Таблица 2. Вероятности переходов в кластеры состояний при выборе действий. 
Состояние\ 
Действие 









10 
11 
12 
13 
14 
15 
16 

0.03 0.00 0.01 0.11 0.12 0.45 0.00 0.05 0.00 0.03 0.01 0.05 0.03 0.01 0.00 0.08 

0.06 0.01 0.02 0.13 0.17 0.25 0.00 0.05 0.02 0.01 0.12 0.06 0.05 0.00 0.00 0.08 

0.15 0.03 0.04 0.15 0.04 0.27 0.00 0.03 0.01 0.01 0.06 0.08 0.03 0.02 0.02 0.06 

0.04 0.03 0.04 0.05 0.04 0.48 0.02 0.08 0.01 0.01 0.06 0.03 0.04 0.03 0.00 0.06 

0.18 0.05 0.02 0.07 0.16 0.20 0.00 0.02 0.00 0.05 0.07 0.07 0.05 0.00 0.05 0.02 
Вычислительный эксперимент данного исследования предполагал не-
сколько этапов: 
1. 
Выполнить кластерное разбиение на основе измерений показателей 
здоровья пациента с помощью как базового метода k-средних, так и 
усовершенствованного алгоритма k-медоидов. 


16 
2. 
С помощью метода обучения с подкреплением построить 
оптимальные стратегии на множествах состояний, сформированных в ходе 
кластеризации, и вычислить их метрики точности. 
3. 
Выбрать в качестве оптимальной стратегию с наилучшими 
метриками качества. 
В таблице 3 приведены результаты вычислительного эксперимента, в рам-
ках которого были получены метрики качества исследуемых стратегий, постро-
енных на наборах состояний, сформированных с помощью алгоритмов k-
средних и k-медоидов. Согласно таблице 3, стратегия, описанная множеством 
состояний, полученных методом k-средних, превосходит экспертную стратегию 
только при значениях коэффициента дисконтирования, меньших, чем 0.6, т.е. та-
кая стратегия эффективнее экспертной только в краткосрочной перспективе. При 
этом, алгоритм k-медоидов позволил провести конструирование состояний, 
обеспечивая как краткосрочную, так и долгосрочную эффективность предлагае-
мой стратегии, поэтому данный метод был выбран в качестве результирующего. 
Таблица 3. Сравнение экспертных и найденных стратегий. 
Параметр 
дисконта 
Оценка вы-
борки по зна-
чимости(k-
медоидов) 
Среднее накопленное 
вознаграждение экс-
пертной стратегии (k-
медоидов) 
Оценка вы-
борки по зна-
чимости (k-
средних) 
Среднее накопленное воз-
награждение экспертной 
стратегии (k-средних) 
0.9 
0.329 
-0.101 
0.082 
0.3 
0.8 
0.329 
-0.056 
0.142 
0.262 
0.7 
0.354 
-0.03 
0.122 
0.231 
0.6 
0.351 
-0.011 
0.134 
0.208 
0.5 
0.424 
0.002 
0.291 
0.191 
0.4 
0.423 
0.013 
0.291 
0.178 
0.3 
0.423 
0.023 
0.332 
0.168 
0.2 
0.423 
0.031 
0.378 
0.160 
0.1 
0.423 
0.038 
0.312 
0.154 
На рис. 4 приведена визуализация полученного кластерного разбиения 
данных с помощью метода k-медоидов, построенная с использованием метода 
понижения размерности t-SNE.
Рис. 4. Визуализация результатов кластерного анализа. 


17 
На рис. 5 приведены графики оценки оптимальной теоретической и факти-
ческой стратегий, свидетельствующие о том, что была получена оптимальная 
стратегия, превосходящая по качеству экспертную (фактическую) стратегию, по-
скольку теоретическая функция полезности 𝑉
𝜋
(𝑠) > 𝑉
𝜋
̃
(𝑠) ∀𝑠 ∈ 𝑆. 
Рис. 5. Значения функций полезности оптимальной и фактической стратегии. 
Разработанная СППР была включена в состав интеллектуальной информа-
ционной системы для диагностики и лечения атеросклероза, представленной на 
рис. 6. С помощью данной системы на основе модели обучения с подкреплением 
производится персонифицированное формирование динамических стратегий ле-
чения данного заболевания.
Рис. 6. Структура медицинской информационной системы.


18 

Download 1.07 Mb.

Do'stlaringiz bilan baham:
1   2   3   4   5   6   7   8   9   10   11




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2024
ma'muriyatiga murojaat qiling