Интеллектуальная система поддержки принятия решений для формирования схем лечения на основе методов машинного обучения с подкреплением
Download 1.07 Mb. Pdf ko'rish
|
autoref-intellektualnaya-sistema-podderzhki-prinyatiya-reshenii-dlya-formirovaniya-skhem-lecheniya
|
Четвертая глава посвящена разработке СППР для автоматизированного
динамического формирования и корректировки стратегий лечения и апробации разработанных алгоритмов на ее основе. Апробация алгоритмов производилась на основе данных электронных ме- дицинских карт пациентов с атеросклерозом. Конкретизируем ключевые поня- тия модели обучения с подкреплением при решении задачи автоматизирован- ного формирования схем лечения пациентов, госпитализированных с атероскле- розом. − Эпизод лечения представляет собой историю госпитализации пациента, в течение периода которой фиксируются измерения показателей пациентов и производится назначение лечения (лекарственных препаратов). Исходный набор содержит 1470 эпизодов лечения, среди которых была выделена обучающая часть ~67% (945 эпизодов) для тренировки алгоритма, тестовая часть ~33% (466 эпизодов) для валидации алгоритма. − Состояния 𝑆: |𝑆| = 𝑁, где 𝑁 = 𝐾 + 4 (𝐾 нетерминальных, 4 терминаль- ных). При этом 𝐾 = 20 и 𝐾 = 45 – найденное оптимальное число кластеров для разбиения методами k-медоидов и k-средних, соответственно. Основные (нетер- минальные) состояния соответствуют кластерам состояний здоровья пациентов, терминальные состояния соответствуют исходу лечения (выписке, выписке со специализированным домашним лечением, перевод пациента в другое отделение с целью специализированного ухода, летальный исход). − Действия 𝐴(𝑆) - набор назначаемых пациентам медицинских предписа- ний в состоянии 𝑆, являющихся множеством наиболее частых комбинаций пре- паратов, применяемых в терапии атеросклероза. − Вознаграждения 𝑅: −1 ≤ 𝑅 ≤ 0 в нетерминальных состояниях (соответ- ственно степени тяжести состояния), 𝑅 = 2 в случае выписки пациента, 𝑅 = −2 в случае летального исхода, 𝑅 = 0.5 в случае выписки со специализированным лечением, 𝑅 = 0 в случае перевода в отделение специализированного ухода. В таблице 2 приведен фрагмент таблицы, содержащей вероятности пере- ходов, вычисленные на основе исходных данных (для 5 состояний и 16 возмож- ных вариантов лечения, сформированных на основе анализа электронных меди- цинских карт). Таблица 2. Вероятности переходов в кластеры состояний при выборе действий. Состояние\ Действие 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 0.03 0.00 0.01 0.11 0.12 0.45 0.00 0.05 0.00 0.03 0.01 0.05 0.03 0.01 0.00 0.08 2 0.06 0.01 0.02 0.13 0.17 0.25 0.00 0.05 0.02 0.01 0.12 0.06 0.05 0.00 0.00 0.08 3 0.15 0.03 0.04 0.15 0.04 0.27 0.00 0.03 0.01 0.01 0.06 0.08 0.03 0.02 0.02 0.06 4 0.04 0.03 0.04 0.05 0.04 0.48 0.02 0.08 0.01 0.01 0.06 0.03 0.04 0.03 0.00 0.06 5 0.18 0.05 0.02 0.07 0.16 0.20 0.00 0.02 0.00 0.05 0.07 0.07 0.05 0.00 0.05 0.02 Вычислительный эксперимент данного исследования предполагал не- сколько этапов: 1. Выполнить кластерное разбиение на основе измерений показателей здоровья пациента с помощью как базового метода k-средних, так и усовершенствованного алгоритма k-медоидов. 16 2. С помощью метода обучения с подкреплением построить оптимальные стратегии на множествах состояний, сформированных в ходе кластеризации, и вычислить их метрики точности. 3. Выбрать в качестве оптимальной стратегию с наилучшими метриками качества. В таблице 3 приведены результаты вычислительного эксперимента, в рам- ках которого были получены метрики качества исследуемых стратегий, постро- енных на наборах состояний, сформированных с помощью алгоритмов k- средних и k-медоидов. Согласно таблице 3, стратегия, описанная множеством состояний, полученных методом k-средних, превосходит экспертную стратегию только при значениях коэффициента дисконтирования, меньших, чем 0.6, т.е. та- кая стратегия эффективнее экспертной только в краткосрочной перспективе. При этом, алгоритм k-медоидов позволил провести конструирование состояний, обеспечивая как краткосрочную, так и долгосрочную эффективность предлагае- мой стратегии, поэтому данный метод был выбран в качестве результирующего. Таблица 3. Сравнение экспертных и найденных стратегий. Параметр дисконта Оценка вы- борки по зна- чимости(k- медоидов) Среднее накопленное вознаграждение экс- пертной стратегии (k- медоидов) Оценка вы- борки по зна- чимости (k- средних) Среднее накопленное воз- награждение экспертной стратегии (k-средних) 0.9 0.329 -0.101 0.082 0.3 0.8 0.329 -0.056 0.142 0.262 0.7 0.354 -0.03 0.122 0.231 0.6 0.351 -0.011 0.134 0.208 0.5 0.424 0.002 0.291 0.191 0.4 0.423 0.013 0.291 0.178 0.3 0.423 0.023 0.332 0.168 0.2 0.423 0.031 0.378 0.160 0.1 0.423 0.038 0.312 0.154 На рис. 4 приведена визуализация полученного кластерного разбиения данных с помощью метода k-медоидов, построенная с использованием метода понижения размерности t-SNE. Рис. 4. Визуализация результатов кластерного анализа. 17 На рис. 5 приведены графики оценки оптимальной теоретической и факти- ческой стратегий, свидетельствующие о том, что была получена оптимальная стратегия, превосходящая по качеству экспертную (фактическую) стратегию, по- скольку теоретическая функция полезности 𝑉 𝜋 (𝑠) > 𝑉 𝜋 ̃ (𝑠) ∀𝑠 ∈ 𝑆. Рис. 5. Значения функций полезности оптимальной и фактической стратегии. Разработанная СППР была включена в состав интеллектуальной информа- ционной системы для диагностики и лечения атеросклероза, представленной на рис. 6. С помощью данной системы на основе модели обучения с подкреплением производится персонифицированное формирование динамических стратегий ле- чения данного заболевания. Рис. 6. Структура медицинской информационной системы. |
