Интеллектуальная система поддержки принятия решений для формирования схем лечения на основе методов машинного обучения с подкреплением

Структура и объем работы. Диссертация состоит ᴎз введения, 4 глав ᴄ 

---

7 
выводами, заключения, приложения ᴎ ᴄпᴎᴄка литературы ᴎз 101 наименования. 
Основная часть работы изложена на 136 страницах, содержит 43 рисунка ᴎ 22 
таблицы. 
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ 
Во введении обосновывается актуальность темы, формулируется цель и 
ставятся задачи исследования. 
В первой главе представлены результаты исследования и обоснования ал-
горитмического инструментария для решения задачи назначения оптимальных 
схем лечения с использованием обучения с подкреплением. 
Задачи по улучшению качества оказываемой медицинской помощи приоб-
рели большое значение для систем здравоохранения: особую значимость носит 
вопрос повышения эффективности применяемых стратегий лечения. В совре-
менных научных исследованиях, посвященных внедрению методов искусствен-
ного интеллекта в медицине, подтверждается необходимость разработки и улуч-
шения автоматизированных систем поддержки принятия решений, а в качестве 
основного недостатка существующих систем отмечается отсутствие персонали-
зации и учета индивидуальных состояний пациентов. Перспективным подходом, 
с помощью которого возможно устранить этот недостаток, является машинное 
обучение с подкреплением. Данный подход уже используется для построения 
моделей динамического назначения и корректировки лечения некоторых заболе-
ваний, например, диабета (2017, E. Yom-Tov и др.) или сепсиса (2018, M. Ko-
morowski и др.). Однако в большинстве исследований в качестве цели выбира-
ется единственная характеристика — например, уровень глюкозы при диабете 
или результаты выживаемости пациентов при сепсисе, т.е. к настоящему вре-
мени не представлены результаты системного подхода обучения с подкрепле-
нием, рассматривающего состояние пациента как совокупность взаимосвязан-
ных показателей. Отсутствие алгоритмов отбора признаков, мониторинга состо-
яний и конструирования вознаграждений, недостаток автоматизации формиро-
вания клинических рекомендаций являются существенными ограничениями к 
разработке полноценных МИС на основе обучения с подкреплением.
Во второй главе разрабатывается алгоритмический инструментарий, поз-
воляющий обеспечить предварительный отбор значимых признаков и поиск за-
кономерностей методами обработки естественного языка. 
С учетом выявленных открытых вопросов, формальная постановка задачи 
формирования схем лечения на основе методов машинного обучения с подкреп-
лением может быть сформулирована следующим образом.
1. Дано: набор данных 
𝑋 электронных медицинских карт, содержащий 
векторы измерений показателей пациентов 𝑥̃
𝑖
= (𝑥̃
𝑖1
, . . . , 𝑥̃
𝑖𝑚
) в течение госпита-
лизации, где каждому вектору измерения соответствует назначаемый вариант ле-
чения 𝑎
𝑖
∈ 𝐴, 𝑖 = 1, 𝑇
𝑗
, где 𝑇
𝑗
-число шагов эпизода лечения, |
𝐷|- число эпизодов 
лечения, 𝑚 - число медицинских признаков, по которым проводятся измерения.
2. Требуется: 
a) сформировать множество признаков 
𝑋
∗
= 𝑋′ ∪ 𝑋′′, 𝑋′, 𝑋′′ ∈ 𝑋, где 𝑋′ - 
наиболее значимые признаки, полученных на основе интерпретативного анализа 

---

8 
набора 𝑋, 𝑋′′ - набор сопутствующих клинических состояний, извлеченный из Х; 
b) разработать метод выявления закономерностей 
𝑅(𝐻
1
, 𝐻
2
)
между клини-
ческими сущностями 𝐻
1
и 
𝐻
2
методами обработки естественного языка, где 
𝐻
1
, 𝐻
2
∈ 𝐻, 𝐻 = {𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡, 𝑇𝑒𝑠𝑡, 𝑃𝑟𝑜𝑏𝑙𝑒𝑚}, 𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 - метод лечения, 𝑇𝑒𝑠𝑡 - 
метод диагностики, 𝑃𝑟𝑜𝑏𝑙𝑒𝑚 - диагноз, R - эффект от взаимосвязи между сущно-
стями (улучшение или ухудшение состояния, рекомендация к назначению) для 
последующего применения в модели назначения лечения; 
c) разработать способ мониторинга состояния пациента 
𝑠 ∈ 𝑆 методами 
кластерного анализа, где номер кластера с ∈ С соответствует номеру состояния, 
а также исследовать эффективные способы оценки состояния без учета полного 
множества признаков 𝑥 ∈ 𝑋
∗
на основе параметрических маркеров 
𝑥̃ ∈ 𝑋:
̃ 𝑥̃ =
𝑥̃(𝛥); 
d) разработать стратегию 
𝜋(𝑎|𝑠) : 𝑆 × 𝐴 → ℝ ∈ [0,1] назначения лечения 𝑎 
в состоянии 𝑠 с помощью агента обучения с подкреплением, улучшающего экс-
пертную стратегию назначения лечения путем обучения на основе вознагражде-
ний 𝑟(𝑠): 𝑟 ∈ 𝑆 → ℝ, которые соответствует полученному эффекту от назначен-
ного лечения. 
Исходный набор данных 
𝑋 = 𝑋
𝐹
∪ 𝑋
𝑆
был сформирован на основе набора 
однократных клинических измерений 
𝑋
𝐹
: 𝑥
𝐹
= (𝑥
1
, . . . , 𝑥
𝑚
), 𝑥
𝐹
∈ 𝑋
𝐹
, а также на 
основе набора последовательных измерений 
𝑋
𝑆
: 𝑥
𝑠
= (𝑥
𝑖1
, … , 𝑥
𝑖𝑚′
)
𝑖=1
𝐿
, 𝑥
𝑠
∈ 𝑋
𝑆
, 
где 
𝑚, 𝑚′ - число показателей, 𝐿 - количество измерений показателей
. Использо-
вание данных однократных и последовательных измерений обусловлено тем, что 
специфика некоторых признаков позволяет проводить только однократные из-
мерения значений, для некоторых показателей измерения могут проводиться 
многократно и необходимо оценить значимость этого показателя в динамике. В 
связи с этим, используемый формат данных требует разработки моделей различ-
ной архитектуры, что отражено в процедуре отбора входных признаков на ос-
нове нейросетевых классификаторов, которая включает следующие шаги. 
1. Построение нейросетевых классификаторов для отбора признаков: 
a) на однократных измерениях данных с помощью полносвязной нейрон-
ной сети MLP, принимающей на вход векторы данных 
𝑥 ∈ 𝑋
𝐹
;
b) на последовательных данных 
𝑥 ∈ 𝑋
𝑆
с помощью рекуррентной (RNN) 
нейронной сети LSTM (Long Short-term memory). Особенностью LSTM является 
наличие механизма памяти: сеть данной архитектуры обрабатывает вход и выход 
с предыдущего шага обработки последовательности данных. 
2. Оптимизация значений набора 
𝜃
гиперпараметров сетей MLP и LSTM: 
размер пакета входных данных (batch_size); коэффициент прореживания 
(dropout); число эпох обучения (nb_epoch); метод оптимизации (optimizer):
𝜃
𝐹
=
𝑎𝑟𝑔𝑚𝑎𝑥
𝜃
𝐴 𝑈𝐶(𝑀𝐿𝑃(𝜃)),
𝜃
𝑆
= 𝑎𝑟𝑔𝑚𝑎𝑥
𝜃
𝐴 𝑈𝐶(𝐿𝑆𝑇𝑀(𝜃)),
где AUC – метрика 
качества классификации ROC AUC. 
3. Формирование набора наиболее значимых признаков 
𝑋′ = 𝑋′
1
∪ 𝑋′
2
, где 
𝑥′
1
∈ 𝑋′
1
и 
𝑥′
2
∈ 𝑋′
2
вносят максимальный вклад в прогнозы классификаторов 
𝑀𝐿𝑃(𝜃
𝐹
) и 𝐿𝑆𝑇𝑀(𝜃
𝑆
), соответственно. Вклад признаков вычисляется с помощью 
метода SHAP (1): 

---

9 
𝜑
𝑖
= ∑
𝑘!(𝑛−𝑘−1)!
𝑛!
(𝑓(𝑆 ∪ {𝑖}) − 𝑓(𝑆))
𝑆⊆{1,2,....,𝑛}/{𝑖}
, 
(1) 
где 𝑓 соответствует ответу (прогнозу) модели, 𝑛 - число признаков, 𝑆 - подмно-
жество признаков, 𝑘 - размерность подмножества признаков 𝑆, 𝜑
𝑖
- вклад в про-
гноз i-го признака. 
Для эффективного отбора диагностических признаков необходимо учесть, 
что диагностические признаки не являются независимыми показателями, многие 
из них связаны закономерностями и ассоциациями (коморбидными состояни-
ями). Такие состояния необходимо включить в ряд обучающих входных показа-
телей. Выявить значимые взаимосвязи и закономерности для формирования ре-
презентативного обучающего набора позволяет инструмент ассоциативных пра-
вил.
В качестве входных данных для реализации данного инструмента исполь-
зуется обучающая выборка клинических состояний: 𝐷 = (𝑑
𝑖1
, . . . , 𝑑
𝑖𝑚
)
𝑖=1
𝑁
: 
𝑑
𝑖𝑗
∈
{0,1}, где m – число клинических признаков, 𝑁 – число записей. 
Ассоциативным правилом называется импликация 𝑑
𝑖
⇒ 𝑑
𝑘
, формализую-
щая закономерность: если 𝑑
𝑖
= 1, то 𝑑
𝑘
= 1 с некоторой степенью уверенности 
𝛽(𝑑
𝑖
, 𝑑
𝑘
), 
где 
𝛽(𝑑
𝑖
, 𝑑
𝑘
) − одна 
из 
метрик: 
𝑆𝑢𝑝𝑝𝑜𝑟𝑡(𝑑
𝑖
, 𝑑
𝑘
) =
|𝑑
𝑖
∪𝑑
𝑘
|
|𝐷|
,
𝐿𝑖𝑓𝑡(𝑑
𝑖
, 𝑑
𝑘
) =
𝑆𝑢𝑝𝑝𝑜𝑟𝑡(𝑑
𝑖
,𝑑
𝑘
)
𝑆𝑢𝑝𝑝𝑜𝑟𝑡(𝑑
𝑖
)𝑆𝑢𝑝𝑝𝑜𝑟𝑡(𝑑
𝑘
)
, 
𝐶𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒(𝑑
𝑖
, 𝑑
𝑘
) =
𝑆𝑢𝑝𝑝𝑜𝑟𝑡(𝑑
𝑖
,𝑑
𝑘
)
𝑆𝑢𝑝𝑝𝑜𝑟𝑡(𝑑
𝑖
)
. 
Предлагаемый алгоритм отбора признаков позволяет выбрать 
𝑀 ∈ ℕ правил 
{𝑑
𝑖
𝑗
⇒ 𝑑
𝑘
𝑗
}
𝑗=1
𝑀
, для которых значения метрик 𝛽(𝑑
𝑖
𝑗
, 𝑑
𝑘
𝑗
) больше порогового зна-
чения 𝛽
∗
, и включить входящие в правила признаки 𝑑
𝑖
∗
в набор входных призна-
ков модели: 𝑋′′ =∪
𝑖
{𝑑
𝑖
∗
}. 
Для решения поставленной задачи назначения лечения необходимо также 
учитывать специфику основного источника данных, а именно – электронных ме-
дицинских карт, в которых клинические взаимосвязи, на основе которых форми-
руется обучающая выборка в модели назначения лечения, зачастую представ-
лены в виде неструктурированной текстовой информации.
Поиск клинических взаимосвязей методами обработки естественного 
языка представляет собой многоэтапную задачу, для решения которой в главе 2 
предложен алгоритм распознавания клинических сущностей, обладающий ря-
дом особенностей. 
1. В основе алгоритма распознавания именованных сущностей лежит мо-
дель гибридной рекуррентной нейросетевой архитектуры BiLSTM-CNN.
2. Особенностью алгоритма является способность обучаться на признаках-
словах совместно с символьными признаками (аббревиатуры, сокращения).
3. Компонент сверточной нейронной сети CNN предназначен для выделе-
ния сущностей из текстовой информации.
4. Алгоритм распознавания клинических сущностей нацелен на распозна-
вание сущностей видов 𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡, 𝑇𝑒𝑠𝑡, 𝑃𝑟𝑜𝑏𝑙𝑒𝑚 (диагноз или симптом, ме-
тод лечения, метод диагностики). Если сущность в тексте состоит из нескольких 
слов, каждому из отдельных слов назначается тэг «B» (начало) или «I» (слово 
внутри составной сущности) (рис. 1). 

---

10 
Рис. 1. Сеть Bi-LSTM-CNN для распознавания клинических сущностей. 
5. Важна не только идентификация клинических сущностей, но и анализ 
взаимосвязей между ними: 𝑅(𝐻
1
, 𝐻
2
), где 𝐻
1
, 𝐻
2
∈ {𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡, 𝑇𝑒𝑠𝑡, 𝑃𝑟𝑜𝑏𝑙𝑒𝑚}, 
R - эффект от взаимосвязи (изменение состояния, рекомендация по лечению). 
Рис. 2. Этапы автоматизированного анализа электронных медицинских карт. 

---

11 
Процесс поиска клинических взаимосвязей включает множество последо-
вательных этапов обработки естественного языка. На рис. 2 отражены этапы, со-
гласно которым в данной работе осуществляется поиск зависимостей и имено-
ванных клинических взаимосвязей для формирования примеров схем лечения.