Представлена в редакцию

3.2. Метрика точности 
Для того чтобы определить количественное значение точности алгоритма использу-
ются различные метрики [21]. Перед переходом к описанию метрик введем концепцию 
для описания этих метрик в терминах ошибок классификации – матрицу ошибок [23]. Ес-
ли рассматривать в терминах бинарной классификации, то матрица ошибок определяется 
следующим образом. 
Пусть дана выборка
, метки класса
, и классифи-
катор , который предсказывает к какому из классов относится тот или иной элемент вы-
борки , где количество признаков в выборке, размер выборки. Матрицей ошибок 
для такого классификатора называется следующая матрица:
(5) 
где
, , 
операция эквиваленции, а суммирование ведется в кольце целых чисел. 
Каждый элемент матрицы имеет следующие названия: 

. Число объектов положительного класса, идентифици-
руемых как объекты положительного класса. В контексте данной работы под объ-
ектами положительного класса будут пониматься боты, а под объектами отрица-
тельного класса обычные пользователи; 

. Число объектов отрицательного класса, идентифици-
руемых как объекты отрицательного класса; 

---

Машиностроение и компьютерные технологии
 
32 

. Число объектов отрицательного класса, идентифици-
руемых как объекты положительного класса; 

. Число объектов положительного класса, идентифици-
руемых как объекты отрицательного класса. 
После введения необходимых обозначений приведем описание используемых мет-
рик и их формулы. 
Метрика полнота (recall) показывает какую долю объектов положительного класса 
из всех объектов положительного класса нашел алгоритм. Другими словами, данная мет-
рика демонстрирует способность алгоритма распознавать объекты положительного клас-
са. Данная метрика вычисляется по следующей формуле: 
(6) 
Метрика точность (precision) показывает какая доля объектов, названных положи-
тельными, является положительными. Данная метрика не позволяет записывать все объ-
екты в один класс при неравном распределении классов. Данная метрика вычисляется по 
следующей формуле: 
(7) 
Так как во время оптимизации гиперпараметров алгоритма используется одна 
метрика, то необходимо объединить метрики точность и полнота. Для этого была исполь-
зована
-мера, которая является среднегармоническим между точностью и полностой, и 
определяется по следующей формуле: 
(8)