Монография / Под ред. И. Ф. Кефели, Р. М. Юсупова. Ид «Петрополис»

Kotenko I., Chechulin A., Komashinsky D. Categorization of web pages for protection 
against inappropriate content in the Internet // International Journal of Internet Protocol 
Technology (JIPT), 2016. http://www.inderscience.com/info/ingeneral/forthcoming.
php?jcode=ijipt.
6 
Rapid Miner. URL: https://rapidminer.com/.

---

190
г
лава
5. з
ащита
от
нежелательной
и
вредоноСной
информации
в
глобальных
информационных
Сетях
И
нформацИонно
-
псИхологИческая
И
когнИтИвная
безопасность
по результатам классификации веб-страниц, отображаются затем в фор-
мате Microsoft Excel 
1
. На исходные данные, которые используются для 
обучения системы и проверки ее работы, накладывались следующие 
ограничения:
1) длина основного текста веб-страниц после процедуры очистки 
должна находиться в пределах от 500 до 5000 байт. Данное значение, 
установленное экспериментально, позволяет исключить из выбор-
ки сайты со слишком коротким содержимым (которое обычно 
не относится к категории, например, сообщение о необходимости 
включить JavaScript или обновить Flash Player), а также слишком 
большие по объему сайты (на которых будут встречаться слова 
из всех категорий, что снизит качество обучения);
2) в выборку включались только те веб-страницы, основной язык 
которых — английский. Подобное ограничение объясняется особен-
ностями лексического анализатора (стеммера) Портера 
2
, который 
лучше всего работает со словами английского языка.
В соответствии с введенными ограничениями были выделены 
два набора данных. Первый из них включал следующие категории: 
«Сайты для взрослых» (adult), «Алкоголь» (alcohol), «Сайты о меди-
цине» (medical) и «Сайты о религии» (religion). Во второй набор 
были добавлены «Онлайн-игры» (gamesonline), «Охота» (hunting) 
и «Музыка» (music). Все они могут использоваться в процессе защи-
ты несовершеннолетних от нежелательной информации и борьбы 
с распространением нелицензионного контента.
Помимо перечисленных сайтов, в каждом из наборов также присутст-
вовала дополнительно введенная категория, указывающая на неизвестный 
результат, получившая наименование «Unknown». Количество веб-страниц 
во всех наборах данных было взято одинаковым и равным 1200.
Результаты экспериментальной оценки предложенного подхода 
к проведению классификации веб-сайтов применительно к двум набо-
рам данных представлены на рис. 19–23. На рис. 19 приведена оценка 
по показателю «аккуратность». Из рисунка видно, что для обоих наборов 
данных предложенный подход показывает достаточно высокую «акку-
ратность». При экспериментах по первому набору она составляет 92,7%, 
по второму — 86,1%. Для второго набора эта величина оказалась меньше, 
1 
Kotenko I., et al. Analysis and Evaluation of Web Pages Classification Techniques for 
Inappropriate Content Blocking / I. Kotenko, A. Chechulin, A. Shorov, D. Komashinsky // 
Proc. of 14th Industrial Conf. on Data Mining (ICDM 2014). 2014. P. 39–54.
2 
Porter M. F. An algorithm for suffix stripping // Program. Vol. 14. No. 3. 1980. P. 130–137.

---

г
лава
5. з
ащита
от
нежелательной
и
вредоноСной
информации
в
глобальных
информационных
Сетях
191
р
аздел
II. и
нформационные
угрозы
и
информационно
-
ПСихологичеСкая
безоПаСноСть
в
глобальном
измерении
поскольку в нем присутствует большее количество категорий (7 против 
4), что затрудняет классификацию.
Рис. 19. Результаты экспериментальной оценки «аккуратности»
На рис. 20 и рис. 21 представлены экспериментальные оценки «аккурат-
ности» по каждому набору данных в разрезе различных анализируемых 
классификационных признаков. Из рисунков видно, что наибольшего 
значения «аккуратность» классификаторов достигает при анализе основ-
ного текста (81,7% и 73,0% для первого и второго набора соответственно). 
На втором месте оказался классификатор, ориентированный на анализ 
содержимого ссылок (70,7% и 58,6%).
Рис. 20. Оценка «аккуратности» на наборе 1

---

192
г
лава
5. з
ащита
от
нежелательной
и
вредоноСной
информации
в
глобальных
информационных
Сетях
И
нформацИонно
-
псИхологИческая
И
когнИтИвная
безопасность
Данные результаты показывают, что анализ специфики веб-докумен-
тов обладает достаточно высокой эффективностью. Интернет-ресурсы 
обычно связаны с другими сайтами похожей тематики, поэтому учет 
подобной специфики является именно тем фактором, который отлича-
ет классификацию веб-страниц от классификации обычных текстовых 
документов. Другие признаки, обладающие высокими значениями акку-
ратности, — это текст из тэга