Методические указания к лабораторным занятиям Интеллектуальные системы обработки информации и машинное обучение Ставрополь, 2017

Глава 4. ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ 
4.1. Технологии интеллектуального анализа данных 
Методы интеллектуального анализа данных. 
В настоящее время интенсивно разрабатывались методы 
автоматического извлечения знаний из накопленных фактов, 
хранящихся в различных базах данных. Для анализа информации, 
накопленной в современных базах данных, методы анализа должны 
быть эффективными, т.е. простыми в использовании, обладать 
значительным 
уровнем 
масштабируемости 
и 
определенным 
автоматизмом. Это концепция, зародившаяся в 1989 г., лежит в основе 
двух современных технологий анализа данных Data Mining и KDD – 
Knowledge Discovery in Databases, которые на русский язык 
переводятся как «добыча (раскопка) данных» и « «извлечение знаний 
из баз данных». 
Knowledge Discovery in Database(KDD) — процесс получения из 
данных знаний в виде зависимостей, правил и моделей позволяющих 
моделирование и прогнозирование различных процессов. 
В отечественной 
литературе 
применяется 
термин 
«Интеллектуальный анализ данных» (ИАД). В этой области 
необходимо 
отметить 
пионерские 
работы 
отечественных 
исследователей, в частности, М.М. Бонгарда (программа «Кора»), В.К. 
Финна (JSM-метод), А.Г. Ивахненко (МГУА), выполнивших свои 
работы задолго до того, как в этой области на Западе возник 
настоящий бум. 
ИАД— это процесс поддержки принятия решений, основанный 
на поиске в данных скрытых закономерностей, 
12
1 

---

то есть извлечения информации, которая может быть 
охарактеризована как знания. 
Интеллектуальный 
анализ 
данных 
является 
кратким 
обозначением довольно широкого спектра процедур автоматического 
анализа данных высокоинтеллектуальными технологиями. 
В общем случае процесс ИАД состоит из трех стадий: 
выявление закономерностей (свободный поиск); 
использование выявленных закономерностей для 
предсказания неизвестных значений (прогностическое 
моделирование); анализ исключений, 
предназначенный для выявления и 
толкования аномалий в найденных закономерностях. 
Причины распространения KDD и Data Mining. 
В KDD и Data Mining нет ничего принципиально нового. 
Специалисты в различных областях человеческого знания решали 
подобные задачи на протяжении нескольких десятилетий. Однако в 
последние годы интеллектуальная составляющая бизнеса стала 
возрастать, и для распространения технологий KDD и Data Mining 
были созданы все необходимые и достаточные условия. 
Развитие 
технологий 
автоматизированной 
обработки 
информации создало основу для учета сколь угодно большого 
количества факторов и объема данных. 
Возникла 
острая 
нехватка 
высококвалифицированных 
специалистов в области статистики и анализа данных. Поэтому 
потребовались технологии обработки и анализа, доступные для 
специалистов любого профиля за счет 
12
2 

---

применения методов визуализации и самообучающихся алгоритмов. 
Возникла объективная потребность в тиражировании знаний. 
Полученные в процессе KDD и Data Mining результаты являются 
формализованным описанием некоего процесса, а следовательно, 
поддаются автоматической обработке и повторному использованию 
на новых данных. 
На рынке появились программные продукты, поддерживающие 
технологии KDD и Data Mining, – аналитические платформы. С их 
помощью можно создавать полноценные аналитические решения и 
быстро получать первые результаты. 
Технология Knowledge Discovery in Databases описывает не 
конкретный 
алгоритм 
или 
математический 
аппарат, 
а 
последовательность действий, которую необходимо выполнить для 
построения модели с целю извлечения знания. Она не зависит от 
предметной области; это набор атомарных операций, комбинируя 
которые, можно получить нужное решение. 
KDD включает в себя этапы подготовки данных, предобработки 
(очистки) данных, трансформации данных, построения моделей 
(применения методов Data Mining) и интерпретации полученных 
результатов. Ядром этого процесса являются методы Data Mining, 
позволяющие обнаруживать закономерности и знания (рис.4.1). 
12
3 

---

Рис. 4.1. Этапы KDD. 
Кратко рассмотрим каждый этап.