Методы интеллектуального анализа данных

На первом этапе KDD проводятся предварительное осмысление задачи и определение совокупности данных, на которых будет строиться последующий анализ, а также выборка данных из источника (источников).
На втором этапе осуществляется предобработка данных, включающая операции очистки данных (заполнение пропусков, устранение шумов, аномалий и противоречий), обогащения данных путем добавления полезной для дальнейшего исследования информации (справочников, словарей и т.п.), понижения размерности пространства признаков. Цель этапа предобработки — подготовка качественных данных, корректных с точки зрения используемых методов Data Mining. Как показывает практика, в бизнес-задачах этот этап является наиболее трудоемким и занимает 80—90% времени исследователя от общего времени решения задачи.
На третьем этапе выполняется трансформация предобрабо- танных данных. Данные преобразуются в соответствии с требованиями дальнейшего анализа. Так, могут потребоваться приведение типов, преобразование даты, приведение к «скользящему окну», нормализация данных. Например, для осуществления прогнозирования необходимо преобразование к «скользящему окну», для кластер-анализа данные следует нормализовать.
На четвертом этапе к предобработанным и трансформированным данным применяются методы Data Mining, строятся и апробируются информационные модели, шаблоны, служащие для нахождения знаний.
На заключительном, пятом, этапе проводятся интерпретация человеком обнаруженных моделей и шаблонов и применение полученных знаний в бизнес-приложениях.
Таким образом, методология KDD определяет пять основных процедур, комбинация которых и составляет процесс анализа. К этим процедурам относятся операции выборки данных, предобработки данных, трансформации данных, построения моделей (Data Mining) и интерпретации полученных результатов (рис. 7.14).

Рис. 7.14. Процесс обнаружения знаний в базах данных¹
Важность методологии KDD заключается в возможности тиражирования полученных в результате ее применения знаний, так как разработанные экспертами и аналитиками технологии получения знаний могут быть автоматизированы и внедрены в рамках организации в бизнес-процессы принятия решений. Тем самым сотрудники организации, не являющиеся ни экспертами, ни специалистами в области анализа данных, могут в своей повседневной деятельности применять формализованные подобным образом знания.
Методы Data Mining широко применяются в таких сферах бизнеса, как банковское дело, финансы, страхование, розничная торговля, телекоммуникации, электронная коммерция, маркетинг, фондовый рынок и др. Так, в банковской сфере Data Mining используется в системах кредитования (задача классификации), сегментации клиентов (задача кластеризации), управления ликвидностью банка (задача прогнозирования), выявления мошенничества с кредитными карточками (отклонение от шаблона). В электронной коммерции методы Data Mining используются как в традиционных областях анализа продаж и покупателей, так и для анализа поведения посетителей веб-сайтов. В последнем случае технология Data Mining тесно связана с технологией Web Mining, рассматриваемой далее

URL: http://blog.bosch-si.com/categories/technology/2011/11/large-scale- data-analysis-and-predictive-modeling-in-data-mining/ (дата обращения:

02.12.2016).
.

• 
  [1] Real-Time Enterprise Stories. Real Time Research REPORTS. SAP October2014. URL: http://tachyontech.com/resources/sap-hana-real-time-enterprise-stories/ (дата обращения: 22.12.2016).
  
• 
  [2] См.: Гимранов Р.Д., Лгиевич В.Л. Обеспечение достоверной информациив информационной системе крупного предприятия на основе архитектурного подхода // Нефтяное хозяйство. 2013. № 4. С. 28—32.
  
• 
  [3] Цит. по: Паклин Н.Б., Орешков В. И. Бизнес-аналитика: отданных к знаниям.С. 42.
  
• 
  [4] См.: Fayyad U. From Data Mining to Knowledge Discovery: An Overview. URL:http://www.kdnuggets.com/gpspubs/aimag-kdd-overview-1996-Fayyad.pdf (датаобращения: 22.12.2016).