Аналитика больших данных – жизненный цикл данных

Жизненный цикл больших данных
В сегодняшнем контексте больших данных предыдущие подходы являются либо неполными, либо неоптимальными. Например, методология SEMMA полностью игнорирует сбор данных и предварительную обработку различных источников данных. Эти этапы обычно составляют большую часть работы в успешном проекте больших данных.
Большой цикл анализа данных может быть описан следующим этапом –

• 
  Определение бизнес-проблемы
  
• 
  Исследование
  
• 
  Оценка человеческих ресурсов
  
• 
  Получение данных
  
• 
  Data Munging
  
• 
  Хранилище данных
  
• 
  Исследовательский анализ данных
  
• 
  Подготовка данных для моделирования и оценки
  
• 
  моделирование
  
• 
  Реализация
  

В этом разделе мы расскажем о каждом из этих этапов жизненного цикла больших данных.
Определение бизнес-проблемы
Это обычное явление в традиционном жизненном цикле BI и аналитики больших данных. Обычно это нетривиальный этап проекта больших данных, чтобы определить проблему и правильно оценить, какой потенциальный выигрыш он может принести для организации. Кажется очевидным упомянуть об этом, но необходимо оценить, каковы ожидаемые выгоды и затраты по проекту.
Исследование
Проанализируйте, что другие компании сделали в такой же ситуации. Это включает в себя поиск решений, которые являются разумными для вашей компании, даже если это включает в себя адаптацию других решений к ресурсам и требованиям, которые есть у вашей компании. На этом этапе следует определить методологию будущих этапов.
Оценка человеческих ресурсов
Как только проблема будет определена, целесообразно продолжить анализ того, сможет ли текущий персонал успешно завершить проект. Традиционные команды BI могут быть не в состоянии предоставить оптимальное решение для всех этапов, поэтому следует рассмотреть это перед началом проекта, если есть необходимость передать часть проекта на аутсорсинг или нанять больше людей.