Технологии обработки больших данных (Big Data)

Supervised learning. Набор основанных на технологиях машинного обучения методик, которые 
позволяют выявить функциональные взаимосвязи в анализируемых массивах данных.
Simulation. Моделирование поведения сложных систем часто используется для прогнозирования, 
предсказания и проработки различных сценариев при планировании.
Time series analysis. Набор заимствованных из статистики и цифровой обработки сигналов 
методов анализа повторяющихся с течением времени последовательностей данных. Одни из 
очевидных применений – отслеживание рынка ценных бумаг или заболеваемости пациентов.
Unsupervised learning. Набор основанных на технологиях машинного обучения методик, которые 
позволяют выявить скрытые функциональные взаимосвязи в анализируемых массивах данных. 
Имеет общие черты с Cluster Analysis.
Визуализация. Методы графического представления результатов анализа больших данных в виде 
диаграмм или анимированных изображений для упрощения интерпретации облегчения понимания 
полученных результатов.
Основная статья: Визуалиазация данных 
Наглядное представление результатов анализа больших данных имеет принципиальное значение 
для их интерпретации. Не секрет, что восприятие человека ограничено, и ученые продолжают 
вести исследования в области совершенствования современных методов представления данных в 
виде изображений, диаграмм или анимаций.
Аналитический инструментарий 
На 2011 год некоторые из перечисленных в предыдущем подразделе подходов или определенную 
их совокупность позволяют реализовать на практике аналитические движки для работы с 
большими данными. Из свободных или относительно недорогих открытых систем анализа Big 
Data можно порекомендовать: 

1010data;

Apache Chukwa;

Apache Hadoop;

Apache Hive;

Apache Pig!;

Jaspersoft;

LexisNexis Risk Solutions HPCC Systems;

MapReduce;

Revolution Analytics (на базе языка R для мат.статистики).
Особый интерес в этом списке представляет Apache Hadoop – ПО с открытым кодом, которое за 
последние пять лет испытано в качестве анализатора данных большинством трекеров акций. Как 
только Yahoo открыла код Hadoop сообществу с открытым кодом, в ИТ-индустрии 
незамедлительно появилось целое направление по созданию продуктов на базе Hadoop. 
Практически все современные средства анализа больших данных предоставляют средства 
интеграции с Hadoop. Их разработчиками выступают как стартапы, так и общеизвестные мировые 
компании.