Технологии обработки больших данных (Big Data)

Big Data≠Data Science 
 
 
Big Data – это:

ETL\ELT

Технологии хранения больших объемов, структурированных 
и не структурированных данных

Технологии обработки таких данных

Управление качеством данных

Технологии предоставления данных потребителю
Data Science – это:

Распознавание видео

Распознавание текстов

Распознавание речи

Построение рекомендательных моделей

Сегментация

Кластеризация и т.д.
 
 

---

Методики анализа больших данных 
 
 
Существует множество разнообразных методик анализа массивов данных, в основе 
которых лежит инструментарий, заимствованный из статистики и информатики (например, 
машинное обучение). Список не претендует на полноту, однако в нем отражены наиболее 
востребованные в различных отраслях подходы. При этом следует понимать, что исследователи 
продолжают работать над созданием новых методик и совершенствованием существующих. 
Кроме того, некоторые из перечисленных них методик вовсе не обязательно применимы 
исключительно к большим данным и могут с успехом использоваться для меньших по объему 
массивов (например, A/B-тестирование, регрессионный анализ). Безусловно, чем более объемный 
и диверсифицируемый массив подвергается анализу, тем более точные и релевантные данные 
удается получить на выходе.
A/B testing. Методика, в которой контрольная выборка поочередно сравнивается с другими. Тем 
самым удается выявить оптимальную комбинацию показателей для достижения, например, 
наилучшей ответной реакции потребителей на маркетинговое предложение. Большие данные 
позволяют провести огромное количество итераций и таким образом получить статистически 
достоверный результат.