Технология обработки больших данных (BigData)

MapReduce. Это модель распределенных вычислений, разработанная Google. Ее суть в том, что обработка больших объемов информации происходит на большом количестве серверов (узлов), которые образуют кластер. На каждом сервере производятся одинаковые элементарные задания по обработке, потом все результаты обработки сводят вместе. Если копнуть чуть глубже, мы увидим, что в основе технологии лежат две процедуры функционального программирования. Первая — map, она применяет нужную функцию к каждому элементу данных. Вторая — reduce, она объединяет результаты работы. Такой подход позволяет быстрее обрабатывать большие данные.
NoSQL — термин расшифровывается как Not Only SQL, «не только SQL». Это подход к реализации систем управления базами данных. В общих чертах — особенность в том, что для хранения информации в базах данных NoSQL не требуется заранее заданная схема данных. Это значит, что любые данные можно легко помещать в хранилище и быстро извлекать оттуда. Когда у вас большое количество разнородных данных, именно это и нужно.
Hadoop — инструмент для разработки решений, которые работают по модели MapReduce. По сути, это конструктор, из которого можно создавать хранилища данных под потребности бизнеса. Технология лежит в основе многих облачных решений для обработки больших данных. Например, сервис для анализа big data от Mail.ru Cloud Solutions построен на базе Hadoop, Spark и ClickHouse.
R. Язык программирования для работы с графикой и статистической обработки данных. Стандарт для создания аналитических и статистических программ, без которых по определению невозможен анализ big data. Еще аналитики часто используют языки Python, Scala, Java.
McKinsey также включает в этот список технологии Business Intelligence и реляционные системы управления базами данных с поддержкой языка SQL.


Сбор и хранение больших данных перед обработкой
Ресурсы, выдающие большие данные могут быть весьма разнообразны. Например:


интернет — социальные сети, блоки и сайты СМИ, интернет вещей (IoT) и т.п.;