Обобщенная архитектура систем хранения и анализа больших данных

разделения ресурсов», в которой данные и функции, необходимые для 
управления ими, находятся вместе на одном узле. В отличии от традиционной 
модели клиент-сервер, данные больше не передаются на монолитный сервер, 
где для их обработки применяются функции SQL. В инфраструктуру этого 
уровня встроена избыточность. 
Уровень безопасности (Security Layer). Поскольку анализ больших 
данных становится одной из главных задач для организаций, безопасность этих 
данных становится также главной задачей. Хранимые данные и результаты их 
обработки должны быть защищены как для соблюдения соответствующих 
требований, так и для защиты частной жизни человека. Поэтому с самого 
начала должны планироваться средства авторизации и аутентификации. 
Чтобы реализовать базовую основу безопасности, необходимо 
спроектировать определенный стек технологий, который минимально выполнял 
бы следующие действия: 
аутентификация узлов, используя протоколы, такие как Kerberos; 

---

31 
шифрование на уровне файлов; 
подписка на службу управления ключами для доверенных ключей и 
сертификатов; 
использование таких инструментов, как Chef или Puppet, для 
проверки во время развертывания наборов данных или при 
применении исправлений на виртуальных узлах; 
регистрация связи между узлами и использование распределенных 
механизмов регистрации для отслеживания аномалий по уровням; 
гарантия того, что связь между узлами является безопасной. 
Например, использование SSL, TLS и т.д. 
Мониторинговый уровень (Monitoring Layer). Системы мониторинга 
применяются для отслеживания состояния распределенных кластеров и 
собирают 
информацию 
об 
используемых 
операционных 
системах, 
оборудовании и т.п. Для выполнения данной задачи машины должны 
взаимодействовать с инструментом мониторинга через протоколы высокого 
уровня, такие как XML, вместо двоичных форматов, которые зависят от 
машины. Мониторинговые системы также должны предоставлять инструменты 
для хранения и визуализации данных.
Для мониторинга стеков больших данных широко используются такие 
инструменты с открытым исходным кодом, как Ganglia и Nagios. 
Приложения аналитического уровня (Analytics Engine) служат для 
выполнения поисковых запросов над распределенными данными, выполняют 
аналитическую обработку текста, статистическую аналитику и выполняют 
интеллектуальные алгоритмы над данными. Более подробно алгоритмы анализа 
больших данных будут рассмотрены в следующей главе. 
Средства визуализации (Analytics Engine). Как правило, «сырые» 
выходные аналитические данные не могут использоваться для решения бизнес-
задач. Необходим перевод аналитических данных в табличную или 
графическую форму, а также возможность взгляда на данные под различными 

---

32 
углами. Поэтому средства визуализации являются неотъемлемой частью систем 
хранения и анализа больших данных. 
Средства визуализации работают поверх консолидированных и 
агрегированных выходных данных. В том случае, когда требуется изучение 
результатов аналитики в режиме реального времени, могут использоваться 
механизмы реального времени, работающие на механизмах комплексной 
обработки событий (Complex Event Processing – CEP) и управляемых 
событиями архитектурах (Event-driven Architectures – EDA). На рис. 2.6 
показано взаимодействие между различными уровнями стека больших данных 
и традиционными средствами BI. 
Рисунок 2.6 – Концептуальная архитектура слоя визуализации 
Средства визуализации 
Средства BI 
Аналитические средства 
больших данных 
Data Lakes 
Data 
Warehouses 
Операционные 
ХД 
Data Scoop 
Реляционные СУБД 
NoSQL 
СУБД 
Структурированные данные 
Частично и 
неструктурированные 
данные