Рекомендуемые системы контроля версий:
3.2.5.10. ETL процессы
ETL (Extract, Transfer and Load) - относится к процессу извлечения, преобразования и загрузки. Это своего рода этап интеграции данных, когда данные, поступающие из разных источников, извлекаются и отправляются в хранилища данных. Данные, извлеченные из различных ресурсов, сначала преобразуются, чтобы преобразовать их в определенный формат в соответствии с требованиями бизнеса.
33
Для построения ETL процесса могут применяться различные методы и инструменты в зависимости от задач к отчетам и данным. Для интеграции и построения ETL на уровне микросервисов должны применяться следующие технологии и стандарты:
Брокер сообщений Apache Kafka
Контейнеризация: технология Containerized от решения Kubernetes, технология с открытым кодом - Red Hat OpenShift
Поддержка DataOps и DevOps, что обеспечивает взаимодействия внутри команд и отделов по развертыванию изменений
Технология и протоколы передачи – HTML, XML, JSON, SAOP, REST, API
также может быть применен подход ELT – сначала извлечение данных, затем загрузка и затем преобразование. Данный подход лучше подходит для обработки машинных данных.
3.2.5.11. SDLC процесс
Все разработки и изменения в ПО, независимо от того, что изменение касается клиентской или серверной части, должны проходить весь жизненный цикл разработки – SDLC (System Development Life Cycle).
Описание этапов процесса жизненного цикла cтандартного SDLC процесса:
Требование и архитектура. Прежде чем начинать проектировать дизайн необходимо согласовать и утвердить требования (функциональные и нефункциональные). На основе нефункционального требования требуется разработать архитектуру ПО (клиентская платформа, серверная платформа, протокол передачи данных и т.д.).
Do'stlaringiz bilan baham: |
