Кишлок Курилиш Банк

Требования к подсистеме интеграции данных

1. 
   Подсистема должна иметь возможность получения данных из разнообразных источников: реляционных баз данных, No-SQL баз данных, текстовых файлов, файлов Excel. Должны быть предусмотрены коннекторы к распространенным СУБД: Oracle, PostgreSQL, MS SQL Server.
   
2. 
   Подсистема должна проводить оркестрацию задач преобразования и загрузки данных: формировать последовательности задач в виде графов, предусматривать повторение выполнения задач при неуспешных попытках выполнения, использовать условия старта задач, высылать уведомления пользователям при наступлении событий (например, при неуспешном завершении задачи), устанавливать и использовать (в том числе и в скриптах и запросах преобразования данных) параметры запуска.
   
3. 
   При обработке текстовых файлов подсистема должна иметь возможности корректного определения и обработки особенных и исключительных ситуаций: поврежденный файл, наличие символов переноса строки в текстовых полях, неодинаковое количество полей, нестандартные форматы чисел и дат. Подсистема должна иметь возможность автоматического определения типов данных в атрибутах (текст, дата, время, число).
   
4. 
   Должна быть возможность запуска процессов загрузок и преобразований данных по триггерному событию и получения информации о триггерных событиях из внешних систем.
   
5. 
   Подсистема должна иметь возможности по настройке отображений данных (мэппингов) включая соединение нескольких наборов данных (таблиц) включая внешние соединения, объединения данных, фильтрацию данных, использование таблиц отображений (позволяют перекодировать данные из одного набора в другой), группировки и агрегации данных. Желательно иметь возможности автоматического преобразования настроенных отображений данных в язык манипулирования данными (например, SQL), если такие запросы позволяют ускорить преобразование данных.
   
6. 
   Подсистема должна иметь возможности использования логики преобразований, написанных на высокоуровневых языках программирования. Такая логика преобразований может иметь возможности использования циклов, условных переходов.
   
7. 
   Подсистема должна иметь возможность создания повторно используемых объектов (процедур, шаблонов) как для отображений, та и для последовательностей преобразований, которые позволят применять принцип DRY (do not repeat youself) при разработке схожих преобразований данных и последовательностей преобразований.
   
8. 
   Подсистема должна обеспечивать первичную загрузку данных из источников, инкрементальную загрузку данных из источников, добавленных или измененных с момента последней загрузки, полную перезагрузку отдельных объектов данных.
   
9. 
   Подсистема должна иметь возможность формирования отдельных потоков преобразований для каждой из систем и общего потока преобразований. Подсистема должна позволять устанавливать регламент загрузки по следующим событиям:
   
   1. 
      Наступление определенного времени
      
   2. 
      Регистрации внешнего события, например закрытия банковского дня. При этом должна быть возможность использовать различные механизмы получения этих событий: появление файла в каталоге, появление записи в таблице, вызов API, появление сообщения в теме в брокере сообщений
      
   3. 
      Запуск потока преобразований вручную
      
10. 
    Подсистема должна обеспечивать ежедневную загрузку и трансформацию данных. Общее время ежедневной пакетной загрузки данных, проведения преобразований с учетом инкрементального характера загрузки не должно превышать 8 часов. При этом загрузка данных из источников в стейджинговые зоны в пакетном режиме не должна превышать 4 часов.
    
11. 
    Если загрузка данных и преобразование производится в течение рабочего дня, то она не должна блокировать выполнение запросов к данным на время, превышающее 30 секунд.
    
12. 
    При выполнении загрузки данных из внешних источников и получении ответов, связанных с недоступностью сервера, связи с сервером подсистема должна выполнять повторяющиеся запросы не менее 3 раз с увеличивающимся интервалом.
    

1.