Кишлок Курилиш Банк

Требования к подсистеме хранения данных

1. 
   Подсистема должна позволять хранить данные разных типов (структурированные, полуструктурированные) с организацией метаданных и индексов, позволяющих проводить организацию и быстрый поиск информации в больших массивах (десятки терабайт).
   
2. 
   Для обработки структурированных данных система должна иметь возможности оптимизации запросов, позволяющих соединять большие таблицы (свыше 100.000.000 записей) без ощутимой нелинейной деградации производительности.
   
3. 
   Подсистема должны масштабироваться горизонтально.
   
4. 
   Способ хранения данных должен быть определен таким способом, чтобы было минимизировано дублирование данных.
   
5. 
   Данные из реляционных баз данных, структура которых редко изменяется и такие изменения могут быть заблаговременно отслежены Банком, данные установленной структуры из плоских файлов и электронных таблиц загружать и хранить в хранилище структурированных данных.
   
6. 
   Подсистема должна хранить конфиденциальную информацию, таким образом, чтобы не допустить ее чтение, копирование или другой использование неавторизированными лицами каким-либо способом. Конфиденциальная информация должна храниться на защищенных носителях.
   

1. Требования к объектам данных и процедурам их обработки.

1. 
   В Систему должны быть включены объекты обработки данных, достаточные для использования Системы конечными пользователями:
   

• 
  Витрины данных, указанные в Приложении 4, построенные на измерениях, определенных в приложении 5
  
• 
  Отчеты и информационные панели, указанные в Приложении 3
  

2. 
   Витрины должны содержать актуальные на момент запуска Системы в эксплуатацию данные, достаточные по составу для формирования приведенных витрин, отчетов, информационных панелей и для работы моделей аналитики. Временной период, за который должны быть загружены данные для начала эксплуатации системы определяется на этапе проектирования. Временной период должен быть достаточен для формирования отчетов по оборотам за предыдущие 24 месяца, за исключением случаев, когда данные отсутствуют в источниках и не могут быть получены без дополнительных затрат. Охват загружаемых данных с детализацией до сущностей и атрибутов должен быть сформирован на этапе Анализ.
   
3. 
   Желательно разделение витрин на слой витрин общего назначения (данные баланса, остатков по счетам, основные измерения) и предметных витрин, владельцами которых могут быть различные функциональные подразделения.
   
4. 
   Витрины общего назначения, построенные на данных счетов учета и основные измерения: счета, контрагенты, соглашения, филиалы и отделения, валюты, календарь должны содержать выверенную информацию и являться эталонными для перекрёстной проверки данных других витрин.
   
5. 
   Модель данных витрин должна быть разработана на основании требований Банка.
   
6. 
   Модели данных всех слоев хранилища должны быть задокументированы.
   
7. 
   В Системе должны быть средства автоматизированного контроля данных, которые позволяют проверять качество данных по установленным бизнес-правилам при загрузке, проведении преобразований, а также по запросам администратора. При обнаружении отклонений или аномалий в данных должны быть средства оповещения администраторов Системы, владельцев данных, пользователей и средства визуализации контроля качества данных на различных этапах их обработки для облегчения поиска проблем.
   
8. 
   Источником витрины является базы инфраструктуры хранилища данных (DWH).
   

3.