Modul nomi: Katta ma’lumotlar tahliliga kirish (kirish kursi) Kurs haqida

saqlash yadrosi ( Core Data Layer ) - turli manbalardan olingan ma'lumotlarni birlashtirish, ularni umumiy tuzilmalar va kalitlarga olib keladigan markaziy komponent. Aynan shu erda ma'lumotlar sifati va umumiy o'zgarishlar bilan asosiy ish iste'molchilarni ma'lumotlar manbalarining mantiqiy tuzilishining o'ziga xos xususiyatlaridan va ularni o'zaro taqqoslash zaruratidan mavhumlashtirish uchun amalga oshiriladi. Ma'lumotlarning yaxlitligi va sifatini ta'minlash muammosi shunday hal qilinadi;

• 
  analitik vitrinalar ( Data Mart Layer ).
  

tahlil qilish va iste'molchi tizimlarida foydalanish uchun qulay bo'lgan tuzilmalarga demontaj qilinadi. Vitrinalar yadrodan (muntazam vitrinalar), operatsion qatlamdan (operatsion vitrinalar) ma'lumotlarni olishi mumkin, murakkab hisob-kitoblar va noodatiy o'zgarishlar (ikkilamchi vitrlar) natijalarini taqdim etish uchun ishlatilishi mumkin. Shunday qilib, vitrinalar muayyan biznes o'ziga xosliklari uchun umumiy ma'lumotlarning turli ko'rinishlarini taqdim etadi;

• 
  xizmat ko'rsatish sathi ( Xizmat sathi ) yuqoridagi barcha darajalarni boshqarishni ta'minlaydi. U biznes ma'lumotlarini o'z ichiga olmaydi, lekin ma'lumotlar sifati bilan ishlash uchun metadata va boshqa tuzilmalar bilan ishlaydi, bu esa ma'lumotlarni oxirigacha tekshirishga imkon beradi ( ma'lumotlar liniyasi yoshi ). Bu yerda xatolarni kuzatish va diagnostika vositalari ham mavjud, bu esa muammoni hal qilishni tezlashtiradi.
  

94. 
    Korporativ ma'lumotlarni qayerda saqlash kerak: ma'lumotlar ombori bo'yicha qisqacha o'quv dasturi [Elektron resurs]. ‒ URL: https://www.bigdataschool.ru/bigdata/lsa-data-warehouse-architecture.html (kirish sanasi: 18.06.2020).
    

65

Barcha qatlamlar, xizmat ko'rsatish qatlamidan tashqari, doimiy ma'lumotlarni saqlash maydoni va yuklash va o'zgartirish modulidan iborat. Saqlash joylarida ma'lumotlarni o'zgartirish uchun texnik (bufer) jadvallar va iste'molchi tomonidan foydalaniladigan maqsadli jadvallar mavjud. ETL jarayonlarini yuklash va tekshirishni ta'minlash uchun maqsadli bosqichlar jadvallari, yadrolari va vitrinalaridagi ma'lumotlar texnik maydonlar (meta-atributlar) bilan belgilanadi. Bundan tashqari, virtual ma'lumotlar provayderlari qatlami va turli ob'ektlardan ma'lumotlarni virtual birlashtirish (saqlamasdan) uchun maxsus hisobotlar mavjud. Har bir daraja turli xil ma'lumotlarni saqlash va o'zgartirish texnologiyalari yoki SAP NetWeaver Business Warehouse ( SAP BW ) kabi universal mahsulotlar yordamida amalga oshirilishi mumkin. ⁹⁵ .


DWH arxitekturasi shaklda ko'rsatilgan. o'n to'rt.


Guruch. 14. DWH ning qatlamli tuzilishi


DWH kontseptsiyasining ahamiyatini misol bilan ko'rsatish mumkin. Aytaylik, kompaniyaning internet-do‘konining daromadi pasaygan. Menejerlar biznes-tahlilchidan buni ko'rib chiqishni so'rashadi. U DWH ga murojaat qiladi , u yerdan sotuvlar, daromadlar, miqdorlar to'g'risidagi ma'lumotlarni chiqaradi foydalanuvchilar, sarflaydi va moliyaviy ko'rsatkichlarning pasayishi sabablarini to'g'ri va batafsil bayon qiladigan hisobot tuzadi. Ushbu ma'lumotlarga asoslanib, menejerlar assortimentni o'zgartirish to'g'risida qaror qabul qiladilar

95. 
    Korporativ ma'lumotlarni qayerda saqlash kerak: Ma'lumotlar ombori bo'yicha qisqacha ta'lim dasturi. 66
    

tovarlar va marketing siyosati. Agar bunday tahliliy hisobot bo'lmasa, menejerlar muammoni tasodifiy izlashlari kerak edi.


Ammo tahlilchilar, oxir-oqibat, turli xil tizimlarning ma'lumotlar bazasiga kirishlari va DWH ga murojaat qilmasdan, u erdan kerakli narsalarni olishlari mumkin . Bu mumkin, ammo quyidagi sabablarga ko'ra amaliy emas .

1. 
   Agar kompaniya katta bo'lsa, unda siz turli manbalardan ma'lumotlarni olish uchun ruxsat va ruxsatlarni to'plashingiz kerak. Har bir bo'lim, qoida tariqasida, o'z parollari bilan o'z ma'lumotlar bazalariga ega, ular alohida so'ralishi kerak. DWH - da sizga kerak bo'lgan hamma narsa allaqachon qo'lda, tayyor. U erda siz shunchaki kerakli statistik ma'lumotlarni olishingiz mumkin.
   

2. 
   DWH -dagi ma'lumotlar yo'qolmaydi va qaror qabul qilish uchun qulay shaklda saqlanadi: tarixiy yozuvlar mavjud, yig'ilgan qiymatlar mavjud. Operatsion ma'lumotlar bazasida bunday ma'lumotlar mavjud bo'lmasligi mumkin. Ombor serveri inventar arxivini o'n yil davomida saqlashi dargumon: bu holda ombor ma'lumotlar bazasi juda og'ir bo'ladi. Ammo yig'ilgan zaxiralarni DWH da omborda saqlash juda realdir .
   

3. 
   DWH analitiklar ishi uchun, server ma'lumotlar bazasidan amalga oshirib bo'lmaydigan juda katta hajmdagi ma'lumotlarni so'rash uchun optimallashtirilgan, bu vazifani bajara olmaydi va boshqa tizimlar uchun muammolarni keltirib chiqaradi ⁹⁶ .
   

Shunday qilib, katta ma'lumotlardan foyda olish uchun ularni saqlash va qayta ishlash infratuzilmasini hisobga olish muhimdir.


Katta ma'lumotlarni saqlash tizimining zamonaviy infratuzilmasi, birinchidan, yirik ma'lumotlar massivlarini ularga onlayn kirish imkoniyati bilan uzoq muddatli saqlashni ta'minlashi, ikkinchidan, ularni birlashtirish, qayta ishlash va tizimlashtirish funksiyalarini qo'llab-quvvatlashi kerak ⁹⁷ .
Bundan tashqari, zamonaviy saqlash arxitekturasi real vaqtda ma'lumotlarni samarali boshqarishi kerak.

• 
  bir zumda javob berishingiz kerak bo'lgan va yillar davomida to'plangan va boy tarixga ega bo'lgan ma'lumotlar bilan.
  

96. 
    DWH nima va nima uchun bu kompaniyalar ularsiz deyarli foydasiz
    

[Elektron resurs]. URL: https://mcs.mail.ru/blog/chto-takoe-dwh-i-pochemu-
bez-nih-dannye-kompanii-bespolezny (kirish sanasi: 21.06.2020).

97. 
    Korporativ ma'lumotlarni qayerda saqlash kerak: Ma'lumotlar ombori bo'yicha qisqacha ta'lim dasturi. 67
    

Katta ma'lumotlarni qayta ishlash va saqlash arxitekturasi doimo murakkablashib bormoqda va o'nlab yoki yuzlab komponentlarni o'z ichiga olishi mumkin. Endilikda mutaxassislar “ma’lumotlar ko‘li” deb ataydigan saqlash turi tan olindi, bu yerda siz turli manbalardan olingan ma’lumotlarni asl ko‘rinishida yozishingiz va uni samarali qayta ishlashingiz mumkin. Uning xotira darajasi ( Tezlik qatlami ) kabi qayta ishlash darajasiga ega bo'lishi real vaqt oqimida ma'lumotlarni qayta ishlash uchun yangi imkoniyatlarni qo'shadi ⁹⁸ .

2.