Ma’lumotlar ombori

O‘ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA
KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI
MUHAMMAD AL-XORAZMIY NOMIDAGI
TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI


Mustaqil ishi

Mavzu: Ma’lumotlar ombori (Data Warehousing)

Guruh: 510-19
Bajardi: Erkinov Azizbek
Tekshirdi: Asqaraliyev Odilbek

Toshkent–2020

Ma’lumotlar ombori

Reja:

1. Ma’lumotlar ombori

2. Obyekt va kattalik

3. Ma’lumotlar omborini boshqarish tizimlari.

4. Data Warehouse

5. Data Warehouse ning tarkibiy qismlari

6. Data Warehouse ni boshqarish tizimlari.
Ma’lumotlar omborini tashkil etuvchi elementlar turli ko‘rinishda bo‘lishi mumkin. Eng ko‘p tarqalgan va amaliyotda qo‘llaniladigan ma’lumotlar matnli fayllar hisoblanadi. Chunki matnli fayllar orqali turli axborotlarni ifodalash va kompyuter xotirasida saqlash mumkin.

Kompyuterlar asosidagi axborot texnologiyalarining ko‘rinishlaridan biri ma’lumotlar ombori hisoblanadi. Oddiy fayllarda farqli ravishda ma’lumotlar ombori kmpyuter xotirasida joylashgan axborotlarni izlash va saralashni amalgam oshirish imkoniyati bor.

Ma’lumotlar ombori deb, kompyuterning uzoq muddatli xotirasida saqlanayotgan axborotlar va ular ustida aniq bir ishlash usullariga mikon beradigan ma’lumotlar yig‘indisiga aytiladi.

Ma’lumotlar omborida turli ma’lumotlar saqlanishi mumkin. Masalan, poyezd, samolyot, avtobuslarning harakatlanish jadvali, do‘kon yoki ombordagi mahsulotlarning mavjudligi haqidagi ma’lumotlar, talaba, o‘qituvchi va xodimlar, shuningdek, kitoblar haqidagi ma’lumot va boshqalar ma’lumotlar omboriga misol bo‘la oladi.

Ma’lumotlar omborini yaratish va uni ishlatish uchun shaxsiy kompyuterdan foydalanish shart emas. Masalan, shifokorning qabulxonasidagi bemorlar kartotekasini ma’lumotlar ombori deb hisoblash mumkin (kartotekalar qog‘ozdan yoki kartonlardan foydalanib bajarilgan bo‘lishi mumkin).

Masalan, shifokor kompyuterda matn fayllarni yaratishni o‘rganib, bemorlar kartotekalarini bir nechta fayllarda yozib “kompyuterli” ma’lumotlar omborini hosil qilishi mumkin. Alllbatta, bunday ma’lumotlar omboridan foydalanilganda bemorlarni hisobga olish va kerakli hujjatlarni tayyorlash (bemorga ma’lumotnoma berish, retsept yozish va h.k.) ancha tez bajariladi.

Ma’lumotlar omborini axborotlarni kompyuterlashgan shakldagi alohida yig‘indisi deb tushunish mumkin. Biror kutubxonadagi barcha kitoblar yoki butun dunyoda chiqayotgan jurnallardagi matematik tadqiqotlar haqidagi barcha maqolalar ro‘yhatining jamlanishi ma’lumotlar omboriga misol bo‘lishi mumkin.

Yer yuzida keng foydalanilayotgan mavjud 3000 ma’lumotlar omborlaridan ko‘p qismini xususiy kompyuterlarda yaratilgan. Ular omborlarda qanday ma’lumotlarni saqlash, axborotni qanday yig‘ish, qanday yangilash va rasmiylashtirish kerakligi masalaarini hal etishgan. Ma’lumotlar ombori ham ular joylashgan mamlakatlar kabi turli-tumandir. Ba’zi axborot tizimlari katta emas. Masalan, Avstraliyadagi “Ausinet” tizimi 17 omborga, Amerikaning “DAYALOG” tizimi 250 dan ortiq omborga ega. Ko‘pchilik tizimlar o‘rtacha o‘lchamlarga ega. Shvetsariyaning “Data – Star” tizimi 46, G‘arbiy Germaniyaning “INKA” tizimi 42, fransiyaning “Kestel” tizimi 45, Buyuk Britaniyaning “Pergamon Infolayn” tizimi 35 omborga ega.

Ma’lumotlar omboridagi axborotlar bir necha usullar bilan tashkil etilishi mumkin. Ma’lumotlar omborlarining eng soda va keng tarqalgan shakli jadval ko‘rinishidir. Ma’lumotlar omborining bunday ko‘rinishi relyatsion omborlar deb ataladi. Relyatsion omborlar aniq sondagi ustunlarga ega bo‘lib, ularning hammasi nomlarga ega bo‘ladi.

Kompyuterdan aksariyat hollarda matnli fayllar (turli xat, referat, she’r va h.k.) ni yaratishda foydalaniladi. Foydalanuvchining tajribasi oshib brogan sari u matnli fayllar o‘rnida turli shakldagi va berilgan vazifalarni bajaruvchu fayllardan foydalana boshlaydi. Masalan, matn fayl ichida turli xil sonli, belgili ma’lumotlarni kiritish orqali jadvalli, kartotekali, videotekali, tashkilotlar manzili, kasallik varaqlari, telefon nomerlari va boshqa ma’lumotlarni jamlovchi ombor sifatida foydalanishi mumkin.

Har qanday ma’lumotlar omborining vazifasi haqiqiy dunyoning obyektlar haqidagi ma’lumotlarni qayta ishlashidir. Umuman olganda, “obyekt” va “kattalik” degan iboralarni rasman ajratish mushkul. Lekin muayyan vaziyatda bu iboralarni ishlatish uchun ularni ta’riflashimiz mumkin.

Obyekt – mavjud bo‘lgan va o‘ziga o‘xshash narsalardan ajralib turadigan alohida olingan predmet. Masalan, akademik litsey yoki kasb-hunar kolleji obyekt hisoblanadi. Shuningdek, kimyoviy modda, biror qotishma, firma, zavod, inson hamobyekt bo‘la oladi.

Obyekt sifatida nafaqat moddiy predmetlar, balki haqiqiy dunyoni aks ettiruvchi abstract tushunchalar ham qaralishi mumkin. Masalan, san’at asarlari, kitoblar, teatrlardagi sahna ko‘rinishlari, kinofilmlar, huquqiy normalar, falsafiy nazariyalar va boshqalar.

Bunga o‘xshash obyektalar guruhi obyektlar to‘plamini hosil qiladi. Masalan, akademik litsey yoki kasb-hunar kollejlaridagi guruhlar, firmalar, ombordagi mahsulotlar, korxonada ishlovchi odamlar obyektlar to‘plamini hosil qiladi. Bunday guruhdagi muayyan obyektni obyekt nusxasi db atash mumkin.

Kattalik – biror-bir obyektni ifodalovchi va uning muayyan bir nusxasi uchun berilgan sonli yoki matnli qiymatni belgilovchi ko‘rsatkich. Masalan, obyektlar to‘plami sifatida biror akademik litsey yoki kasb-hunar kollejidagi guruhlarni olaylik. Berilgan guruhdagi o‘quvchilar soni va hokazolar kattaliklar hisoblanadi.

Yuqorida ko‘rsatilganlarni hisobga olgan holda shuni aytish mumkinki, axborot tizimini loyihalovchining eng muhim vazifasiga obyektlar va ularni tavsiflovchi ma’lumotlarni tanlash, ma’lumotlar orasidagi bog‘lanishni o‘rnatish kiradi. Axborot tizimi o‘lchami va vazifasiga ko‘ra obyektlar u yoki bu darajadagi o‘zgaradigan ma’lumotlar bilan xarakterlanishi mumkin.

Shaxsiy kompyuterlar hisoblash texnikasi vositalarining yangi sinfini tashkil etadi. Ular axborotlarni qayta ishlashning yuqori kafolatlanishi, arzonligi, ixchamligi, turli amallarni bajara olishi, kam elektr quvvatini sarflashi bilan ajralib turadi. Bu xususiyatlar kompyuterlar asosida keng vazifalarga mo‘ljallangan avtomatlashgan ishchi joylari (AIJ) ni yaratish imkonini beradi.

Kompyuterda ma’lumotlar omborini hosil qilish va ular bilan ishlash uchun maxsus dasturlar yaratiladi. Keyingi yillarda chiqarilayotgan kompyuterlarda amal bajarish tezligining juda kattaligi (100 mlrd/s) va uning uning xotirasi kengayganligi (40 – 60 Gb) katta imkoniyatlarga ega bo‘lgan ma’lumotlar omborini yaratish imkonini bermoqda.

Kompyuterda ma’lumotlar omborini yaratish va uni ishlatishni belgilovchi ikkita omil mavjud: birinchi omil – qanday mazmunga ega bo‘lgan ma’lumotlar (ya’ni ularni tashkillashtirish) va ikkinchisi – yig‘ilgan ma’lumotlardan qanday foydalanish kerakligidir. Masalan, xodimlar ro‘yxatini qayta ishlovchi turli xildagi dasturlar mavjud. Lekin bunday dasturlar biror kishining familiyasini izlash yoki haqda biror ma’lumotni topishga (ajratishga) qarab bir-biridan jiddiy farq qiladi. Budan tashqari, har ir berilgan soha uchun o‘zining dasturi ishlab chiqilishi kerak. Masalan, kimyoviy moddalar haqidagi ma’lumotlar ombori uchun mo‘ljallangan dasturlar aviapassajirlar ro‘yxatini qayta ishlash uchun umuman yaroqsizdir.

Ma’lumotlar omboridan foydalanish uchun maxsus dasturlar yaratiladi va bunday dasturlar ma’lumotlar omborini boshqarish tizimi deb ataladi. Ma’lumotlar omborida axborotlar asosan matn va raqam ko‘rinishida saqlanadi.

Ma’lumotlar omborini boshqarish tizimi vazifasiga ma’lumotlar omborini boshqarishning quyidagi xususiyatlari kirishi mumkin:

• 
  Ma’lumotlar omboriga kirish: faydalanuvchining talabiga javoban axborot turidan qat’I nazar unga qulay ko‘rinishda javob berish.
  
• 
  Ma’lumotlarni modifikatsiyalash: berilgan axborotni foydalanuvchi talabiga mos holda (texnik imkoniyatlari hisobga olingan holda) o‘zgartirish.
  
• 
  Ishonchlilik darajasi: qurilmalar tasodifan to‘xtatilganda ma’lumotlar omborining qayta tiklanish qobiliyati.
  
• 
  Ma’lumotlarni himoyalash: ma’lumotlar omboridan ruxsatsiz (sanksiyasiz) foydalanishning cheklanganligi.
  
• 
  Ma’lumotlar omboridan tarmoqda foydalanish: ma’lumotlardan bir vaqtda bir necha kishining bir-biriga xalaqit bermasdan foydalanishi.
  

Ma’lumotlar omborini boshqarish tizimi o‘zining ma’lum ko‘rinishidagi ichki tuzilishiga, amalgam oshiruvchi amaliy dasturlarga ega bo‘lishi kerak. Bunday dasturlar ikki turga: integrallashgan (umumlashtirilgan) va paketli dasturlarga ajratiladi.

Integrallashgan dasturlar avtomatlashgan ishchi joylari yaratishning asosini tashkil etadi. Bunday tizimlar quyidagilarni amalgam oshirishni ta’minlaydi:

• 
  muammoli yo‘naltirilgan axborotlarni kiritishning qulayligi;
  
• 
  oldin kiritigan axborotlardan foydalanishning yengilligi;
  
• 
  mmmurakkab strukturali hujjatlarni qayta ishlash va shakllantirish;
  
• 
  shaxsiy kartotekalar, ishchi kalendarlar, yozuv daftarlari va boshqa vositalarni yaratishning mumkinligi.
  

Hozirgi kunda integrallashgan dasturlarga nisbatan paketli dasturlar ko‘proq foydalaniladi.

Keng tarqalgan paketli dasturlarga matnli axborotlarni qayta ishlash (Word), “Elektron jadvallar” va ma’lumotlar omborini qayta ishlash tizimlari misol bo‘ladi. Keng tarqalganligi bo‘yicha “Ishchi grafiklar” tizimi va kommunikatsiya tizimlari keyingi o‘rinda turadi.

Ma’lumotlar ombori haqida tushuncha.

Inson o’z hayoti davomida ko’plab axborotlar bilan ishlaydi. Ular biron-bir narsa yoki jarayonga aloqador (masalan, tabiyat, jamiyat, ular orasidagi munosobatlar va hokazo) ma’lumotlar bo’lishi mumkin.

Narsa yoki jarayonni o’rganishda ularni obyekt deb atash qabul qilingan. Har bir obyekt o’ziga xos xususiyatlarga ega.

Obyektlarni o’rganish jarayonida ular haqida ma’lumotlar yig’iladi, saqlanadi, qayta ishlanadi va uzatiladi. Axborotlarni yig’ish, saqlash, qayta ishlash va uzatishning ko’plab usullari mavjud. Kompyuterlar yaratilgunga qadar axborotlar bilan ishlash, asosan qog’ozda amalgam oshirilar edi. Masalan, ma’lumotlar yig’ma jildlarda saqlangan, ularni uzatish esa odatdagi pochta orqali amalga oshirilgan. Hozirgi kunda ham bu usuldan voz kechilganicha yo’q. Lekin bugungi kunda, ya’ni axborotlar asri davrida katta hajmdagi ma’lumotlarni odatdagi usullar orqali qayta ishlab bo’lmaydi. Ma’lumki, axborotlarni saqlash, qayta ishlash va uzatish kompyuterning asosiy vazifalaridan biridir.

Kompyuterda ham axborotlarni turli usulda saqlash mumkin. Masalan, matn muharrirlari va protsessorlari (Blknot yoki MS Word dasturlari) yordamida katta hajmdagi axborotlarni saqlash mumkin. Lekin axborotlarni matn muharrirlari yoki protsessorlari yordamida saqlash va ular bilan ishlash axborotlarni qog’ozda saqlash va kerakli ma’lumotlarni izlash bilan deyarli teng. Ikkinchi tomondan, katta hajmdagi ma’lumotlar ichidan kerakli ma’lumotni tezda topish uchun bu ma’lumotlarni ma’lum bir tartibda saqlash talab etiladi.


Ma’lumotlar bilan ishlashda kompyuter imkoniyatlaridan foydalanib, u holda barcha ishni aftomatlashtirish mumkin. Lekin shunda ham avval barcha ma’lumotlarni kompyuter xotirasiga kiritib olish zarur.

Bugungi kunda ma’lumotlar bilan ishlashni kompyuterlar yordamida avtomatlashtirish deyarli barcha sohada qo’llanib kelinmoqda. Masalan, avtomobillar va ularning egalari haqidagi ma’lumotlar, fuqarolarning passport ma’lumotlari, shahar telefon ma’lumotnomalari va boshqalar.

Ma’lumotlar ombori o’zi nima?

Ma’lumotlar ombori – aniq bir sohaga tegishli ma’lumotlarning strukturalangan va o’z nomiga ega bo’lgan majmui.

Ma’lumotlarni struktaralash – ma’lumotlarni ma’lum xususiyatlari bo’yicha birlashtirish.

Masalan, korxonaning ma’lumotlar omborida quyidagi axborotlar saqlanishi mumkin:

• 
  Korxonaning ishchi xizmatchilari haqidagi barcha ma’lumotlar.
  
• 
  Korxonaning moddiy va texnik bazasi haqidagi ma’lumotlar.
  
• 
  Omborlardagi zahiralar haqidagi ma’lumotlar.
  
• 
  Tayyor maxsulotlar haqidagi ma’lumotlar va hokazo.
  

Kompyuterlarda bu kabi ma’lumotlarni qayta ishlash uchun ma’lumotlar strukturasini belgilab olish kerak. Ma’lumotlar omborini tashkil etishda axborotlarni saqlash talab qilinadi.

Ma’lumotlar omborida ustunlar Maydon , satrlar – Yozuv, Maydon va yozuvlar kesish katakchalari esa - Rekvizit deb yuritiladi.

Maydon – ma’lumotlar ombori strukturasini belgilaydi.

Yozuv – o’zaro mantiqan bog’langan maydonlar majmui bo’lib, biror obyektning asosiy xususiyatlarini ifodalaydi.

Ma’lumotlar ombori strukturasini to’laroq tushunib olish uchun bir misol ko’ramiz. Ma’lumot kiritilmagan birgina maydonlar belgilangan 9-sinf o’quvchilari haqidagi bo’sh ma’lumotlar omborini tasavvur qiling. Ma’lumotlar omborini tashkil qilish uchun quyidagicha jadval tuzib olinadi.

№	Familiyasi	Ismi	Otasining ismi	Tug’ilgan sana	Telefon raqami	Qiziqishi
1	Qurbonov	Bexruz	Qaxramon	1993.11.02	296-88-11	Sport
2

Bu jadvalda ma’lum bir axborot saqlanmoqda - bu ma’lumotlar ombori strukturasi, ya’ni maydonlar to’plamidir. Maydonlar jadvalga qaysi ma’lumotlar va qanday ko’rinishda kiritilishini belgilaydi.

Ma’lumotlar omborining xususiyatiga qarab , unda axborotlar uch xil shaklda saqlanadi:


1) Iyerarxik (chiziqli) 2) To’rli 3) Relatsion (jadvalli)

Ma’lumotlarning iyerarxik shakli ularni qayta ishlash uchun eng qulay hisoblanadi. Uni quyidagi misolda ko’ramiz.
Misol. Axborotlar omboridan Toshkent shahar , Qorasuv 8-dahasi, 104-uy, 87-xonadonni izlab keluvchi mexmonning yo’nalishi quyidagicha bo’ladi:

1. Barcha davlatlar ichidan O’zbekistonni topadi.

2. O’zbekiston hududidagi barcha shaharlar orasidan Toshkentni tanlaydi.

3. Toshkent shahridagi dahalardan Qorasuv – 8 ni topadi.

4. Qorasuv 8-dahasidagi barcha uylardan 104-uyni topadi.

5. Xonadonlar orasidan kerakli 87-xonadonni izlaydi,

Ma’lumotning bunday ko’rinishi iyyerxik shakli deb nomlanadi.

Agar yuqoridagi misollar biror pog’onadagi ma’lumotlar boshqa pog’onadagi ma’lumotlar bilan ikki yoki undan ortiq marta bog’lansa, ma’lumotlarning bunday shakli to’rli shakl deb nomlanadi.



Iyerarxik va to’rli modellarning sxematik ko’rinishi.

Yuqoridagi sxema ko’rinishida ifodalash nisbatan qiyin bo’lgan ma’lumotlar ham bor. Masalan, 9-sinf o’quvchilari haqidagi ma’lumotlarni quyidagi keltirilgan jadval ko’rinishida ifodalash juda qulay.

№	Familyasi	Ismi	Otasining ismi	Tug’ilgan sana	Telefon raqami	Qiziqishi
1	Azimova	Malika	Azim qizi	1991	189-45-34	Shaxmat
2	Begmatov	Shahob	Bahrom o’g’li	1991	342-43-41	Futbol

Ma’lumotlarning bunday ko’rinishi Relyatsion shakl deb yuritiladi.

Ma'lumotlarni saqlash nima?

Ma'lumotlarni saqlash (DW) turli manbalardan ma'lumotlarni to'plash va boshqarish uchun mazmunli biznes-tushunchalarni taqdim etish jarayonidir. Ma'lumotlar ombori odatda heterojen manbalardan biznes ma'lumotlarini ulash va tahlil qilish uchun ishlatiladi. Ma'lumotlar ombori-ma'lumotlarni tahlil qilish va hisobot berish uchun qurilgan BI tizimining o'zagi.

Bu ma'lumotlarning strategik ishlatilishiga yordam beradigan texnologiyalar va komponentlarning aralashmasi. Tranzaktsiyalarni qayta ishlash o'rniga so'rov va tahlil qilish uchun mo'ljallangan biznes tomonidan katta hajmdagi axborotni elektron saqlashdir. Ma'lumotlarni axborotga aylantirish va uni foydalanuvchilarga o'z vaqtida farq qilish jarayonidir.

QCDga bo'lgan ehtiyoj o'tgan asrning 90-yillarida, korxona sektori turli xil biznes ko'rsatkichlarini hisobga olish uchun turli xil axborot tizimlaridan faol foydalanishni boshlaganda paydo bo'ldi. Har bir bunday dastur mahalliy ishlab chiqarish jarayonini avtomatlashtirish muammosini muvaffaqiyatli hal qildi, masalan, buxgalteriya hisob-kitoblarini bajarish, operatsiyalarni o'tkazish, kadrlar bo'yicha tahlil va hk.

Shu bilan birga, bir tizimdagi ma'lumotnoma va tranzaksiya ma'lumotlarini taqdim etish sxemalari (modellari) boshqasidan tubdan farq qilishi mumkin, bu esa ma'lumotlarning nomuvofiqligini keltirib chiqaradi. Biz NSI menejmenti nuqtai nazaridan Ma'lumotlarni boshqarish masalasiga qisman to'xtaldik . Bundan tashqari, ma'lumotlar modellarining xilma-xilligi, barcha amaliy tizimlarning yaxlit tasviri zarur bo'lganda konsolidatsiyalangan hisobotni olishni qiyinlashtiradi. Shuning uchun korporativ ma'lumotlar omborlari (Data Warehouse, DWH) paydo bo'ldi - hisobotlarni konsolidatsiyalashgan tayyorlash, biznesni kompleks tahlil qilish va to'liq axborot rasmiga asoslangan maqbul boshqaruv qarorlari uchun mavzuga asoslangan ma'lumotlar bazalari

DWH ning yuqoridagi ta'rifi ushbu saqlash vositasining aloqadorligini ko'rsatadi. Biroq, siz QCD-ni shunchaki bir-biriga bog'langan ko'plab jadvallarga ega bo'lgan katta ma'lumotlar bazasi deb o'ylamasligingiz kerak. An'anaviy SQL-DBMS-lardan farqli o'laroq, ma'lumotlar ombori LSA - Layered Scalable Architecture deb nomlangan murakkab qatlamli (qatlamli) arxitekturaga ega. Aslida, LSA ma'lumotlar tuzilmalarining mantiqiy bo'linishini bir nechta funktsional darajalarga amalga oshiradi. Ma'lumotlar bir darajadan ikkinchisiga ko'chiriladi va bir vaqtning o'zida o'zgartirilib, natijada tahlil uchun mos bo'lgan izchil ma'lumot shaklida paydo bo'ladi [2] .

Klassik ravishda LSA quyidagi darajalarda amalga oshiriladi [3] :

• 
  birlamchi ma'lumotlarning operatsion qatlami (Birlamchi ma'lumotlar qatlami yoki staging), bu erda ma'lumotlar asl sifatida manba tizimlaridan yuklanadi va o'zgarishlarning to'liq tarixi saqlanadi. Saqlashning keyingi qatlamlari ma'lumotlar manbalarining fizik tuzilishidan, ular qanday to'planishidan va o'zgarishlarni qanday aniqlanishidan kelib chiqadi.
  
• 
  Yadro Ma'lumotlar Qatlami - bu turli xil manbalardagi ma'lumotlarni birlashtiradigan, ularni bir xil tuzilmalar va kalitlarga etkazadigan markaziy komponent. Bu erda iste'molchilarni ma'lumot manbalarining mantiqiy tuzilishi xususiyatlaridan va ularni o'zaro taqqoslash zaruriyatidan mavhumlashtirish uchun ma'lumotlar sifati va umumiy transformatsiyalar bilan asosiy ish olib boriladi . Bu ma'lumotlar yaxlitligi va sifatini ta'minlash masalasini hal qiladi.
  
• 
  analitik vitrinalar (Data Mart Layer) , bu erda ma'lumotlar tahlil qilish va BI boshqaruv panellarida yoki boshqa iste'molchilar tizimlarida foydalanish uchun qulay bo'lgan tuzilmalarga aylantiriladi. Ma'lumotlar martlari yadrodan ma'lumotlarni olganda, ular muntazam deb nomlanadi. Agar mahalliy muammolarni tezda hal qilish uchun ma'lumotlarni birlashtirish kerak bo'lmasa, mart operatsion qatlamdan asosiy ma'lumotlarni olishi mumkin va shunga mos ravishda operatsion qatlam deb ataladi. Murakkab hisob-kitoblar va atipik o'zgarishlarning natijalarini taqdim etish uchun ishlatiladigan ikkinchi darajali vitrinalar ham mavjud. Shunday qilib, do'kon peshtaxtalari muayyan biznes xususiyatlari uchun yagona ma'lumotlarning turli xil ko'rinishini taqdim etadi.
  
• 
  Va nihoyat, xizmat qatlami yuqoridagi barcha qatlamlar ustidan nazoratni ta'minlaydi. U biznes ma'lumotlarini o'z ichiga olmaydi, lekin ma'lumotlar sifati bilan ishlash uchun metama'lumotlar va boshqa tuzilmalar bilan ishlaydi, bu ma'lumotlar uchidan uchigacha auditorlik tekshiruvini (ma'lumotlar liniyasi ) amalga oshirishga , o'zgarishlarning deltasini ta'kidlash va yuklashlarni boshqarish uchun umumiy yondashuvlardan foydalanishga imkon beradi. Shuningdek, u xatolarni kuzatish va diagnostika qilish vositalarini taqdim etadi, bu esa muammolarni hal qilishni tezlashtiradi.
  

Barcha qatlamlar, xizmat ko'rsatish qatlamidan tashqari, doimiy ma'lumotlarni saqlash maydoni va yuklash va o'zgartirish modulidan iborat. Saqlash joylarida ma'lumotlarni o'zgartirish uchun texnik (bufer) jadvallar va iste'molchi kiradigan maqsadli jadvallar mavjud. ETL jarayonlarini yuklash va tekshirilishini qo'llab-quvvatlash uchun maqsadli jadvallar, yadrolar va do'kon peshtaxtalaridagi ma'lumotlar texnik maydonlar (meta-atributlar) bilan belgilanadi [3] . Shuningdek, ular turli xil ob'ektlardan ma'lumotlarni virtual saqlash (saqlashsiz) birlashtirish uchun virtual ma'lumotlar provayderlari qatlamini va maxsus hisobotlarni ajratadilar. Har bir qatlam turli xil saqlash va ma'lumotlarni o'zgartirish texnologiyalari yoki universal mahsulotlar, masalan, SAP NetWeaver Business Warehouse (SAP BW) yordamida amalga oshirilishi mumkin.

Big Data- ning paydo bo'lishi bilan 2010- yillarda e'tibor DWH ko'llarining an'anaviy ma'lumotlaridan ( Data Leyk ) o'tib ketdi. Biroq, quyidagi sabablarga ko'ra ma'lumotlar ko'lini yangi avlod QCD deb hisoblash to'g'ri emas 

• 
  turli xil maqsadlar - DWH menejerlar, tahlilchilar va boshqa oxirgi biznes foydalanuvchilari tomonidan, ma'lumotlar ko'lidan asosan Data Scientists foydalanadi. Eslatib o'tamiz, Data Leyk tuzilmasiz, deb nomlangan do'konlarni saqlaydi. xom ma'lumotlar: dronlar va kuzatuv kameralaridan olingan videoyozuvlar, transport telemetriyasi, grafik tasvirlar, foydalanuvchi xatti-harakatlari jurnallari, saytlar va axborot tizimlari ko'rsatkichlari, shuningdek, turli xil saqlash formatlariga ega bo'lgan boshqa ma'lumotlar (taqdim etish sxemalari). Ular hali BI tizimidagi kundalik tahlil uchun mos emas, ammo ular Data Scientists tomonidan mashinalarni o'rganish algoritmlaridan foydalangan holda yangi biznes gipotezalarini tezda ishlab chiqish uchun ishlatilishi mumkin [5] ;
  
• 
  dizaynga turli xil yondashuvlar . DWH dizayni ma'lumotlar bilan ishlashning mantiqiy mantig'iga asoslangan - normallashtirilgan omborlar uchun uchinchi normal shakl, o'lchamlari bo'lgan omborxonalar uchun yulduz yoki qor parchasi sxemasi [1] . Ma'lumotlar ko'lini loyihalashda Big Data arxitektori va Data Engineer turli xil formatdagi manbalar va qabul qiluvchilarning xilma-xilligini hisobga olgan holda ETL jarayonlariga ko'proq e'tibor berishadi. Va uni to'g'ridan-to'g'ri saqlash masalasi juda sodda tarzda hal qilindi - sizga faqat ölçeklenebilir, xatolarga chidamli va nisbatan arzon fayl tizimi kerak, masalan, HDFS yoki Amazon S3 [5] ;
  
• 
  nihoyat, narx - odatda Data Lake , Apache Hadoop bilan byudjet serverlari asosida, qimmat litsenziyalar va kuchli uskunalarsiz, SAP, Oracle, Teradata va boshqalar kabi Data Warehouse sinfining ixtisoslashgan platformalarini loyihalashtirish va sotib olishning katta xarajatlaridan farqli o'laroq quriladi .
  

Shunday qilib, ma'lumotlar koli QCDdan sezilarli darajada farq qiladi. Biroq, Data Leykni qurishda me'moriy LSA yondashuvidan foydalanish mumkin . Masalan, Tinkoff-Bankdagi ma'lumotlar ko'lining asosi sifatida aynan shunday qatlamli inshoot olindi [6] :

• 
  RAW darajasida xom ma'lumotlar har xil formatlarda (tsv, csv, xml, syslog, json va boshqalar) saqlanadi;
  
• 
  operatsion darajada (ODD, Operatsion Data Definition), xom ma'lumotlar taxminiy relyatsion formatga aylantiriladi;
  
• 
  tafsilotlar darajasida (DDS, batafsil ma'lumotlar do'koni) batafsil ma'lumotlarning birlashtirilgan modeli to'planadi;
  
• 
  Va nihoyat, MART qatlami ishbilarmon foydalanuvchilar va mashinalarni o'rganish modellari uchun dastur ma'lumotlari marshruti bo'lib xizmat qiladi.
  

Ushbu misolda tuzilgan katta ma'lumotlar so'rovlari uchun SQL-on- Hadoop sinfidagi mashhur vosita Apache Hive ishlatiladi . Fayllarni saqlashning o'zi Hadoop klasterida Cloudera (CDH) kompaniyasining tijorat tarqatish asosida tashkil etilgan . An'anaviy bank DWH xissa parallel DBMS ustida amalga oshirilmoqda  Greenplum [6] . O'z ustida, biz bu qo'shishingiz Cloudera Impala harakat mumkin Apache muqobil sifatida Xiva kabi, Greenplum , Arenadata  JB va Teradata, bir xissa parallel me'morchiligi asoslangan. Biroq, uyani tanlash yuqori nosozliklarga bardoshlik va yuqori ish unumdorligi zarur bo'lsa, oqlanadi. Biz bu erda Apache Hive va Cloudera Impala o'rtasidagi o'xshashlik va farqlar haqida ko'proq gaplashdik . Tinkoff Bank ishiga qaytsak, BI vositalari ko'l va klassik DWH ma'lumotlarini o'qiydi, odatda OLAP hisobotlarini Big Data omboridagi ma'lumotlar bilan boyitadi . Bu qiziqishlarni tahlil qilish, xatti-harakatlarni bashorat qilish va bank veb-saytiga tashrif buyuruvchilar orasida paydo bo'ladigan hozirgi va kelajakdagi ehtiyojlarni aniqlash uchun ishlatiladi.

Ko'pchiligingiz bilasizki, inventarizatsiya tizimi uchun 3NF tomonidan yaratilgan ma'lumotlar bazasida ko'pchilik bir-biriga bog'liq jadvallar mavjud. Masalan, joriy inventarizatsiya ma'lumotlari to'g'risidagi hisobot 12 dan ortiq qo'shilgan shartlarni o'z ichiga olishi mumkin. Bu so'rov va hisobotning javob vaqtini tezda sekinlashtirishi mumkin. Ma'lumotlar ombori javob berish vaqtini qisqartirishga yordam beradigan va hisobotlar va tahlillar uchun so'rovlarning ishlashini yaxshilashga yordam beradigan yangi dizaynni taqdim etadi.