Fan: Katta hajmdagi ma’lumotlarni boshqarish (Big Data) Mavzu

Ko'p o'lchovli ma'lumotlarni saqlashning texnik jihatlari
Yuqorida aytib o'tilganidek, OLAP tahlil vositalari ham ma'lumotlarni to'g'ridan-to'g'ri relyatsion tizimlardan olishi mumkin. OLAP serverlari yetakchi ma'lumotlar bazasi sotuvchilari narxlari ro'yxatida yo'q bo'lgan kunlarda bu yondashuv yanada jozibador edi. Ammo bugungi kunda Oracle, Informix va Microsoft ham to'liq huquqli OLAP serverlarini taklif qilmoqdalar va hatto o'z tarmoqlarida turli ishlab chiqaruvchilarning dasturiy ta'minotini "hayvonot bog'i" ni joylashtirishni yoqtirmaydigan IT menejerlari ham sotib olishlari mumkin (aniqrog'i, kompaniya rahbariyati bilan bog'laning ) OLAP serveri asosiy ma'lumotlar bazasi serveri bilan bir xil brenddir.
OLAP serverlari yoki ko'p o'lchovli ma'lumotlar bazasi serverlari o'zlarining ko'p o'lchovli ma'lumotlarini turli usullarda saqlashlari mumkin. Ushbu usullarni ko'rib chiqishdan oldin, agregatlarni saqlash kabi muhim jihat haqida gapirishimiz kerak. Haqiqat shundaki, har qanday ma'lumotlar omborida - oddiy va ko'p o'lchovli - operatsion tizimlardan olingan batafsil ma'lumotlar bilan bir qatorda yig'ma ko'rsatkichlar (agregatlar, agregatlar) ham saqlanadi, masalan, oylar bo'yicha, tovarlar toifalari bo'yicha sotish hajmi va boshqalar. Agregatlar faqat so'rovlarni tezlashtirish maqsadida aniq saqlanadi. Darhaqiqat, bir tomondan, qoida tariqasida, omborda juda katta miqdordagi ma'lumotlar to'planadi, boshqa tomondan, tahlilchilar ko'p hollarda batafsil emas, balki umumlashtirilgan ko'rsatkichlarga qiziqishadi. Va agar yillik sotuvlarni hisoblash uchun har safar millionlab shaxsiy sotuvlarni jamlash kerak bo'lsa, tezlikni qabul qilib bo'lmaydi. Shuning uchun ko'p o'lchovli ma'lumotlar bazasiga ma'lumotlarni yuklashda umumiy ko'rsatkichlarning hammasi yoki bir qismi hisoblab chiqiladi va saqlanadi.
Lekin, siz bilganingizdek, hamma narsa uchun pul to'lashingiz kerak. Va umumiy ma'lumotlarga so'rovlarni qayta ishlash tezligi uchun ma'lumotlar hajmini va uni yuklash vaqtini oshirish orqali to'lashingiz kerak. Bundan tashqari, hajmning o'sishi tom ma'noda halokatli bo'lishi mumkin - nashr etilgan standart testlardan birida 10 MB boshlang'ich ma'lumotlar uchun to'liq agregatlar soni 2,4 GB talab qiladi, ya'ni ma'lumotlar 240 baravar o'sdi! Agregatlarni hisoblashda ma'lumotlarning "shishishi" darajasi kubdagi o'lchamlar soniga va bu o'lchamlarning tuzilishiga, ya'ni o'lchamning turli darajalarida "otalar" va "bolalar" sonining nisbatiga bog'liq. Agregatlarni saqlash muammosini hal qilish uchun ba'zan murakkab sxemalar qo'llaniladi, bu esa barcha mumkin bo'lgan agregatlardan uzoqda hisoblashda so'rovlar samaradorligini sezilarli darajada oshirishga imkon beradi.
Endi ma'lumotni saqlashning turli xil variantlari haqida. Tafsilotli ma'lumotlar ham, agregatlar ham relyatsion yoki ko'p o'lchovli tuzilmalarda saqlanishi mumkin. Ko'p o'lchovli saqlash ma'lumotlarni ko'p o'lchovli massiv sifatida ko'rib chiqishga imkon beradi va shu bilan har qanday o'lcham uchun teng darajada tez yig'indilarni va turli xil ko'p o'lchovli o'zgarishlarni ta'minlaydi. Bir muncha vaqt oldin, OLAP mahsulotlari relyatsion yoki ko'p o'lchovli saqlashni qo'llab-quvvatlagan. Bugungi kunda, qoida tariqasida, bir xil mahsulot ushbu ikki turdagi saqlashni, shuningdek, uchinchi turdagi - aralashni ta'minlaydi. Quyidagi shartlar qo'llaniladi:

• 
  MOLAP(Ko'p o'lchovli OLAP) - batafsil ma'lumotlar ham, agregatlar ham ko'p o'lchovli ma'lumotlar bazasida saqlanadi. Bunday holda, eng katta ortiqcha olinadi, chunki ko'p o'lchovli ma'lumotlar to'liq relyatsion ma'lumotlarni o'z ichiga oladi.
  
• 
  ROLAP(Relational OLAP) - batafsil ma'lumotlar dastlab "yashashgan" joyida qoladi - relyatsion ma'lumotlar bazasida; agregatlar bir xil ma'lumotlar bazasida maxsus yaratilgan xizmat jadvallarida saqlanadi.
  
• 
  HOLAP(Gibrid OLAP) - batafsil ma'lumotlar joyida qoladi (relyatsion ma'lumotlar bazasida) va agregatlar ko'p o'lchovli ma'lumotlar bazasida saqlanadi.
  

Ushbu usullarning har biri o'zining afzalliklari va kamchiliklariga ega va shartlarga qarab qo'llanilishi kerak - ma'lumotlar miqdori, relyatsion DBMS quvvati va boshqalar.
Ko'p o'lchovli tuzilmalarda ma'lumotlarni saqlashda bo'sh qiymatlarni saqlash tufayli yuzaga kelishi mumkin bo'lgan shishish muammosi mavjud. Haqiqatan ham, agar bo'sh joy o'lchov belgilarining barcha mumkin bo'lgan kombinatsiyalari uchun ko'p o'lchovli massivda ajratilgan bo'lsa va faqat kichik bir qismi haqiqatda to'ldirilgan bo'lsa (masalan, bir qator mahsulotlar faqat oz sonli hududlarda sotiladi), u holda kubning ko'p qismi bo'sh bo'ladi, garchi bo'sh joy olinadi. Zamonaviy OLAP mahsulotlari bu muammoni engishga qodir.
Davomi bor. Kelajakda biz etakchi ishlab chiqaruvchilar tomonidan ishlab chiqarilgan o'ziga xos OLAP mahsulotlari haqida gapiramiz.
Onlayn tahliliy ishlov berish (OLAP) ma'lumotlar kublari ko'p o'lchovli ma'lumotlarni samarali ravishda ajratib olish va tahlil qilish imkonini beradi. Boshqa turdagi ma'lumotlar bazalaridan farqli o'laroq, OLAP ma'lumotlar bazalari analitik ishlov berish va ulardan barcha turdagi ma'lumotlar to'plamlarini tezda olish uchun mo'ljallangan. Aslida, Access yoki SQL Server va OLAP ma'lumotlar bazalari kabi standart relyatsion ma'lumotlar bazalari o'rtasida bir nechta asosiy farqlar mavjud.
Guruch. 1. OLAP kubini Excel ish kitobiga ulash uchun buyruqdan foydalaning Analitik xizmatlardan
Eslatmani yoki formatida yuklab oling
Relyatsion ma'lumotlar bazalarida ma'lumotlar ketma-ket qo'shiladigan, o'chiriladigan va yangilanadigan yozuvlar shaklida taqdim etiladi. OLAP ma'lumotlar bazalari faqat ma'lumotlarning oniy tasvirini saqlaydi. OLAP ma'lumotlar bazasida ma'lumotlar yagona ma'lumotlar bloki sifatida arxivlanadi va faqat talab bo'yicha chiqish uchun mo'ljallangan. OLAP ma'lumotlar bazasiga yangi ma'lumotlarni qo'shish mumkin bo'lsa-da, mavjud ma'lumotlar kamdan-kam hollarda tahrirlanadi, kamroq o'chiriladi.
Relyatsion ma'lumotlar bazalari va OLAP ma'lumotlar bazalari tizimli ravishda farqlanadi. Relyatsion ma'lumotlar bazalari odatda bir-biri bilan bog'liq bo'lgan jadvallar to'plamidan iborat. Ba'zi hollarda relyatsion ma'lumotlar bazasi shunchalik ko'p jadvallarni o'z ichiga oladiki, ularning qanday bog'liqligini aniqlash juda qiyin. OLAP ma'lumotlar bazalarida alohida ma'lumotlar bloklari o'rtasidagi munosabatlar oldindan belgilanadi va OLAP kublari deb nomlanuvchi tuzilmada saqlanadi. Ma'lumotlar kublari ma'lumotlar bazasining ierarxik tuzilishi va aloqalari haqida to'liq ma'lumotni saqlaydi, bu esa ular bo'ylab harakat qilishni ancha osonlashtiradi. Bundan tashqari, agar siz olingan ma'lumotlarning qayerda joylashganligini va boshqa qanday ma'lumotlar bilan bog'liqligini oldindan bilsangiz, hisobotlarni yaratish ancha osonlashadi.
Relyatsion ma'lumotlar bazalari va OLAP ma'lumotlar bazalari o'rtasidagi asosiy farq axborotni saqlash usulidir. OLAP kubidagi ma'lumotlar kamdan-kam hollarda umumiy shaklda taqdim etiladi. OLAP ma'lumotlar kublari odatda oldindan ishlab chiqilgan formatda taqdim etilgan ma'lumotlarni o'z ichiga oladi. Shunday qilib, kublardagi ma'lumotlarni guruhlash, filtrlash, saralash va birlashtirish operatsiyalari ularni axborot bilan to'ldirishdan oldin amalga oshiriladi. Bu so'ralgan ma'lumotlarni olish va ko'rsatishni imkon qadar osonlashtiradi. Relyatsion ma'lumotlar bazalaridan farqli o'laroq, ma'lumotni ekranda ko'rsatishdan oldin uni to'g'ri tartibga solishning hojati yo'q.
OLAP ma'lumotlar bazalari odatda AT ma'murlari tomonidan yaratiladi va yuritiladi. Agar sizning tashkilotingizda OLAP ma'lumotlar bazalarini boshqarish uchun mas'ul bo'lgan tuzilma bo'lmasa, u holda korporativ tarmoqda kamida individual OLAP echimlarini amalga oshirish so'rovi bilan ma'lumotlar bazasi ma'muriga murojaat qilishingiz mumkin.