Fan: Katta hajmdagi ma’lumotlarni boshqarish (Big Data) Mavzu

Qo'shimcha ma'lumot
Siz har doim Excel Tech hamjamiyatiga savol berishingiz, Answers hamjamiyatida yordam so'rashingiz yoki veb-saytda yangi xususiyat yoki yaxshilanishni taklif qilishingiz mumkin.
Umuman olganda, har bir mutaxassis bugungi kunda OLAP nima ekanligini biladi. Hech bo'lmaganda "OLAP" va "ko'p o'lchovli ma'lumotlar" tushunchalari bizning ongimizda mustahkam bog'langan. Shunga qaramay, ushbu mavzuning yana ko'tarilayotgani, umid qilamanki, ko'pchilik o'quvchilar tomonidan ma'qullanadi, chunki vaqt o'tishi bilan biror narsaning g'oyasi eskirib qolmasligi uchun siz vaqti-vaqti bilan aqlli yoki aqlli odamlar bilan muloqot qilishingiz kerak. yaxshi nashrdagi maqolalarni o'qing. ...
Ma'lumotlar omborlari (korxonaning axborot tuzilmasidagi OLAP o'rni)
OLAP atamasi Ma'lumotlar ombori atamasi bilan uzviy bog'liqdir.
Ma'lumotlar omborining "asoschisi" Bill Inmon tomonidan ishlab chiqilgan ta'rif mana bu erda: "Ma'lumotlar ombori - bu boshqaruv qarorlarini qabul qilish jarayonini qo'llab-quvvatlash uchun domenga xos, vaqt bilan bog'liq va o'zgarmas ma'lumotlar to'plamidir".
Ombordagi ma'lumotlar biznes jarayonlarini avtomatlashtirish uchun mo'ljallangan operatsion tizimlardan (OLTP tizimlari) keladi. Bundan tashqari, omborni tashqi manbalar, masalan, statistik hisobotlar bilan to'ldirish mumkin.
Nima uchun ma'lumotlar omborlarini qurish kerak - axir, ular ma'lumotlar bazalari yoki operatsion tizimlarning fayllarida allaqachon "yashovchi" ortiqcha ma'lumotlarni o'z ichiga oladi? Javob qisqa bo'lishi mumkin: operatsion tizimlar ma'lumotlarini bevosita tahlil qilish mumkin emas yoki juda qiyin. Bu turli sabablarga ko'ra, jumladan, ma'lumotlarning bo'linishi, ularni turli DBMS formatlarida va korporativ tarmoqning turli "burchaklarida" saqlash. Ammo korxonada barcha ma'lumotlar markaziy ma'lumotlar bazasi serverida saqlangan bo'lsa ham (bu juda kam uchraydi), tahlilchi ularning murakkab, ba'zan chalkash tuzilmalarini deyarli tushunmaydi. Muallif och tahlilchilarni operatsion tizimlarning “xom” ma’lumotlari bilan “oziqlantirishga” urinish bo‘yicha ancha achinarli tajribaga ega – bu ular uchun “juda og‘ir” bo‘lib chiqdi.
Shunday qilib, omborning vazifasi tahlil qilish uchun "xom ashyoni" bir joyda va oddiy, tushunarli tuzilmada taqdim etishdir. Ralf Kimball o'zining "Ma'lumotlar ombori asboblar to'plami" kitobining kirish qismida yozadi, agar butun kitobni o'qib chiqqach, o'quvchi faqat bitta narsani tushunsa, ya'ni: omborning tuzilishi oddiy bo'lishi kerak, muallif o'z vazifasini bajarilgan deb hisoblaydi.
Alohida xotira paydo bo'lishini oqlaydigan yana bir sabab bor - operativ ma'lumotlarga murakkab tahliliy so'rovlar kompaniyaning joriy ishini sekinlashtiradi, uzoq vaqt davomida jadvallarni bloklaydi va server resurslarini egallab oladi.
Menimcha, saqlash ma'lumotlarning ulkan to'planishi emas - asosiysi, u tahlil qilish uchun qulaydir. Umuman olganda, alohida atama kichik saqlash uchun mo'ljallangan - Data Marts (data marts), lekin bizning rus amaliyotimizda siz buni tez-tez eshitmaysiz.