Big data tahlili

Nazorat savollari:

1. 
   Bulutning asosiy xususiyatlari haqida ma’lumot bering?
   
2. 
   Bulut katta ma’lumotlar dunyosidagi muhim roʻli haqida tushuncha bering?
   
3. 
   Bulutli hisoblash deganda nimani tushinasiz?
   
4. 
   Bulutga asoslangan katta ma’lumotlarni qaysi saytlarida koʻrish mumkin?
   
5. 
   Katta ma’lumotni muhokama qilishda nechta asosiy bulut modeli mavjud va ular haqida ma’lumot bering?
   
6. 
   Gibrid bulut nima?
   
7. 
   Eng oddiy bulutli hisoblash xizmatlaridan biri qaysi?
   
8. 
   Bulutni katta ma’lumotlar uchun qanday zaruriyligi mavjud?
   
9. 
   Amazonning umumiy elastik hisoblash buluti haqida ma’lumot bering?
   

3-BO‘LIM

KATTA MA’LUMOTLARNI BOSHQARISH

Ushbu bo‘limda...

• 
  Katta ma’lumotlar dunyosidagi ma’lumotlar bazalarini farqlash.
  
• 
  Ma’lumotlarni tahlil qilish uchun MapReduce-dan foydalaning.
  
• 
  Hadoop
  
• 
  Hadoop taqsimlangan fayl tizimini dasturlash tillari va vositalari bilan boyitish.
  
• 
  Tahlil uchun katta ma’lumotlar ilovalarini ishlab chiqish.
  
• 
  Katta ma’lumotlarni boshqarish uchun qurilmalardan foydalanish.
  

7-BOB

FAOL MA’LUMOTLAR BAZALARI

Ushbu bobda

• 
  Relatsion ma’lumotlar bazasi
  
• 
  Norelyatsion ma’lumotlar bazalarini va kalit-qiymat juftlik ma’lumotlar bazalari
  
• 
  Hujjat va ustunli ma’lumotlar bazalari
  
• 
  Grafik va fazoviy ma’lumotlar bazalari
  

• 
  Ko‘ptillilik(Poliglot)
  

Katta ma’lumotlar tashkilotlarning aniq ma’lumot muammolarini hal qilish uchun kerakli tezlikda katta hajmdagi ma’lumotlardan qanday foydalanishining muhim elementiga aylanib bormoqda. Biroq, katta ma’lumotlar alohida yashamaydi. Samarali bo‘lish uchun kompaniyalar ko‘pincha katta ma’lumotlar tahlillari natijalarini biznesda mavjud bo‘lgan ma’lumotlar bilan birlashtira olishlari kerak. Boshqacha qilib aytganda, katta ma’lumotni faol ma’lumot manbalaridan ajratilgan holda qarab bo‘lmaydi. Ko‘plab muhim faol ma’lumotlar xizmatlari mavjud. Ushbu bobda biz o‘sha manbalarning nima ekanligini tushuntirib beramiz, shunda ma’lumotlar qanday qilib katta ma’lumot yechimlari bilan birgalikda ishlatilishini tushunishingiz mumkin.
Faol ma’lumotlar bazalari (ma’lumotlar do‘koni deb ham ataladi) tomonidan taqdim etiladigan eng muhim xizmatlardan biri bu qat’iyatlilikdir. Qat’iyatlilik ma’lumotlar bazasida saqlanadigan ma’lumotlar ruxsatsiz o‘zgartirilmasligini va ular biznes uchun muhim bo‘lgan vaqtgacha mavjud bo‘lishini ta’minlaydi. Ma’lumotlar bazasi, unga kiritilgan ma’lumotlarni himoya qilishga ishonib bo‘lmaydigan bo‘lsa, nima yaxshi? Ushbu eng muhim talabni hisobga olgan holda, qanday ma’lumotlarni saqlamoqchi ekanligingizni, ularga qanday kirishingiz va yangilashingiz hamda biznes qarorlarini qabul qilishda qanday foydalanishingiz haqida o‘ylashingiz kerak. Ushbu asosiy darajada ma’lumotlar bazasi yadrosini tanlash katta ma’lumotlarni joylashtirishning umumiy muvaffaqiyati uchun juda muhimdir.
Doimiy ma’lumotlar omborlarining yaratuvchilari ma’lumotlar bazasini boshqarish tizimi yoki RMBBT hisoblanadi. Dastlab, kompyuter sanoati hozirda ma’lumotlarni saqlashning ibtidoiy usullari deb hisoblangan usullardan foydalangan. Asosan, bu kompaniyalar mijozlarning tranzaktsiyalaridan tortib to biznes yuritish tafsilotlariga qadar ma’lumotlarni qanday saqlashini qo‘llab-quvvatlovchi yozuv tizimlari. Asosiy texnologiya ancha vaqtdan beri mavjud bo‘lsa-da, bugungi kunda ushbu tizimlarning aksariyati ishlaydi, chunki ular qo‘llab-quvvatlaydigan korxonalar ma’lumotlarga juda bog‘liq. Ularni almashtirish samolyot dvigatellarini okean uzra uchadigan samolyotga almashtirishga o‘xshaydi. 1980 yilgacha yoki undan oldin tarqalgan “tekis fayllar” yoki “tarmoqqa ulangan” ma’lumotlar do‘konlariga nazar solishingiz mumkin. Ushbu mexanizmlar foydali bo‘lsa-da, ularni o‘zlashtirish juda qiyin bo‘lgan va tizim dasturchilaridan har doim o‘zlarining ma’lumotlarini boshqarish dasturlarini yozishlari talab qilingan. Relyatsion model bugungi kunda ham keng qo‘llanilmoqda va katta ma’lumotlar evolyutsiyasida muhim ro‘l o‘ynaydi.
Relyatsion ma’lumotlar bazalari bir yoki bir nechta munosabatlarga asoslangan bo‘lib, jadvallar bilan ifodalanadi. Ushbu jadvallar ularning ustunlari bilan belgilanadi va ma’lumotlar qatorlarda saqlanadi. Asosiy kalit ko‘pincha jadvalning birinchi ustunidir. Ma’lumotlar bazasining izchilligi va uning aksariyat qiymati ma’lumotlarning “normalizatsiyasi” orqali erishiladi. Nomidan ko‘rinib turibdiki, normalizatsiya qilingan ma’lumotlar mahalliy formatdan umumiy izchil formatga aylantirildi. Masalan, bitta ma’lumotlar bazasida “telefon” XXX-XXX-XXXX, boshqasida esa XXXXXXXXX bo‘lishi mumkin. Axborotning bir xil ko‘rinishini olish uchun maydonni u yoki bu shaklda normallashtirish kerak. Normallashtirish uchun standartlarning besh darajasi mavjud. Oddiy shaklni tanlash ko‘pincha ma’lumotlar bazasi dizayneriga topshiriladi va asosan oxirgi foydalanuvchilar uchun ko‘rinmaydi. Jadvallar, kalitlar, buyumlar va boshqalar to‘plami ma’lumotlar bazasi sxemasi deyiladi.
Ko‘p yillar davomida Strukturalangan So‘rovlar Tili (SQL) RMBBT texnologiyasi bilan hamohang rivojlanib bordi va relyatsion ma’lumotlar bazalarini yaratish, so‘rov qilish, saqlash va ulardan foydalanishning eng keng tarqalgan mexanizmiga aylandi. Ushbu vazifalar CRUD deb nomlanadi: yaratish, olish, yangilash va o‘chirish - bu to‘g‘ridan-to‘g‘ri ma’lumotlar bazasida yoki amaliy dasturlash interfeysi (API) orqali foydalanishingiz mumkin bo‘lgan umumiy amallar. Dastlab MBBT bilan foydalanish uchun mo‘ljallangan bo‘lsa-da, SQL-ning mashhurligi uni norelyatsion ma’lumotlar bazalari orasida keng tarqalishiga olib keldi, bu haqda biz ushbu bobda keyinroq to‘xtalib o‘tamiz.

RMBBT katta ma’lumotlar muhitida muhim ahamiyatga ega.

Kichik va katta kompaniyalarda juda muhim operativ ma’lumotlarning aksariyati ma’lumotlar bazasida saqlanadi. Ko‘pgina kompaniyalar turli xil faoliyat sohalari uchun turli xil MBBT lardan foydalanadilar. Tranzaksiya ma’lumotlari bitta yetkazib beruvchining ma’lumotlar bazasida, mijozlar haqidagi ma’lumotlar esa boshqa yetkazib beruvchilarning ma’lumotlar bazasida saqlanishi mumkin. Qaysi ma’lumotlar saqlanganligini va qayerda saqlanishini bilish sizning katta ma’lumotlaringizni qo‘llashda muhim tarkibiy qism hisoblanadi. RMBBT ni qo‘llashni asosiy qism sifatida ishlatishingiz ehtimoldan yiroq emas, lekin katta ma’lumotlar biznesingiz uchun maksimal qiymat yaratish uchun RMBBT da saqlangan ma’lumotlarga ishonishingiz kerak bo‘ladi. Oracle, IBM va Microsoft kabi kompaniyalarda ko‘plab tijorat relyatsion ma’lumotlar bazalari mavjud bo‘lsa, PostgreSQL deb nomlangan ochiq manbali relyatsion ma’lumotlar bazasini tushunishingiz kerak.