Big data tahlili

Nazorat savollari:
1. Hadoop ekotizimi asosi nima?
2. Hadoop YARN bilan resurslar va dasturlarni boshqarish qanday?
3. Hadoop xizmatidir YARN nechta asosiy xizmatni taqdim etadi?
4. ResourceManager nima?
5. HBase bilan katta ma’lumotlar qanday saqlanadi?
6. Hive bilan katta ma’lumotlar qanday olinadi?
7. Hiveda ma’lumotlarni tartibga solish uchun nechta mexanizm qo‘llaniladi?
8. Hivening metadata ombori nima?
9. Hadoop ekotizimi bilan o‘zaro munosabatlari qanday?
10. Pig va Pig Latin haqida ma’lumot bering?
11. Pigning ish vaqti nechta rejimga ega va ular haqida batafsil ma’lumot bering?
12. Pig dasturlarini necha xil usulda ishlatish mumkin?
13. Sqoop nima?
14. Sqoop nechta asosiy xususiyatga ega va ular haqida tushuncha bering?
15. Zookeeper nima va u qanday xususiyatlarga ega?

11-BOB

KATTA MA’LUMOT USKUNALARI VA SAQLOVCHILARI

Bu bobda

• 
  Katta ma’lumotlar ombori
  
• 
  O‘zgaruvchan talablarni qo‘llab -quvvatlash uchun yangi model yaratish
  
• 
  Ma’lumotlar omborining gibrid tizimi
  
• 
  Katta ma’lumotlar omborlari uchun joylashtirish modellarini baholash
  

Ma’lumotlar ombori tushunchasi deyarli 30 yil oldin paydo bo‘lgan. Ma’lumotlar ombori turli xil operatsion tizimlarga ega bo‘lgan mijozlar uchun katta muammoni hal qilish uchun mo‘ljallangan. Borgan sari rahbariyat qarorlarni qo‘llab -quvvatlashning samarasiz tizimlarini yanada soddalashtirilgan model bilan almashtirmoqchi bo‘ldi. Kompaniyalar biznes qarorlarini qabul qilishni soddalashtiradigan yagona arxitektura modelini xohlashdi. Ma’lumotlar ombori yoki cheklangan ma’lumotlar ombori shaklida bo‘ladigan bunday yondashuv odatiy holga aylandi. Ammo, katta ma’lumotlar paydo bo‘lishi bilan, ma’lumotlar ombori kontseptsiyasi endi o‘zgarmoqda va endi uni yangi foydalanish holatlarida qo‘llash mumkin. An’anaviy ma’lumotlar ombori mavjud bo‘lib qoladi va gullab -yashnaydi, chunki bu qarorlarni qabul qilish uchun tarixiy operatsion ma’lumotlarni tahlil qilishda juda foydali. Biroq, ma’lumotlar omborlarining yangi turlari katta ma’lumotlar dunyosi uchun optimallashtiriladi. Ushbu bobda katta ma’lumotlar xususiyatlarini qo‘llab-quvvatlash uchun ma’lumotlar ombori qanday rivojlanganligi haqida tushuncha beramiz.

Katta ma’lumotlarning an’anaviy ma’lumotlar ombori bilan integratsiyasi

Ma’lumotlar ombori an’anaviy ma’lumotlar bazasi va amaliy operatsion tizimlardan farqli o‘laroq, biznes strategiyachi va moliyaviy tahlilchilar tomonidan biznes strategiyasini boshqarishda yordam berish uchun ishlatilgan. Ma’lumotlar har xil relyatsion ma’lumotlar bazasi manbalaridan to‘planishi kerak edi, so‘ngra metadata muvofiqligi ta’minlanishi kerak edi va ma’lumotlarning o‘zi toza bo‘lishi kerak, hamda yaxshi integratsiyalashgan. Zamonaviy ma’lumotlar omborining otasi hisoblangan Bill Inmon quyidagi xususiyatlarni o‘z ichiga olgan ma’lumotlar ombori tamoyillarini o‘rnatdi:

• 
  U mavzuga xos bo‘lishi kerak.
  
• 
  U shunday tashkil etilishi kerakki, u bilan bog‘liq voqealar bir-biri bilan bog‘liqdir.
  
• 
  Ma’lumotlar tasodifiy o‘zgartirilmasligi uchun ular doimiy bo‘lishi kerak.
  
• 
  Ombor ma’lumotlari barcha operatsion manbalarni o‘z ichiga olishi kerak. Ma’lumotlar izchil ta’riflar va oxirgi qiymatlarga ega bo‘ladigan tarzda saqlanishi kerak.