Big data tahlili

Nazorat savollari:

1. 
   MapReduce-ning paydo bo‘lishi haqida ma’lumot bering?
   
2. 
   map funksiyasi haqida tushuncha bering?
   
3. 
   map va reduce qanday qo‘llaniladi?
   
4. 
   MapReduce xatti-harakatlarining asosiy printsiplari qaysilar?
   
5. 
   MapReduce vazifalari haqida ma’lumot bering?
   
6. 
   MapReduce optimallash usullari toifaga bo‘linadi?
   
7. 
   MapReduce fayl tizimidanimalarga e’tibor qaratish kerak?
   
8. 
   MapReduce dasturini ustunligi nimada?
   

9-BOB

HADOOP

Ushbu bobda

• 
  Hadoop va u nima uchun muhim
  
• 
  Hadoop taqsimlangan fayl tizimi
  
• 
  Hadoop ni MapReduce-ga yozish
  
• 
  Hadoopni ishga tushirish
  

Katta ma’lumot manbalarini boshqarish kerak bo‘lganda, an’anaviy yondashuvlar ishlamaydi. Katta ma’lumotlarning hajmi, tezligi va xilma-xilligi aksariyat texnologiyalarni tiz cho‘ktiradi, shuning uchun ushbu yangi vazifani bajarish uchun yangi texnologiyalar yaratilishi kerak edi. MapReduce - bu yangi texnologiyalardan biri, ammo bu shunchaki algoritm, barcha ma’lumotlarni mantiqiy qabul qilish retsepti. MapReduce-dan maksimal darajada foydalanish uchun nafaqat algoritm kerak. Katta ma’lumotlar muammolarini hal qilish uchun mo‘ljallangan mahsulotlar va texnologiyalar to‘plami kerak.

Hadoop

Yahoo! kabi qidiruv tizimining innovatorlari va Google o‘z tizimlari to‘playotgan katta hajmdagi ma’lumotlarni tushunishning yo‘lini topishi kerak edi. Ushbu kompaniyalar qanday ma’lumotlarni to‘playotganlarini va o‘z biznes modellarini qo‘llab-quvvatlash uchun ushbu ma’lumotlardan qanday qilib pul ishlashlari mumkinligini tushunishlari kerak edi. Bu kompaniyalar uchun katta hajmdagi ma’lumotlarni osongina boshqarish uchun eng amaliy usul - Hadoop ishlab chiqilgan. Hadoop katta muammolarni kichik qismlarga ajratishga imkon beradi, shunda tahlil tez va iqtisodiy jihatdan amalga oshiriladi.
Katta ma’lumotlar muammosini parallel ravishda qayta ishlanishi mumkin bo‘lgan kichik qismlarga ajratish orqali ma’lumotni qayta ishlashingiz va natijalarni taqdim etish uchun kichik qismlarni qayta o‘rnatishingiz mumkin.
Hadoop (http://hadoop.apache.org) dastlab Yahoo! Ning Doug Cutting ismli muhandis tomonidan yaratilgan va xozirda Apache Software Foundation tomonidan boshqariladigan ochiq kodli loyihadir. U Apache License v2.0 ostida mavjud. 10-bobda ko‘rib chiqilgan boshqa loyihalar bilan bir qatorda Hadoop katta ma’lumotlarni yig‘ish va qayta ishlashga qaratilgan asosiy qurilish blokidir. Hadoop hisoblash tezligini oshirish va kechikishni yashirish uchun hisoblash tugunlari o‘rtasida ma’lumotlarni qayta ishlashni parallellashtirishga mo‘ljallangan. Hadoop asosan ikkita asosiy tarkibiy qismga ega:

•